VeriTrace lenkt Recherche-Agenten mit drei Feedback-Schleifen
Forschende aus Cambridge geben einem Deep-Research-Agenten explizite Feedback-Schleifen. Mit demselben Modell Qwen3.5-27B schlug er den stärksten Rivalen um 1,49 Punkte gesamt und 4,22 bei Insight.
TL;DR
- VeriTrace von der University of Cambridge hält das Arbeitsbild eines Recherche-Agenten in einem Graphen fest, den drei explizite Feedback-Schleifen überarbeiten [^1].
- Mit demselben Modell Qwen3.5-27B wie die Konkurrenz übertraf es den stärksten Rivalen im Insight-Wert von DeepResearch Bench um 4,22 Punkte [^1].
Hintergrund
Deep-Research-Agenten durchsuchen das Web über viele Runden und schreiben aus den Funden einen langen Bericht [^1]. Weil das Material das Kontextfenster des Modells sprengt, halten neuere Systeme zwischen den Runden eine Zwischenschicht vor, etwa eine wachsende Gliederung mit Belegsammlung oder To-dos mit einer Abnahme-Checkliste [^1]. Die Autoren argumentieren, dass diese Systeme die Entwicklung der Schicht dem impliziten Denken des Modells überlassen, sodass Informationen gemischter Qualität sie verunreinigen und Fehler sich entlang ihrer Abhängigkeiten ausbreiten [^1].
Was passiert ist
Forschende vom Department of Engineering der University of Cambridge, der Technischen Universität München und dem Alan Turing Institute behandeln diese Schicht als mentales Modell des Agenten von der Aufgabe und speichern sie als „kognitiven Graphen“ [^1]. Knoten sind die untersuchten Konzepte, Kanten die Fragen, die sie verbinden, und jeder Knoten hält Abnahmekriterien, Funde und eine Qualitätshistorie fest [^1]. Drei Schleifen regulieren den Graphen. Die interpretierende Aktualisierung ordnet jeden neuen Fund am vorhandenen Stand ein, als kriterienerfüllend, redundant, widersprüchlich oder unerwartet, statt ihn einfach anzuhängen [^1]. Das Abweichungs-Feedback bewertet jedes Suchergebnis an dem, was der Planer erwartet hat, getrennt nach Relevanz und Glaubwürdigkeit der Quelle, und lenkt die nächste Suche auf eine von fünf Strategien, etwa den Abgleich mit maßgeblichen Quellen oder den Wechsel des Quellentyps, wenn eine Seite gesperrt ist [^1]. Die Schema-Revision baut den Graphen selbst um, wenn wiederholtes Feedback zeigt, dass der Zuschnitt falsch ist, und bewahrt dabei die bisher gesammelten Belege [^1].
Zur Bewertung der Seiten vergibt ein Lesemodell für jede Seite 1 bis 5 Punkte für Aktualität, Relevanz, Autorität, Genauigkeit und Zweck [^1]. Der fertige Bericht entsteht aus dem Graphen und einem separaten Belegspeicher mit wörtlichen Zitaten samt Quell-URLs. Diese Einträge landen ohne weitere LLM-Verarbeitung im Speicher, sodass sich jedes Zitat bis zu seiner Seite zurückverfolgen lässt [^1].
Für einen fairen Test ließ das Team drei offene Systeme, WebWeaver, EnterpriseDR und FS-Researcher, erneut mit demselben Backbone Qwen3.5-27B laufen [^1]. Auf DeepResearch Bench, 100 Rechercheanfragen auf Chinesisch und Englisch, bewertet im Vergleich zu Referenzberichten von Fachleuten, kam VeriTrace auf 52,28 Punkte gesamt, gegenüber 50,79 für WebWeaver, das stärkste der drei, und auf 55,86 bei Insight gegenüber 51,64 [^1]. Bei DeepConsult, 102 Anfragen im paarweisen Vergleich mit Gemini 2.5 Pro als Richter, lag die Gewinnquote bei 81,1 Prozent, gegenüber 75,2 für WebWeaver [^1]. Mit DeepSeek-V4-Modellen erreichte VeriTrace 55,77 Punkte gesamt, laut den Autoren das stärkste reproduzierbare Open-Source-Ergebnis auf DeepResearch Bench [^1].
Warum es wichtig ist
Die zentrale These des Papers lautet: Ein Teil des scheinbaren Bedarfs an größeren Modellen bei Deep Research rührt von fehlender Regulierung her [^1]. Der kontrollierte Vergleich passt dazu: FS-Researcher kam mit Claude Sonnet 4.5 auf 53,94 Punkte gesamt, mit Qwen3.5-27B aber nur auf 48,03 [^1]. Die Ablationen zeigen in dieselbe Richtung. Ohne alle vier Mechanismen fiel VeriTrace auf 49,80 und damit unter WebWeaver. Ohne das Abweichungs-Feedback allein setzte der Planer 1,31-mal so viele Suchanfragen ab und schnitt trotzdem schlechter ab, weil er nur noch ähnliche Suchen anhängen konnte, bis das Budget erschöpft war [^1]. Die Autoren betonen, dass sie weder behaupten, Größe sei unwichtig, noch, Regulierung ersetze sie [^1].
Die Ergebnisse haben Grenzen, die die Autoren selbst nennen. Ausgewertet wurde nur auf DeepResearch Bench und DeepConsult, die Auslöser für Umbauten sind heuristisch, der Graph entsteht für jede Aufgabe neu, und getestet wurden nur Qwen- und DeepSeek-Konfigurationen unterhalb der Spitzenklasse [^1]. Beide Benchmarks werden von Gemini 2.5 Pro als Richter bewertet [^1]. Zu Preisen von Alibaba Cloud kostete eine Anfrage mit der Qwen3.5-27B-Konfiguration 0,63 Dollar und mit DeepSeek 1,96 Dollar [^1]. Außerdem warnen die Autoren, die Ergebnisse seien als Entwürfe zu behandeln, die vor dem Einsatz in Medizin, Recht oder Finanzen von Menschen geprüft werden müssen [^1].
Ein Beispiel aus der Praxis
Angenommen, Jana erstellt Analysen für eine kleine Unternehmensberatung und fragt einen Recherche-Agenten, wie die reichsten Staaten der Welt investieren. Genau diese Frage, Anfrage 53 von DeepResearch Bench, verfolgt das Paper durch VeriTrace [^1].
Der erste Plan hat einen Knoten für die reichsten Staaten, der zwei weitere speist: wie sie ihr Vermögen verwalten und wie sie es auf Anlageklassen verteilen [^1]. Die erste Suche liefert 13 Funde, doch die Seiten bündeln beide Themen nach investierender Institution, nicht nach Thema [^1]. Statt weiterzumachen, baut der Planer um. Vier Knoten für einzelne Institutionen ersetzen die beiden Themenknoten, aus acht geplanten Suchaufgaben werden vier, und die 13 Funde bleiben erhalten [^1].
Beim Knoten zu NBIM schneiden Seiten wie der eigene Jahresbericht zum Government Pension Fund Global bei Relevanz und Glaubwürdigkeit gut ab. Also bleibt der Router bei dieser Quellenfamilie und verengt die nächste Suche auf die offiziellen Ausschlussrichtlinien von NBIM [^1]. Der fertige Bericht hält fest, dass Unternehmen mit mehr als 30 Prozent Umsatz aus dem Abbau von Kraftwerkskohle ausgeschlossen werden können, und die Zitate dieses Absatzes verweisen auf die Richtlinien von NBIM und eine Verordnung des norwegischen Finanzministeriums [^1]. Als die Schreibstufe ein Zitat von außerhalb der Belege des Abschnitts anhängen wollte, entfernte ein Filter es [^1].
Ohne Schema-Revision lief dieselbe Anfrage mit dem ursprünglichen Plan aus acht Aufgaben, bis das Budget aufgebraucht war [^1]. Auch mit dem vollständigen System prüft Jana die zitierten Quellen, bevor der Bericht an einen Kunden geht, so wie es die Autoren für den Finanzbereich empfehlen [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es erklärt, wie Anwendungen auf Basis von Foundation Models entworfen und bewertet werden, einschließlich Agenten und Retrieval, also der Bausteine von Deep-Research-Systemen wie VeriTrace.