Naive Bewerter übersahen die meisten Treffer eines Datenagenten
Forschende der Columbia University testeten, wie gut automatische Bewerter einen Datenanalyse-Agenten benoten. Ein simpler Parser fand 26 Prozent der richtigen Antworten, ein LLM-Bewerter mit Nachfragen 97 Prozent.
TL;DR
- Forschende der Columbia University bewerteten einen Datenanalyse-Agenten bei 153 Aufgaben; ein Parser, der die letzte Zahl nimmt, fand nur 26 Prozent der richtigen Antworten, ein LLM-Bewerter 97 [^1].
- Benchmark-Werte vermischen Fehler des Agenten mit Fehlern der Bewertung, deshalb raten die Autoren, automatische Bewerter an menschlichen Urteilen zu prüfen und diese Prüfung offenzulegen [^1].
Hintergrund
Datenanalyse-Agenten bekommen eine Frage und eine Datendatei, schreiben und starten Code und liefern eine Antwort, eingebettet in Code, Zahlen und Kommentare [^1]. Um sie zu bewerten, muss man diese Antwort in der Ausgabe finden und mit einem bekannten Ergebnis vergleichen. Viele Evaluierungen überlassen das einem Sprachmodell. Die Studie hinter MT-Bench fand, dass GPT-4 als Bewerter in über 80 Prozent der Fälle mit menschlichen Präferenzen übereinstimmte, dokumentierte aber auch Verzerrungen, etwa eine Vorliebe für längere, wortreichere Antworten [^2].
Was passiert ist
Tian Zheng und Kai-Tai Hsu vom Department of Statistics der Columbia University haben die Studie am 23. Juni auf arXiv veröffentlicht [^1]. Das Duo ließ LAMBDA, ein quelloffenes Multi-Agenten-System für Datenanalyse, die 153 QRData-Aufgaben des Benchmarks DSGym lösen, die eine einzelne Zahl als Antwort haben. In LAMBDA schreibt und startet ein Programmierer-Agent den Code, ein Inspektor-Agent prüft auf Ausführungsfehler und schlägt Korrekturen vor; hier lief das System mit gpt-5-mini und gpt-4.1-mini [^1]. Das Ausgangsproblem ist banal: Der Standard-Bewerter von DSGym behandelt „0.2“ und „0.20“ als unterschiedliche Antworten, was falsche Negative erzeugt [^1].
Um die Fehler des Agenten von denen des Bewerters zu trennen, bauten die beiden eine dreistufige Kaskade. Ein strenger Bewerter zieht Kandidatenzahlen aus der Ausgabe und akzeptiert eine, die höchstens 2 Prozent vom richtigen Ergebnis abweicht. Jeder strenge Fehlschlag geht an einen nachsichtigen Bewerter, GPT-4o-mini, der die gemeinte Antwort aus der vollständigen Ausgabe herausliest und 3 Prozent Abweichung erlaubt. Zum Schluss prüfte ein Mensch alle 153 Protokolle [^1]. Nach diesem menschlichen Urteil lag der Agent bei 72 Aufgaben richtig, also bei 47,1 Prozent [^1]. Keiner der automatischen Bewerter akzeptierte eine falsche Antwort. Die Bewerter unterschieden sich darin, wie viele richtige Antworten sie fanden: Ein Parser, der die letzte Zahl der Ausgabe nimmt, fand 26 Prozent, ein Parser, der den Block mit den passenden Schlüsselwörtern der Frage sucht, 86 Prozent und der nachsichtige Bewerter 97 Prozent [^1].
Die größte Verbesserung lag auf der Seite des Agenten. LAMBDAs Programmierer ist so gebaut, dass er jede Runde mit „Vorschlägen für nächste Schritte“ beendet. Im Chat wirkt das natürlich, streut aber zusätzliche Zahlen in eine Antwort, die ein Benchmark als einzelnen Wert erwartet [^1]. Die Autoren ergänzten einen Nudge: bis zu zwei Nachfragen, die den Agenten auffordern, eine einzelne Zahl zu nennen. Von den 153 Aufgaben brauchten 98 mindestens eine, und 94 davon ließen sich so retten [^1]. Der Anteil der Läufe mit bewertbarer Antwort stieg von 36 auf 97 Prozent, die Bestehensquote beim nachsichtigen Bewerter von 16 auf 46 Prozent [^1]. Die ursprüngliche Frage in der Nachfrage zu wiederholen, half nicht, denn der Agent hatte nicht vergessen, was er berechnen sollte, nur, wie er es angeben sollte [^1].
Warum es wichtig ist
Der Kern der Studie: Ein Wert vermischt zwei Dinge, nämlich ob der Agent die Antwort gefunden hat und ob der Bewerter sie finden konnte [^1]. Mit dem Parser für die letzte Zahl wären dem Agenten nur etwa ein Viertel seiner richtigen Antworten gutgeschrieben worden. Die Autoren warnen, dass Entwickler, die sich auf unkalibrierte automatische Metriken verlassen, am Ende die falschen Faktoren optimieren könnten [^1]. Als Gegenmittel schlagen die Autoren vor, jede automatische Metrik an menschlichen Urteilen auf einer repräsentativen Stichprobe zu kalibrieren und diese Prüfung neben der Metrik zu veröffentlichen. Eine schnelle Durchsicht von Ausschnitten mit 100 Zeichen stimmte in 136 von 153 Fällen, also 89 Prozent, mit dem endgültigen menschlichen Urteil überein, was solche Prüfungen günstig macht [^1].
Die Stufen scheitern zudem auf unterschiedliche Weise. Der Schlüsselwort-Parser arbeitet deterministisch und kann nur Zahlen herausziehen, die tatsächlich in der Ausgabe stehen, er kann also nicht halluzinieren; der LLM-Bewerter löst Fälle, an denen der Parser scheitert, übernimmt aber Risiken wie Halluzinationen [^1]. Manche Fehler erklärt kein Bewerter. Bei einem Hypothesentest meldete der Agent einen einseitigen p-Wert von 0,006, während das richtige Ergebnis der zweiseitige Wert 0,012 war. Beide Bewerter werteten das korrekt als falsch, doch nur ein Mensch konnte erkennen, warum [^1]. Die Autoren halten ihre Aussagen bewusst eng: ein Agent, 153 Aufgaben, und Agent und Bewerter stammen aus derselben Modellfamilie, gemeinsame Verzerrungen sind also möglich [^1].
Ein Beispiel aus der Praxis
Angenommen, Tomás leitet die Datenanalyse bei einem regionalen Versicherer und testet einen quelloffenen Datenanalyse-Agenten, bevor das Analyseteam Zugriff bekommt. Tomás schreibt ein paar Dutzend Fragen mit bekannten Zahlenantworten, lässt den Agenten laufen und bewertet ihn mit einem Skript, das die letzte Zahl jeder Antwort nimmt. Das Ergebnis ist niederschmetternd.
Das Paper legt nahe, dass der Agent womöglich gar nicht das Hauptproblem ist. Wie LAMBDA schließt er jede Antwort vielleicht mit Vorschlägen für nächste Schritte voller anderer Zahlen ab [^1]. In einem Fall der Studie gab der Code des Agenten die richtige Wahrscheinlichkeit 0,61 aus, zeigte aber auch die ersten Zeilen einer Tabelle mit 55 Spalten an, und der strenge Bewerter griff stattdessen die 2 aus dem Rundungsbefehl heraus. Der nachsichtige LLM-Bewerter fand 0,61 [^1].
Also ändert Tomás den Aufbau: eine Nachfrage, die eine einzelne Zahl verlangt, ein Parser, der den Teil der Antwort sucht, der zu den Schlüsselwörtern der Frage passt, und ein LLM-Bewerter als zweite Stufe für strenge Fehlschläge [^1]. Der Wert steigt, doch Tomás lässt die Fehlschläge trotzdem von einer Fachperson für Statistik durchsehen. Genau dort liegt der p-Wert-Fall der Studie: Ein Agent kann selbstbewusst 0,006 aus einem einseitigen Test melden, obwohl die Frage den zweiseitigen Wert 0,012 erwartete, und keine automatische Stufe erklärt die Abweichung [^1]. Tomás teilt den Wert dann intern zusammen mit der menschlichen Prüfung, wie es die Autoren empfehlen [^1].
Passende Produkte
Wir empfehlen dieses Buch, um dir dabei zu helfen, die grundlegende Coding- und Statistik-Logik zu verstehen, die agentische Systeme zu automatisieren versuchen und die Bewerter evaluieren müssen.