inferwire
/
KI·5 Min. Lesezeit

Progress Advantage bewertet Agentenschritte ohne eigenes Reward-Modell

Forschende zeigen, dass der Vergleich eines per RL trainierten Modells mit seinem Referenz-Checkpoint Agentenläufe Schritt für Schritt bewertet, ohne Labels und ohne eigenes Reward-Modell.

TL;DR

  • Forschende zeigen: Das Log-Wahrscheinlichkeitsverhältnis zwischen einem per RL trainierten Modell und seinem früheren Checkpoint bewertet die Schritte eines Agenten, ganz ohne Reward-Modell [^1].
  • Als Auswahlkriterium für den besten von acht Agentenläufen erreichte es im Schnitt 38,8 und 62,1 Prozent Erfolg auf zwei Modellen, vor trainierten Reward-Modellen [^1].

Hintergrund

Arbeitet ein Agent eine lange Aufgabe ab, verrät eine einzige Bewertung am Ende wenig darüber, welcher Schritt schiefging. Process Reward Models bewerten stattdessen jeden Schritt, doch für Agenten sind sie laut den Autoren sehr schwer zu bauen [^1]. Aufgaben ziehen sich über viele Schritte, Aktionen wie das Senden einer E-Mail oder das Löschen einer Datei lassen sich nicht rückgängig machen, und sowohl menschliche Schritt-Labels als auch Monte-Carlo-Schätzung, die auf Zurückspringen und wiederholte Durchläufe angewiesen ist, werden unpraktikabel [^1].

Was passiert ist

Changdae Oh, Wendi Li, Seongheon Park, Samuel Yeh, Tanwi Mallick und Sharon Li von der University of Wisconsin–Madison und dem Argonne National Laboratory haben das Paper am 24. Juni auf arXiv veröffentlicht [^1]. Die These des Teams: Das Post-Training per Reinforcement Learning hinterlässt bereits alles, was eine schrittweise Bewertung braucht. RL-Fine-Tuning geht von einem Referenzmodell aus, etwa einem Basis- oder SFT-Checkpoint [^1]. Für jedes Token, das ein Agent erzeugt, vergleichen die Autoren, wie wahrscheinlich das trainierte Modell es findet und wie wahrscheinlich das Referenzmodell. Das Team beweist, dass dieses Log-Wahrscheinlichkeitsverhältnis exakt die optimale Vorteilsfunktion ergibt, also misst, wie viel besser eine Aktion ist als die durchschnittliche Aktion in diesem Zustand, auch wenn Tool-Ausgaben und Antworten von Nutzenden die Umgebung unvorhersehbar machen [^1]. Frühere Arbeiten nutzten ähnliche Signale in deterministischen Reasoning-Szenarien; laut den Autoren lässt sich diese Deutung nicht direkt auf Agenten übertragen [^1]. Die Autoren nennen das Ergebnis Progress Advantage und zeigen, dass es sowohl für Algorithmen mit explizitem KL-Strafterm wie GRPO gilt als auch für Clipping-basierte wie DAPO [^1].

Getestet hat das Team mit Gemma4-4B, Qwen3.5-9B, Qwen3-14B und Olmo3-7B, jeweils gepaart mit dem eigenen früheren Checkpoint [^1]. Beim Best-of-8-Sampling über BFCLv4-MT, WebShop, AgentDojo und τ2-Airline erreichte die Auswahl des Laufs mit dem höchsten Progress Advantage im Schnitt 38,8 Prozent Erfolg für Gemma4-4B und 62,1 Prozent für Qwen3.5-9B. Die besten anderen Bewertungsmethoden kamen auf 33,6 und 55,8, Greedy Decoding auf 33,4 und 54,6 [^1]. Am größten war der Gewinn dort, wo sich erkundende Versuche lohnten, etwa bei WebShop: Dort stieg Qwen3.5-9B von 21,0 Prozent mit Greedy Decoding auf 42,0 [^1]. Überall gewann die Methode nicht: Bei AgentDojo mit Qwen3.5-9B lag Greedy Decoding mit 94,8 vor ihren 91,8 [^1].

Außerdem sagte der Wert voraus, ob ein Kundenservice-Lauf in τ2-bench gelingt. In der Airline-Domäne lag die AUROC je nach Modell zwischen 0,720 und 0,865, vor den trainierten Reward-Modellen und den Konfidenz-Baselines [^1]. In der Retail-Domäne schnitt ein Claude-Sonnet-4.6-Judge bei drei von vier Modellen besser ab, etwa 0,852 gegenüber 0,690 bei Gemma4-4B [^1]. Bei Who&When, 184 gescheiterten Läufen aus Multi-Agenten-Systemen, kam die Methode laut den Autoren auf dem handgefertigten Teil an AgenTracer heran, ein Modell, das eigens darauf trainiert ist, den entscheidenden Fehlerschritt zu finden [^1].

Warum es wichtig ist

Halten die Ergebnisse, liegt der Reiz in der Praxis. Wer ein per RL trainiertes Modell samt Referenz-Checkpoint hat, kann Agentenläufe bewerten, ohne Schritt-Labels zu sammeln oder ein eigenes Reward-Modell zu trainieren [^1]. Der Progress Advantage von Gemma4-4B sagte zudem den Erfolg von Läufen von Qwen3.5-9B und Qwen3-14B besser voraus als Konfidenz-Baselines, was die Autoren als Hinweis sehen, dass er sich als fertiger Monitor für die Läufe anderer Modelle eignen könnte [^1].

Die Grenzen stehen ebenfalls im Paper. Die meisten Modellanbieter veröffentlichen keine Zwischen-Checkpoints, die Methode funktioniert also nur, wo ein passendes Paar öffentlich ist [^1]. Die Referenz sollte dem trainierten Modell weder zu nah noch zu fern sein, und die beste Art, Token-Werte zusammenzufassen, hing von der Aufgabe ab: Eine Kombination funktionierte am besten für die Auswahl unter Versuchen, eine andere für die Erfolgsvorhersage [^1]. Laut dem Fazit des Papers erreicht oder schlägt Progress Advantage einen proprietären LLM-Judge, doch die eigene Tabelle zeigt das für Airline, nicht für Retail, wo Sonnet 4.6 bei drei von vier Modellen vorne lag [^1].

Ein Beispiel aus der Praxis

Angenommen, Danas Start-up betreibt einen Kundenservice-Agenten für eine Flugbuchungsseite auf Basis von Qwen3.5-9B, einem Modell, dessen Basis-Checkpoint Qwen3.5-9B-Base öffentlich ist [^1]. Jede Nacht will das Team wissen, welche Gespräche des Tages schiefgelaufen sind, ohne Leute dafür zu bezahlen, alle zu lesen.

Danas Team schickt jedes abgeschlossene Gespräch durch beide Checkpoints, wie das Paper es mit gespeicherten Läufen tat, mit einem einzigen Forward Pass pro Gespräch [^1]. Wo das trainierte Modell deutlich sicherer ist als das Basismodell, bekommt ein Schritt einen hohen Wert. Warum das zählt, zeigt das Paper: In einem Airline-Fall bewertete die reine Token-Wahrscheinlichkeit korrekte Tool-Aufrufe niedrig, während Progress Advantage sie positiv bewertete und Begriffe aus den Regeln wie „change of plan“ und „business class“ belohnte [^1].

Die Gespräche mit den niedrigsten Werten landen zuerst bei einem Menschen zur Prüfung. Innerhalb eines markierten Gesprächs ist der Schritt mit dem niedrigsten Wert die erste Stelle zum Nachsehen, nach derselben Regel, mit der die Autoren Fehler in Who&When lokalisierten [^1]. Labels wurden keine gesammelt, ein Reward-Modell wurde nicht trainiert.

Für Dana gibt es Grenzen. Wechselt das Start-up zu einem Modell, dessen früherer Checkpoint nicht öffentlich ist, lässt sich die Methode nicht anwenden [^1]. Und für einen Shop-Agenten im Retail-Stil legen die Zahlen des Papers nahe, dass ein starker LLM-Judge Fehlschläge womöglich zuverlässiger erkennt [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es Wertfunktionen und das Policy-Gradient-Theorem erklärt, die Grundlagen des Reinforcement Learning hinter der Vorteilsfunktion, auf der dieses Paper aufbaut.

WerbungAmazon

Reinforcement Learning: An Introduction

Quellen

  1. [1]arXiv — Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents