Agent-Optimierer im Doppeltest: Nur RELAIs eigene Methode legte zu
Forschende von RELAI.ai optimierten einen Terminal-Agenten mit GPT-5.5 in zwei Runden auf schweren Aufgaben aus Terminal-Bench 2.0. GEPA überanpasste, Meta Harness stockte, RELAI-VCL legte weiter zu.
TL;DR
- In einem Test mit zwei Runden auf 22 schweren Aufgaben aus Terminal-Bench 2.0 übertrugen sich GEPAs Gewinne nicht, und Meta Harness stockte bei erneuter Optimierung [^1].
- Nur RELAI-VCL von RELAI.ai, der Firma der Autoren, verbesserte sich weiter; sie führen das auf die Regel zurück, Änderungen abzulehnen, die gelöste Aufgaben brechen [^1].
Hintergrund
Ein Agent-Harness ist alles, was ein Sprachmodell zum Agenten macht: Prompts, Tools, Speicher und Code [^1]. Agent-Optimierer bearbeiten dieses Harness automatisch und behalten die Änderungen, die einen Benchmark-Wert erhöhen. Laut dem Paper sind die meisten berichteten Verbesserungen einmalig: Ein Agent wird einmal auf einen festen Benchmark hin optimiert [^1]. Agenten im Einsatz stoßen aber ständig auf neue Fehler, also läuft die Optimierung immer wieder. Die Autoren sehen hier eine Verwandtschaft zum katastrophalen Vergessen, bei dem ein Modell nach dem Training auf neuen Daten bei früheren Aufgaben schlechter wird [^1].
Was passiert ist
Wenxiao Wang, Priyatham Kattakinda und Soheil Feizi von RELAI.ai untersuchten, ob sich die Gewinne von Optimierern aufaddieren: Lässt sich ein einmal optimierter Agent erneut auf neue Aufgaben optimieren, ohne zu verlieren, was die erste Runde gebracht hat [^1]? Dafür bauten sie einen Test mit zwei Phasen aus Terminal-Bench 2.0, dessen 89 Aufgaben 30 als schwer eingestufte enthalten. Phase 1 nutzt 12 schwere Aufgaben, Phase 2 fügt 10 weitere hinzu, insgesamt also 22 [^1]. Jede Methode startete vom selben Basis-Agenten für das Terminal, der auf GPT-5.5 lief, und bekam 200 Rollouts pro Phase. Jede Aufgabe lief pro Agent zweimal [^1]. Die drei Optimierer waren GEPA, das die Prompts des Agenten anhand von Rückmeldungen zu seinen Läufen weiterentwickelt; Meta Harness, bei dem ein Coding-Agent den Code des Harness bearbeitet; und RELAI-VCL, das jede Änderung verwirft, die neue Aufgaben auf Kosten bereits gelöster verbessert [^1].
Nach Phase 1 schlugen alle drei auf den ersten 12 Aufgaben die 62,5 Prozent des Basis-Agenten: GEPA erreichte 70,8, Meta Harness 66,6 und RELAI-VCL 79,2 Prozent [^1]. Auf allen 22 Aufgaben, noch vor weiterer Optimierung, sah es anders aus. GEPA fiel auf 54,5 Prozent und damit unter den nicht optimierten Basis-Agenten mit 56,8, während Meta Harness 68,2 und RELAI-VCL 72,7 Prozent erreichten [^1]. Im optimierten Prompt von GEPA fanden die Autoren Informationen zu einzelnen Aufgaben aus Phase 1, die offenbar fest eingetragen waren [^1].
In Phase 2 bekam jede Methode ein zweites Budget auf allen 22 Aufgaben. GEPA erholte sich auf 72,7 Prozent. Meta Harness fand keinen Kandidaten, der besser war als der vorhandene Agent, und fiel auf 59,1. RELAI-VCL erreichte 77,3 Prozent [^1]. Gemittelt über die drei Stufen kam RELAI-VCL auf 76,4 Prozent, GEPA auf 66,0, Meta Harness auf 64,6 und der Basis-Agent auf 58,7 [^1].
Warum es wichtig ist
Die Studie zeigt, wie ein einzelner Wert verschiedene Fehler verdecken kann. GEPA und Meta Harness landeten mit 66,0 und 64,6 Prozent bei ähnlichen Durchschnitten, doch das eine Verfahren passte sich zu stark an die ersten Aufgaben an, das andere konnte auf den eigenen Änderungen nicht aufbauen [^1]. Wer Agenten optimiert, sollte deshalb drei Dinge getrennt messen: den Gewinn auf den Aufgaben, die die Änderung ausgelöst haben, das Ergebnis auf Aufgaben, die der Optimierer nie gesehen hat, und ob eine zweite Runde noch hilft. Die Autoren deuten den Vorsprung von RELAI-VCL als Zeichen, dass eine Regressionskontrolle innerhalb der Suche enge Abkürzungen herausfiltert, nennen das aber eine Deutung, die an diese Auswertung gebunden ist, kein allgemeines Gesetz [^1].
Die Belege haben klare Grenzen. Die Autoren testen die Methode ihrer eigenen Firma gegen zwei andere. Der Test umfasst 22 Aufgaben, je zwei Durchläufe und zwei Runden [^1]. Außerdem weisen die Autoren darauf hin, dass die Aufgaben in Terminal-Bench 2.0 nur lose zusammenhängen, während echte Fehler sich in einem Fachgebiet häufen, und dass ihr Protokoll wiederholbare Aufgaben und verlässliche Prüfer voraussetzt, was im Produktivbetrieb selten gegeben ist [^1].
Ein Beispiel aus der Praxis
Angenommen, du betreust einen internen Coding-Agenten und lässt jeden Monat einen Optimierer auf die Tickets los, an denen er gescheitert ist. Bevor du eine Änderung übernimmst, lässt du die Aufgaben erneut laufen, die der Agent schon gelöst hat, und verwirfst jede Änderung, die eine davon bricht, also die Regel, die RELAI-VCL in seine Suche einbaut [^1]. Außerdem liest du den neuen Prompt auf Details durch, die aus bestimmten Tickets kopiert sind, wie die Informationen zu einzelnen Aufgaben, die die Autoren in GEPAs Prompt fanden [^1]. Und du hältst eine Reihe von Tickets zurück, die der Optimierer nie sieht, denn auf ungesehenen Aufgaben fiel GEPA unter den nicht optimierten Agenten [^1].