inferwire
/
KI·4 Min. Lesezeit

Speed-Benchmarks für Coding-Agenten verlieren auf anderen Rechnern ihr Signal

Forschende spielten 740 Referenz-Patches auf vier Cloud-Maschinentypen erneut ab: Nur 11 von 140 SWE-Perf-Aufgaben bleiben gültig, und die Bewertungsregeln mischen die Ranglisten neu.

TL;DR

  • Referenz-Patches blieben über alle getesteten Cloud-Maschinen nur bei 39/102 GSO-, 11/140 SWE-Perf- und 411/498 SWE-fficiency-Aufgaben gültig [^1].
  • Auch die Bewertung prägt Ränge: GSO und SWE-fficiency widersprechen sich bei acht gemeinsamen Einreichungen in 9 von 28 Vergleichen, ein Rang allein misst kein Können [^1].

Hintergrund

Performance-Benchmarks auf Repository-Ebene wie GSO, SWE-Perf und SWE-fficiency verlangen von einem Coding-Agenten, ein echtes Projekt schneller zu machen, ohne es zu beschädigen [^1]. Anders als Benchmarks für Fehlerbehebung wie SWE-Bench, die vor allem prüfen, ob Tests bestehen, müssen sie Laufzeitmessungen vergleichen, und die schwanken mit CPU-Scheduling, Cache-Zustand und Konkurrenz um Speicherbandbreite [^1]. Zu jeder Aufgabe gehört ein Referenz-Patch, eine offizielle Optimierung, an der Einreichungen gemessen werden [^1].

Was passiert ist

Zhi Chen, Zhensu Sun, Yuling Shi, David Lo und Lingxiao Jiang von der Singapore Management University und der Shanghai Jiao Tong University haben die drei Benchmarks geprüft [^1]. Sie spielten alle 740 offiziellen Referenz-Patches auf vier Google-Cloud-Maschinentypen mit je 64 vCPUs und 256 GB Arbeitsspeicher ab, mit älteren und neueren Prozessoren von Intel und AMD und drei Runden pro Maschine [^1]. Fast jede Aufgabe lief noch. Aber nur 39 von 102 GSO-Aufgaben, 11 von 140 SWE-Perf-Aufgaben und 411 von 498 SWE-fficiency-Aufgaben erfüllten in allen 12 Durchläufen die Gültigkeitsregel ihres eigenen Benchmarks [^1]. Bei SWE-Perf liegt das nicht an mehr Rauschen, sondern an einem winzigen Signal: Der mittlere Referenz-Patch veränderte die Laufzeit nur um -0,03 %, sodass schon kleine Zeitschwankungen die statistische Absicherung aufheben können [^1].

Danach untersuchte das Team, wie aus Aufgabenergebnissen Ranglisten werden, anhand der acht öffentlichen Einreichungen, die sowohl bei GSO als auch bei SWE-fficiency gelistet sind und alle auf dem Agenten-Gerüst OpenHands aufbauen [^1]. Die beiden offiziellen Ranglisten widersprechen sich bei 9 der 28 direkten Paarvergleiche, und die mit GPT-5 bezeichnete Einreichung rückt um fünf Plätze [^1]. GSO wertet eine Aufgabe nur als gelöst, wenn ein korrekter Patch die Beschleunigung der Referenz erreicht oder übertrifft. SWE-fficiency mittelt Beschleunigungsverhältnisse harmonisch mit einer Untergrenze von 0,001, wodurch wenige Fehlschläge dominieren können: Die schlechtesten zehn Aufgaben tragen 58,5 bis 82,8 Prozent des Gewichts einer Einreichung [^1]. In der Einreichung mit Claude Opus 4.5 trägt eine einzige Aufgabe nahe der Untergrenze allein 33,6 Prozent. Eine Deckelung der Strafe pro Aufgabe, die die Autoren als Diagnose testeten, veränderte sechs von acht Rängen [^1].

Zuletzt fassten die Autoren pro Aufgabe 10 öffentliche Einreichungen zusammen. Von 450 bei der Wiederholung gültigen GSO- und SWE-fficiency-Aufgaben erreichte oder übertraf mindestens eine Einreichung bei 384 die Referenz, jede Aufgabe hatte einen bestandenen Patch, und bei 449 war einer schneller als der unoptimierte Code [^1]. Bei den übrigen 66 erreichte der beste öffentliche Patch im Median 85,3 Prozent der Referenzbeschleunigung bei GSO und 87,9 Prozent bei SWE-fficiency [^1]. Die Autoren deuten das als Lücke in der Umsetzungstiefe: Agenten finden oft eine brauchbare Optimierungsidee, wenden sie aber nicht breit oder sorgfältig genug an [^1].

Warum es wichtig ist

Ergebnisse auf diesen Benchmarks gelten zunehmend als Beleg für den Fortschritt von Coding-Agenten, und die Autoren argumentieren, dass man sie nicht als direktes Maß für die Fähigkeiten eines Agenten lesen sollte [^1]. Manche Aufgaben messen einen Unterschied, der sich kaum vom Laufzeitrauschen trennen lässt, und bei SWE-fficiency kann ein Rangabstand breite Leistung widerspiegeln, eine Handvoll schwerer Fehlschläge oder beides [^1]. Die Autoren fordern, dass Benchmark-Berichte über Maschinen hinweg bestätigte Aufgaben von instabilen trennen, das Gewicht jeder Aufgabe im Ergebnis zeigen und Einreichungen unter Bewertungsregeln vergleichen, die zum Einsatzzweck passen [^1].

Die zusammengefassten Ergebnisse schränken außerdem ein, was die Benchmarks noch zeigen können. Wenn die meisten Aufgaben schon von irgendeiner öffentlichen Einreichung gelöst sind, hat eine neue Agentenkonfiguration, die nur an zusätzlichen Erfolgen auf Referenzniveau gemessen wird, wenig Spielraum, und ihr gemessener Gewinn kann an wenigen Aufgaben hängen [^1]. Künftige Benchmarks sollen nach dem Wunsch der Autoren den schwierigeren Teil echter Performance-Arbeit abbilden: den Engpass aus Profilen oder Traces finden, gegen Workloads prüfen, die der Agent nie gesehen hat, und Latenz und Speicher messen statt nur einer Laufzeitzahl [^1].

Ein Beispiel aus der Praxis

Angenommen, dein Team wählt zwischen zwei Coding-Agenten für Performance-Arbeit, und einer steht bei SWE-fficiency drei Plätze höher. Bevor du dem Abstand traust, schaust du dir die Ergebnisse pro Aufgabe an: Tragen wenige Aufgaben nahe der Untergrenze den Großteil des Gewichts, spiegelt die Rangfolge eher diese Fehlschläge als breite Beschleunigung wider [^1]. Außerdem prüfst du, ob die Aufgaben hinter dem Unterschied Referenz-Patches haben, die über Maschinen hinweg gültig bleiben [^1]. Dann lässt du beide Agenten an einer langsamen Funktion aus deinem eigenen Code arbeiten und misst die Ergebnisse mehrmals auf deiner Produktionshardware, denn Laufzeiten verschieben sich zwischen Durchläufen und Maschinen [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es erklärt, wie man die Leistung realer Systeme misst und profiliert, also die Diagnosearbeit, die heutige Benchmarks laut der Studie auslassen.

WerbungAmazon

Systems Performance

Quellen

  1. [1]arXiv — Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?