AI4AI-Bench: Coding-Agenten verbessern selten, wie Modelle lernen
Ein neuer Benchmark gibt Coding-Agenten vier Stunden, um den Trainingsalgorithmus in zehn Forschungsrepositories zu verbessern. Das beste System schloss weniger als ein Fünftel der Lücke zum Optimum.
TL;DR
- AI4AI-Bench gibt Coding-Agenten vier Stunden, um den Trainingsalgorithmus in zehn Forschungsrepositories zu verbessern, trainiert ihren Code dann von Grund auf neu und bewertet ihn [^1].
- Das beste System, Claude Opus 5 in Claude Code, kam im Schnitt auf 0,250, auf einer Skala, auf der 0,1 der ursprüngliche Algorithmus und 1,0 das Optimum ist [^1].
Hintergrund
Rekursive Selbstverbesserung bezeichnet die Idee, dass ein KI-System den Prozess verbessern könnte, der KI-Systeme hervorbringt [^1]. Die Autoren von Einsia.AI und der Tsinghua University sehen den Trainingsalgorithmus als entscheidenden Teil: Ein besseres Trainingsziel oder eine bessere Update-Regel verbessert jeden späteren Lauf, so wie Adam, DPO und GRPO [^1]. Bestehende Benchmarks gewinnt man laut den Autoren durch Datensammeln oder Hyperparameter-Tuning, und sie trennen nicht, wie ein Lauf ausgeführt wird, von dem, wie das Modell lernt [^1].
Was passiert ist
Der Benchmark friert zehn Forschungsrepositories ein, die zehn Familien von Trainingsalgorithmen abdecken, vom überwachten Fine-Tuning und mehrstufigem agentischem Reinforcement Learning bis zu Machine Unlearning, Weight Averaging und One-Shot-Pruning [^1]. In jeder Aufgabe kann der Agent vier Stunden lang den Code lesen, ändern und Ideen an einer günstigen Proxy-Metrik testen. Was er hinterlässt, ist ein Patch des Quellcodes, der bis zu 12 Stunden lang von Grund auf ausgeführt und unter demselben Verfahren mit dem ursprünglichen Algorithmus des Repositorys verglichen wird [^1]. Weil sich die zehn Metriken nicht direkt vergleichen lassen, wird jede Aufgabe auf eine gemeinsame Skala abgebildet: 0 ist ein nicht informatives Modell, 0,1 der mitgelieferte Algorithmus und 1,0 das Optimum der Aufgabe [^1].
Die Studie testete sechs Systeme, jeweils eine Kombination aus Modell, Umgebung und Denkaufwand: GPT-5.6 Sol, Terra und Luna in Codex, Claude Opus 5 und Sonnet 5 in Claude Code sowie Kimi K3, ebenfalls in Claude Code [^1]. Über ihre 29 Konfigurationen lag der Mittelwert bei 0,166. Claude Opus 5 führte mit 0,250, gefolgt von GPT-5.6 Sol mit 0,191, Kimi K3 mit 0,174, Claude Sonnet 5 mit 0,145, GPT-5.6 Terra mit 0,135 und GPT-5.6 Luna mit 0,117. Die beste einzelne Konfiguration, Opus 5 mit mittlerem Aufwand, erreichte im Schnitt 0,288 [^1]. In 124 der 290 Versuche hinterließ der Agent das Repository schlechter, als er es vorgefunden hatte [^1].
Warum es wichtig ist
Die Analyse im Paper zeigt, woher die Lücke kommt. Von den 263 Einreichungen, die überhaupt etwas änderten, ließen 141 das Lernverfahren unangetastet und passten stattdessen Budgets, Checkpoints, Hyperparameter oder die Modellkapazität an [^1]. Die 122, die das Trainingsziel, das Supervisionssignal, die Lernregel oder die Daten änderten, kamen im Schnitt auf 0,226, gegenüber 0,126 für den Rest [^1]. Mehr Denkaufwand brachte die Agenten vor allem dazu, sich daran zu wagen: Der Anteil solcher Einreichungen stieg von 8 auf 64 Prozent und der Mittelwert von 0,094 auf 0,196 [^1]. Die Ausgaben erklärten die Rangfolge nicht. Eine mittlere Konfiguration kostete bei Sol 434 Dollar und bei Luna 48 Dollar, während Opus 5 mit einem Median von 181 Dollar vorne lag [^1].
Für die Behauptung, Agenten würden die KI-Forschung bald beschleunigen, indem sie ihr eigenes Training verbessern, setzt das Ergebnis eine Marke: Selbst das stärkste System schloss weniger als ein Fünftel des Abstands zwischen dem vorhandenen Algorithmus und dem Optimum [^1]. Die Autoren veröffentlichen die Aufgaben, die Evaluatoren und jede bewertete Einreichung, damit sich die Messung wiederholen lässt, wenn sich die Systeme ändern [^1].
Ein Beispiel aus der Praxis
Angenommen, du gibst einem Coding-Agenten das Fine-Tuning-Repository deines Teams und bittest ihn, die Ergebnisse zu verbessern. Nach diesem Benchmark ist das wahrscheinliche Ergebnis ein Patch, der Budgets, Hyperparameter oder den Checkpoint-Plan ändert statt der Verlustfunktion oder der Update-Regel [^1]. Bevor du ihn übernimmst, prüfst du, welche Art von Änderung es ist, trainierst von einem sauberen Stand neu und evaluierst auf Daten, die der Agent nie gesehen hat, so wie es AI4AI-Bench tut. In mehr als zwei Fünfteln der Versuche im Benchmark hätte dieser Schritt ein schlechteres Ergebnis als das Original gezeigt [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Reinforcement Learning von Grund auf erklärt, eine der Familien von Trainingsalgorithmen, die Agenten in diesem Benchmark verbessern sollen.