inferwire
/
KI·2 Min. Lesezeit

NVIDIA-Methode erkennt vorab, welche Basismodelle gute Coding-Agenten werden

Forschende von NVIDIA, der University of Minnesota und der UC Berkeley bewerten untrainierte Basismodelle am entscheidenden Schritt gelöster Aufgaben, mit Rangfolgen wie nach dem SWE-bench-Training.

TL;DR

  • Zu entscheiden, welches Basismodell eine teure Runde agentischen Nachtrainings wert ist, fällt schwer, weil untrainierte Modelle die Tools eines Coding-Agenten meist nicht bedienen können [^1].
  • Ein Team um NVIDIA bewertet Basismodelle am „entscheidenden Schritt“ bekannter Lösungen; über zehn Modellpaare deckten sich die Rangfolgen weitgehend mit den SWE-bench-Verified-Ergebnissen nach dem Nachtraining [^1].

Hintergrund

Coding-Agenten entstehen, indem man ein Basismodell nachtrainiert, damit es in einem Tool-Harness arbeitet und ein Repository Schritt für Schritt bearbeitet, bis die Tests bestehen. Dieses Nachtraining ist teuer, also wollen Labore vorher wissen, welcher Checkpoint sich lohnt [^1]. End-to-End-Benchmarks wie SWE-bench Verified sind für Basismodelle zu anspruchsvoll, ihre Erfolgsquoten bleiben nahe null; einmalige Coding-Tests umgehen das, lassen aber die Kernfähigkeit aus, über viele Schritte den Überblick über ein Repository zu behalten [^1].

Was passiert ist

Forschende von NVIDIA, der University of Minnesota und der University of California, Berkeley nutzen erfolgreiche Abläufe bereits nachtrainierter Agenten als „Vorausschau-Signal“ [^1]. Sie spielen jeden Ablauf nach, führen nach jedem codeverändernden Schritt die Tests erneut aus und finden den entscheidenden Schritt: den ersten, dessen kumulierter Patch das Repository von fehlschlagend auf bestanden umschaltet [^1]. An diesem Punkt wenden sie drei Prüfungen an, für die das Basismodell den Harness nicht selbst steuern muss [^1]. Eine misst, wie viel Wahrscheinlichkeit das Basismodell der Aktion gibt, die die Aufgabe gelöst hat. Eine andere lässt es zwischen dieser Aktion und Alternativen wählen, die dieselben Tests verworfen haben. Die dritte lässt es ab dem bisherigen Verlauf weiterschreiben und zählt jede Fortsetzung, die die Tests akzeptieren [^1].

Über zehn Paare öffentlicher Basis- und nachtrainierter Modelle ordneten alle drei Prüfungen die Modelle weitgehend so ein wie deren pass@1 auf SWE-bench Verified nach dem Nachtraining [^1]. Weil die Methode nur die erfolgreichen Abläufe eines Benchmarks und seinen Prüfer braucht, lassen sich damit laut den Autoren künftige agentische Coding-Benchmarks in Evaluierungen für Basismodelle verwandeln [^1].

Warum es wichtig ist

Die Wahl eines Basis-Checkpoints ist eine folgenreiche Entscheidung, die fällt, bevor seine agentischen Fähigkeiten sichtbar sind, und um sie sichtbar zu machen, braucht es viel Rechenzeit und Entwicklungsarbeit [^1]. Ein günstiger Test, der das Ergebnis vorhersagt, lässt ein Labor schwache Kandidaten früh aussortieren und das Trainingsbudget dort einsetzen, wo es sich in den Ergebnissen zeigt.

Ein Beispiel aus der Praxis

Angenommen, ein Labor hat vier Basismodelle zur Auswahl und Budget, um eines zu einem Coding-Agenten nachzutrainieren. Statt alle vier zu trainieren, spielt es gelöste SWE-bench-Aufgaben nach, hält jede am entscheidenden Schritt an und prüft, welches Modell die richtige Korrektur am stärksten bevorzugt. Laut Paper entspricht diese Rangfolge weitgehend dem, wie die Modelle nach dem Nachtraining abschneiden würden [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es einen umfassenden Leitfaden für den Entwurf und die Bewertung von Systemen für maschinelles Lernen bietet, was perfekt zu den in diesem Beitrag analysierten strukturierten Validierungsmethoden passt.

WerbungAmazon

Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications

Quellen

  1. [1]arXiv — Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models