inferwire
/
KI·4 Min. Lesezeit

ExpRL macht Musterlösungen zu Belohnungen fürs LLM-Training

ExpRL versteckt von Menschen geschriebene Lösungen vor einem Sprachmodell und lässt einen LLM-Richter damit Teilfortschritte bewerten. So startet normales RL bei schwerer Mathematik besser.

TL;DR

  • ExpRL versteckt von Menschen geschriebene Musterlösungen vor einem Sprachmodell und lässt einen LLM-Richter damit die Teilfortschritte des Modells im RL bewerten [^1].
  • Als Vorbereitung eines 4B-Modells auf normales RL schlug ExpRL Fine-Tuning, Sparse-Reward-RL und Self-Distillation auf allen vier zurückgehaltenen Mathe-Benchmarks [^1].

Hintergrund

Reinforcement Learning mit spärlichen Belohnungen, bei dem ein großes Sprachmodell (LLM) nur für eine richtige Endantwort belohnt wird, ist zu einem Standardweg geworden, um das Schlussfolgern zu verbessern [^1]. Das klappt aber nur, wenn das Modell schon brauchbare Lösungswege ausprobiert: Bei Aufgaben, die es nie löst, gibt es nichts zu verstärken [^1]. Deshalb kommt oft vorher ein Mid-Training, meist Fine-Tuning auf kuratierten Denkspuren, wofür jemand von Hand festlegen muss, was das Modell lernen soll [^1].

Was passiert ist

In einem auf arXiv veröffentlichten Paper stellen Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber und Aviral Kumar ExpRL vor, kurz für Exploratory RL: Mid-Training per RL auf großen Sammlungen von Fragen und Antworten, die Menschen geschrieben haben [^1]. Statt das Modell eine Musterlösung imitieren zu lassen, hält ExpRL sie verborgen. Das trainierte Modell, die Policy, sieht nur die ursprüngliche Aufgabe, und ein LLM als Richter vergleicht jeden Versuch nach einem festen Bewertungsschema mit der Musterlösung und vergibt 1 bis 5 Punkte [^1]. Der Richter soll prüfen statt selbst zu lösen und keine fehlenden Schritte ergänzen [^1]. ExpRL-Outcome bewertet den vollständigen Versuch. ExpRL-Process bewertet zusätzlich jeden Teilversuch, abgeschnitten an einem Trennzeichen, das das Modell zwischen Denkschritten ausgibt, und belohnt einen Abschnitt nur, wenn er die Bewertung gegenüber dem vorherigen steigert [^1].

Die Hauptexperimente nutzen Qwen3-4B-Instruct-2507 als Policy und als Richter, trainiert auf schweren Matheaufgaben, an denen das Basismodell in jeweils 64 Versuchen gescheitert war [^1]. Nach 230 Schritten ExpRL bekommt jedes Modell 500 Schritte gewöhnliches RL mit spärlicher Belohnung, sodass sich nur der Ausgangspunkt unterscheidet [^1]. Gemessen an pass@1, dem Anteil richtiger Einzelversuche, lagen ExpRL-Varianten auf allen vier zurückgehaltenen Benchmarks vorn. Bei AIME 2026 erreichte ExpRL-Process 63,41 Prozent, gegenüber 58,75 für die GRPO-Baseline mit spärlicher Belohnung und 51,40 für das unveränderte Basismodell [^1]. Überwachtes Fine-Tuning (SFT) auf denselben Musterlösungen landete bei 30,26 Prozent, also unter dem Basismodell [^1].

Während des ExpRL-Trainings blieb die Entropie auf Token-Ebene, ein Maß dafür, wie vielfältig die Ausgaben sind, stabil oder stieg leicht, während sie bei GRPO mit spärlicher Belohnung am stärksten sank und dieses Verfahren die wenigsten ungelösten Aufgaben knackte [^1]. Annotierte Versuche zeigten mehr Überprüfung, Selbstkorrektur und Zurückgehen als beim Basismodell; SFT verlor das Überprüfen [^1]. Ein zweites Experiment trainierte ein größeres Qwen3-8B mit einem Qwen3-4B als Richter auf 4.001 Beispielen aus Mathematik, Naturwissenschaft und Programmierung. ExpRL-Outcome verbesserte jeden pass@1-Wert, doch auf dem Coding-Benchmark LiveCodeBench blieb GRPO mit spärlicher Belohnung vorn [^1].

Warum es wichtig ist

Das Ergebnis verschiebt, wie man von Menschen geschriebene Lösungen am besten nutzt. Die Forschenden folgern, dass Musterlösungen bei der Vorbereitung auf RL „wirksamer sind, wenn man mit ihnen gesampeltes Schlussfolgern bewertet, als wenn man sie nur als nachzuahmende Verläufe nutzt“ [^1]. Der Aufbau kann zudem günstiger sein als gedacht: Weil es leichter ist, einen Versuch mit einer Musterlösung abzugleichen, als selbst eine Lösung zu schreiben, konnte ein 4B-Richter brauchbare Belohnungen für ein 8B-Modell liefern [^1].

Die Grenzen sind klar, und das Team benennt sie selbst. ExpRL braucht Musterlösungen, die in manchen Bereichen schwer zu bekommen sind [^1]. Der Richter muss fähig genug sein und die richtige Musterlösung sehen. In einem Kalibrierungstest lag die Fehlzuordnungsrate eines Qwen3-4B-Richters, der Mittelwert aus falsch-positiver und falsch-negativer Rate, bei Mathematik mit passender Musterlösung bei 17,8 Prozent, ohne Musterlösung bei 39,2 und mit der Lösung einer anderen Aufgabe bei 50,4; ein 0,6B-Richter war instabil [^1]. Beim Programmieren, wo das Ausführen des Codes eine starke Belohnung liefert, sollte das spätere RL laut den Forschenden direkt dieses Signal nutzen [^1]. Alle trainierten Modelle sind Qwen3-Modelle mit 4 oder 8 Milliarden Parametern [^1]; größere testet das Paper nicht.

Ein Beispiel aus der Praxis

Angenommen, Priya leitet ein kleines Labor, das ein offenes 4B-Modell Mathe auf Olympiade-Niveau lösen lassen will. Das Labor besitzt ein paar Tausend ausgearbeitete Lösungen von menschlichen Tutorinnen und Tutoren, und das Modell scheitert jedes Mal an den schwersten Aufgaben. Reines Sparse-Reward-RL gibt jedem dieser Versuche die Belohnung null, also bringen diese Aufgaben dem Modell nichts bei [^1].

Priyas erste Idee ist, auf diesen Lösungen zu fine-tunen. Das Paper warnt genau davor: In seinen Tests senkte SFT auf Musterlösungen den pass@1-Wert des 4B-Modells bei AIME 2025 von 46,46 auf 6,00 Prozent, noch vor jedem RL [^1]. Von Menschen geschriebene Lösungen unterscheiden sich stark vom eigenen Schlussfolgern des Modells, und sie zu klonen kann es stören [^1].

Mit ExpRL hält Priya die Lösungen vom Modell fern. Für jede Aufgabe schreibt das Modell eigene Versuche, und ein Richter-Modell liest jeden davon neben der Lösung aus dem Tutorium. Ein Versuch, der den richtigen Ansatz wählt, aber später scheitert, bekommt trotzdem Teilpunkte; einer, der sich verirrt, kaum welche [^1]. Nach dieser Vorbereitungsphase lässt Priya gewöhnliches RL mit Richtig-oder-falsch-Belohnung laufen, ausgehend von einem Modell, das jetzt mehr schwere Aufgaben löst [^1].

Zwei Dinge muss Priya prüfen. Jede Aufgabe braucht ihre eigene Lösung, denn die Lösung einer anderen Aufgabe macht die Bewertungen des Richters unzuverlässig [^1]. Und für die Coding-Aufgaben des Labors bleibt die Belohnung aus dem tatsächlichen Ausführen des Codes das bessere Signal [^1].

Passende Produkte

Wir empfehlen diesen Grundlagentext, da er die mathematischen Prinzipien des Reinforcement Learning vermittelt, die Forscher nun auf das Mid-Training von Sprachmodellen anwenden.

WerbungAmazon

Reinforcement Learning: An Introduction

Quellen

  1. [1]arXiv — ExpRL: Exploratory RL for LLM Mid-Training