DRPO: Eine glattere Trust Region für Reinforcement Learning bei LLMs
Forschende von Tencent Hunyuan, UIUC und NUS stellen DRPO vor: Das Verfahren begrenzt, wie weit sich die Wahrscheinlichkeit jedes Tokens im RL-Training verschiebt, und zieht sie bei Überschreitung zurück.
TL;DR
- Forschende von Tencent Hunyuan, UIUC und NUS stellen DRPO vor, das mit einer glatten Strafe begrenzt, wie weit sich Token-Wahrscheinlichkeiten im RL-Training verschieben [^1].
- In Mathe-Tests über sechs Modell- und Präzisionseinstellungen erreichte oder übertraf es die beste Vergleichsmethode, während ratio-basierte Verfahren unter FP8 oft kollabierten [^1].
Hintergrund
Reinforcement Learning ist heute ein zentraler Schritt im Post-Training von LLMs: Das Modell schreibt eine Antwort, ein Reward-Modell oder ein regelbasierter Prüfer bewertet sie, und das Modell wird angepasst [^1]. Die Antworten stammen meist von einer etwas älteren oder numerisch abweichenden Kopie des Modells [^1]. Eine Trust Region begrenzt, wie weit sich jedes Update von dieser Kopie entfernen darf. PPO, viel einfacher umzusetzen als sein Vorgänger TRPO [^2], erzwingt das, indem es das Wahrscheinlichkeitsverhältnis jedes Tokens beschneidet [^1].
Was passiert ist
Das Paper von Forschenden bei Tencent Hunyuan, UIUC und NUS setzt bei einer bekannten Schwäche dieses Verhältnisses an. Es vergleicht die Wahrscheinlichkeit eines Tokens im gerade trainierten Modell mit seiner Wahrscheinlichkeit beim Erzeugen der Antwort [^1]. LLM-Vokabulare sind groß und haben einen langen Schwanz seltener Tokens. Eine kleine Erhöhung bei einem seltenen Token kann ein riesiges Verhältnis ergeben, obwohl sich kaum Wahrscheinlichkeit verschiebt, während eine moderate Änderung bei einem häufigen Token viel bewegen kann. Ein festes Fenster für das Verhältnis bremst seltene Tokens also zu stark und häufige zu wenig [^1]. Dieser Schwanz ist nicht vernachlässigbar: Bei Qwen3-30B-A3B-Base machten Tokens, die mit einer Wahrscheinlichkeit von 0,01 oder weniger gezogen wurden, 7,8 Prozent aller gezogenen Tokens aus [^1]. Ein früheres Verfahren, DPPO, misst stattdessen die absolute Verschiebung der Wahrscheinlichkeit des gezogenen Tokens und schaltet dessen Gradienten ab, sobald er eine Schwelle in die falsche Richtung überschreitet. Diese harte Maske, so die Autoren, liefert kein Signal, das den Token zurückholt, und verursacht abrupte Sprünge nahe der Schwelle [^1].
DRPO, kurz für Divergence Regularized Policy Optimization, behält die Grenze von DPPO bei, ersetzt die Maske aber durch eine glatte quadratische Strafe auf diese absolute Verschiebung. Die Konstruktion übernimmt es von SPO, das auf dieselbe Weise das Clipping von PPO geglättet hat [^1]. Der Gradient jedes Tokens wird mit einem stetigen Gewicht multipliziert. Schiebt ein Update die Wahrscheinlichkeit des Tokens weiter von ihrem Ausgangswert weg, schrumpft das Gewicht an der Grenze auf null und wird jenseits davon negativ, sodass der Token zurückgezogen wird; bewegt das Update ihn zurück, wächst das Gewicht [^1]. Weil die Verschiebung eine Differenz zweier Wahrscheinlichkeiten ist, bleibt das Gewicht beschränkt, während das ratio-basierte Gewicht von SPO bei seltenen Tokens unbegrenzt wachsen kann [^1].
Das Team trainierte Qwen3-4B-Base, Qwen3-30B-A3B-Base und Qwen3.5-35B-A3B-Base mit rund 13 Tausend Matheaufgaben aus dem DAPO-Datensatz mit regelbasierter Prüfung nach, dazu DeepSeek-R1-Distill-Qwen-1.5B mit einem Testsatz von 1.460 Fragen, und bewertete die Modelle mit AIME 2024 und 2025 [^1]. Für das 30B-Mixture-of-Experts-Modell kamen Läufe mit FP8-Präzision hinzu, einmal nur für die Rollouts und einmal für Training und Rollouts, was die numerische Lücke zwischen den beiden Engines vergrößern kann [^1]. In allen sechs Einstellungen erreichte oder übertraf DRPO die beste Genauigkeit der Vergleichsmethoden. GRPO und SPO trainierten meist instabil und kollabierten in den Läufen mit niedriger Präzision oft; DPPO lief auf Qwen3-30B-A3B-Base stabil, konvergierte aber langsamer und auf eine niedrigere Endgenauigkeit [^1].
Warum es wichtig ist
Ganz ohne Trust Region lief das Training manchmal gut, aber nicht verlässlich: In drei der sechs Einstellungen ging Genauigkeit verloren, bei Qwen3-4B-Base fiel sie von 0,25 auf 0,17 [^1]. Die Autoren sehen darin eine Bestätigung, dass eine Trust Region weiterhin nötig ist und ihre Form entscheidend ist [^1]. Die Ablationen des Teams gehen noch weiter. Übliche KL- oder TV-Strafen schnitten schlechter ab als DRPO, was die Autoren auf Gradienten zurückführen, die das ratio-basierte Verhalten wieder einführen. Ohne die Gewichtung mit dem Advantage jedes Tokens, also dem Maß, um wie viel besser eine Antwort als erwartet abschnitt, sank die Leistung und das Training wurde instabil [^1]. Das Fazit: Der Gradient, den eine Strafe erzeugt, zählt mehr als die Divergenz, die sie dem Namen nach misst [^1].
Für Teams, die RL auf LLMs betreiben, könnte das Ergebnis zur Abstimmung so wichtig sein wie die Genauigkeit. DPPO brauchte für jede Einstellung eine eigene Schwelle, 0,15 war am besten bei Qwen3-30B-A3B-Base und 0,6 im FP8-Lauf für Training und Rollouts, während DRPO mit einem einzigen Wert von 12,5 auskam und nur wenig verlor, als er auf 2,5 gesenkt wurde [^1]. Die Belege haben Grenzen. Alle Hauptläufe nutzten Matheaufgaben mit regelbasiert geprüften Antworten, und das Qwen3.5-Modell bekam nur 110 Trainingsschritte gegenüber 300 bei Qwen3-30B-A3B-Base, weil das Trainings-Backend es damals nicht effizient unterstützte [^1].
Ein Beispiel aus der Praxis
Angenommen, Priya leitet das Post-Training in einem kleinen Labor und trainiert Qwen3-30B-A3B-Base mit Matheaufgaben und einem automatischen Antwortprüfer nach. Um schneller voranzukommen, stellt Priya Rollouts und Training auf FP8 um. Mit einem ratio-basierten Verfahren bricht der Lauf zusammen, bevor er eine brauchbare Genauigkeit erreicht, so wie GRPO und SPO in den Läufen des Papers mit niedriger Präzision oft [^1].
Das Verhältnis erklärt einen Teil davon. Ein seltener Token kann nach einer winzigen Änderung seiner Wahrscheinlichkeit ein riesiges Verhältnis zeigen: Beim Clipping im Stil von PPO wird er abgeschnitten, bei der glatten Strafe von SPO kann sein Gewicht den Gradienten dominieren. Ein häufiger Token, der echte Wahrscheinlichkeitsmasse verliert, kommt dagegen durch die Prüfung [^1].
Priya wechselt zu DPPO, das stattdessen die absolute Verschiebung misst. Der Lauf bleibt stabil, aber jetzt muss die Schwelle für jede Konfiguration eingestellt werden: Im Paper war 0,15 bei einer Konfiguration am besten und 0,6 beim FP8-Lauf für Training und Rollouts [^1]. Tokens, die die Grenze überschreiten, bekommen einfach keinen Gradienten mehr, und nichts holt sie zurück [^1].
Mit DRPO bekommt ein Token, der sich von seiner Ausgangswahrscheinlichkeit entfernt, einen immer schwächeren Schub, je näher er der Grenze kommt, und einen Schub in die Gegenrichtung, sobald er sie überschreitet [^1]. Priya kann bei einer Einstellung bleiben, 12,5, die die Autoren in allen Hauptläufen nutzten [^1]. Was Priya nicht annehmen kann: dass der Gewinn auf Code- oder Chat-Aufgaben übertragbar ist, denn die Hauptläufe des Papers haben nur Mathematik gemessen [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Reinforcement Learning und Policy-Gradient-Verfahren von Grund auf erklärt, also die Familie von Algorithmen, zu der PPO, GRPO und DRPO gehören.