SaeRL ordnet RL-Trainingsdaten mit Features eines Sparse Autoencoders
Forschende der Tsinghua University filtern, sortieren und bündeln Matheaufgaben fürs Reinforcement Learning mit einem Sparse Autoencoder und heben die Genauigkeit eines 1,5B-Modells von 49,4 auf 52,4 Prozent.
TL;DR
- SaeRL filtert, ordnet und bündelt Matheaufgaben fürs Reinforcement Learning mit Features eines Sparse Autoencoders und hebt ein 1,5B-Modell im Schnitt von 49,4 auf 52,4 Prozent [^1].
- Die Signale kosten weit weniger als Schwierigkeitswerte aus Rollouts, belegt ist der Ansatz bisher aber nur für Matheaufgaben mit überprüfbaren Belohnungen [^1].
Hintergrund
Reinforcement Learning (RL) nach dem Vortraining ist zentral für bessere Sprachmodelle, und der Erfolg hängt an der Datenaufbereitung: welche Beispiele genutzt werden, in welcher Reihenfolge und in welchen Batches [^1]. Diese Entscheidungen stützen sich meist auf externe Signale wie menschliche Präferenzen, Ergebnisse von Verifizierern oder Erfolgsquoten von Rollouts [^1]. Sparse Autoencoder (SAEs) bieten einen Blick nach innen: Sie zerlegen Hidden States in spärliche, feinkörnige Features [^1]. Anthropic hat mit dieser Art von Dictionary Learning Millionen Features aus Claude 3.0 Sonnet extrahiert [^2].
Was passiert ist
Ein Team der Tsinghua University macht aus diesem Blick nach innen eine Datenpipeline namens SaeRL [^1]. Es trainiert einen einzigen SAE auf den Aktivierungen von Schicht 27 von Qwen3-1.7B und nutzt ihn als gemeinsamen Encoder für alle Entscheidungen, auch wenn das trainierte Modell größer ist und laut den Autoren aus einer anderen Modellfamilie stammt [^1]. Jedes Trainingsbeispiel wird zu einem Vektor aus 960 gepoolten SAE-Features aus Aufgabe und Lösung sowie 26 Oberflächenmerkmalen wie Länge und Ziffernanteil [^1].
Darauf bauen drei Schritte auf. Eine lineare Qualitätsprobe filtert den Datenbestand in Richtung der Zielverteilung. Ein ElasticNet-Regressor, trainiert auf 3.000 nach Schwierigkeit gelabelten Beispielen, schätzt, wie schwer jede Aufgabe ist. Die Beispiele werden im SAE-Raum in zehn Cluster gruppiert und innerhalb jedes Clusters von leicht nach schwer sortiert; die Batches wechseln zwischen den Clustern, und ein kleiner Rest an Beispielen wird zwischen benachbarten Batches getauscht, um etwas zu mischen [^1].
Getestet hat das Team den Ansatz an Mathematik: Es trainierte Qwen2.5-Math-1.5B und Qwen2.5-Math-7B auf DeepMath-103K mit den RL-Algorithmen GRPO und DAPO und wertete sechs Benchmarks von GSM8K bis AIME24 aus [^1]. Beim 1,5B-Modell stieg die durchschnittliche Genauigkeit bei Schritt 900 mit GRPO von 49,4 auf 52,4 Prozent und mit DAPO von 51,5 auf 52,5 Prozent; beim 7B-Modell mit GRPO von 59,9 auf 61,9 Prozent [^1]. Laut den Autoren erreicht das 1,5B-Modell die Zielgenauigkeit mit 20 Prozent weniger Trainingsschritten [^1]. In einem eigenen Test wurden die 103.022 DeepMath-Beispiele mit 107.021 Beispielen aus NuminaMath-1.5 vermischt; ein Perzentil-Schwellenwert auf der Qualitätsprobe behielt 103.121 Beispiele, 95,37 Prozent davon aus DeepMath [^1].
Warum es wichtig ist
Das stärkste Argument sind die Kosten. Ein Curriculum auf Basis extern gelieferter Schwierigkeitslabels kam ungefähr gleich schnell ans Ziel, im Schnitt nach 373 Schritten beim 1,5B-Modell gegenüber 380 für SaeRL mit GRPO [^1]. Solche Labels oder Werte aus wiederholten Rollouts sind aber teuer: Das Rollout-basierte ADARFT brauchte selbst mit reduziertem Rollout-Budget etwa 17,33 H100-GPU-Stunden, während SaeRL alle 103.022 Beispiele in etwa 0,5 H100-GPU-Stunden kodierte [^1]. Die Ablationsstudien zeigen außerdem, worauf es ankommt. Ohne die Sortierung von leicht nach schwer fiel das Ergebnis am stärksten ab, und mehr Mischen war nicht besser: Die Einstellung mit der höchsten gemessenen Vielfalt verschlechterte Genauigkeit und Konvergenz [^1]. Die SAE-Cluster deckten sich nicht mit den menschlichen Themenlabels, sondern erfassten Aufgabenformat, Argumentationsstruktur, Lösungsprofil und Schwierigkeit [^1].
Die Grenzen nennt das Paper selbst. Ob dieselbe Struktur auf Code, agentisches RL, Werkzeugnutzung oder allgemeines Befolgen von Anweisungen übertragbar ist, ist nicht belegt [^1]. Die Methode ist nicht vollständig unüberwacht: Der Schwierigkeitsschätzer braucht eine gelabelte Teilmenge, die Qualitätsprobe braucht Quellenlabels [^1]. Nähe im SAE-Raum als Ersatz für Gradientenkohärenz zu behandeln ist eine Deutung, kein bewiesener kausaler Zusammenhang [^1]. Die Autoren warnen außerdem, dass solche Signale missbraucht werden könnten, um Daten auf unsicheres Verhalten hin zu optimieren [^1].
Ein Beispiel aus der Praxis
Angenommen, Lena leitet das Post-Training in einem kleinen Labor, das ein offenes 7B-Mathemodell mit GRPO feintunt. Der Aufgabenbestand ist groß, und ein Teil stammt aus einer unsaubereren Quelle als der Rest. Bisher hat das Team alles gemischt und trainiert.
Nach dem Vorbild von SaeRL schickt Lena zuerst jede Aufgabe samt Lösung durch einen SAE, der auf den Hidden States eines kleineren Modells trainiert wurde; im Paper stammte er von Qwen3-1.7B [^1]. Dort dauerte das Kodieren von 103.022 Beispielen etwa 0,5 H100-GPU-Stunden [^1]. Danach filtert eine lineare Probe, trainiert auf Beispielen mit bekannter Quelle, Aufgaben heraus, die nicht wie die Zieldaten aussehen [^1]. Lenas Team labelt dann 3.000 Aufgaben nach Schwierigkeit, trainiert den kleinen Regressor und bewertet damit den Rest [^1]. Zum Schluss wird der Bestand in zehn Cluster geteilt, von leicht nach schwer sortiert und mit nur leichter Mischung zwischen den Clustern zu Batches gebündelt, denn starkes Mischen schadete in den Tests des Papers [^1].
Im 7B-Lauf des Papers hob diese Art der Anordnung die durchschnittliche Genauigkeit bei gleicher Schrittzahl von 59,9 auf 61,9 Prozent [^1]. In zwei Fällen sollte Lena die Erwartungen dämpfen. Ist das nächste Projekt ein Agent für Code oder Werkzeuge, bietet das Paper noch keinen Beleg [^1]. Und trainiert das Team mit deutlich größeren Batches, schrumpfte im Paper der Vorsprung bei der Metrik Pass@8 mit wachsender Batchgröße [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Reinforcement Learning von Grund auf erklärt, also die Trainingsphase, deren Daten SaeRL filtert, ordnet und zu Batches bündelt.