Training einer mittleren Schicht kann volles RL-Post-Training erreichen
Bei sieben Qwen-basierten Modellen holte das RL-Training einer einzigen Transformer-Schicht den Großteil der Gewinne des vollständigen Trainings heraus, am besten mit mittleren Schichten.
TL;DR
- Das Training einer einzigen Transformer-Schicht mit Reinforcement Learning holte bei sieben Modellen der Qwen-Familie den Großteil der Gewinne vollständigen RL-Trainings heraus, manchmal mehr [^1].
- Mittlere Schichten trugen am meisten bei; nur die zehn besten Schichten zu trainieren, hob den Mathe-Schnitt von Qwen3-8B auf 69,1 Prozent, gegenüber 66,4 bei vollem Training [^1].
Hintergrund
Reinforcement Learning with Verifiable Rewards (RLVR) ist ein Post-Training-Schritt, bei dem ein Sprachmodell belohnt wird, wenn sich seine Antwort als richtig überprüfen lässt, etwa bei Matheaufgaben [^1]. GRPO, ein verbreiteter Algorithmus dafür, bewertet jede Antwort im Vergleich zu einer Gruppe von Antworten auf denselben Prompt [^1]. Übliches RL-Post-Training aktualisiert alle Schichten eines Modells gemeinsam, was laut den Autoren wenig Einblick gibt, wo im Netz die Gewinne entstehen [^1].
Was passiert ist
Forschende der University of Minnesota, der Peking University und von Amazon veröffentlichten die Studie am 1. Juli auf arXiv; ein Hinweis stellt klar, dass die Arbeit unabhängig von und außerhalb der Tätigkeit bei Amazon entstand [^1]. Für jedes Modell trainierten sie jede Schicht einzeln mit RL, während alle anderen Parameter eingefroren blieben, und verglichen den Gewinn mit dem vollständigen Training. Das Verhältnis nennen sie Layer Contribution: 1,0 heißt, eine Schicht erreicht das volle Training, Werte über 1,0 bedeuten, dass sie es übertrifft [^1]. Zu den sieben Modellen gehören die Basismodelle Qwen3-1.7B, 4B und 8B, mit GRPO auf Mathematik trainiert, Qwen2.5-Math-1.5B mit Dr. GRPO, zwei Qwen2.5-Instruct-Modelle mit GiGPO auf dem Agenten-Benchmark ALFWorld sowie DeepSeek-Distilled-Qwen-7B [^1]. Die Lernrate wurde für die Vergleichsbasis mit vollem Training optimiert und für jeden Einzelschicht-Lauf übernommen, damit die Referenz so stark war, wie es den Autoren möglich war [^1].
Bei Qwen3-1.7B-Base reichte die Contribution von 0,28 für Schicht 24 bis 1,14 für Schicht 10, und fünf der 28 Schichten schlugen das volle Training [^1]. In jedem Modell erreichte oder übertraf die beste Schicht das vollständige Training, die Schichten mit hohem Beitrag lagen in der Mitte des Netzes, und Schichten nahe Ein- und Ausgabe trugen deutlich weniger bei [^1]. Schicht 0 von Qwen3-8B-Base allein zu trainieren, drückte die Mathe-Leistung sogar unter die des untrainierten Basismodells [^1]. Die Rangfolgen blieben stabil: Bei Qwen3-1.7B-Base korrelierten sie mit einem Spearman-Koeffizienten von 0,76 zwischen zwei Mathe-Datensätzen und mit 0,59 zwischen Mathe und Code [^1]. Schichten, die Mathe gut lernten, verbesserten tendenziell auch Benchmarks für Code, logisches Denken und Sprache [^1].
Danach nutzte das Team die Rangfolgen, um gewöhnliches Training zu steuern. Eine höhere Lernrate für die Schichten mit dem größten Beitrag verbesserte die Mathe-Werte aller drei Qwen3-Modelle, während dieselbe Behandlung der schwächsten Schichten sie verschlechterte [^1]. Auch nur die besten Schichten zu trainieren und den Rest einzufrieren, schlug das volle Training: Bei Qwen3-8B-Base kamen die zehn besten Schichten auf 69,11 gegenüber 66,43 [^1]. Für die Rangfolge muss jede Schicht einzeln trainiert werden, was die Autoren für teuer und im Alltag unpraktikabel halten. Deshalb trainierten sie auch einfach die mittleren fünf Schichten nach Position, und diese Faustregel schlug das volle Training bei allen drei Qwen3-Modellen ohne jede Vorabmessung [^1].
Warum es wichtig ist
Übliches RL-Post-Training geht stillschweigend davon aus, dass jede Schicht ähnlich zu den Gewinnen beiträgt, und das Paper stellt diese Annahme infrage [^1]. Wenn der Großteil des Gewinns in einem stabilen Band mittlerer Schichten liegt, ist es laut den Autoren „eine starke Standardstrategie“, nur dieses Band zu trainieren, wenn keine Messung pro Schicht verfügbar ist [^1]. Der Effekt liegt auch nicht daran, dass sich manche Schichten einfach stärker verändern. Bei vollem Training waren die Gewichtsänderungen über die Schichten bemerkenswert gleichmäßig, bei etwa 0,5 bis 0,8, obwohl der Beitrag stark schwankte [^1]. Zudem lösten Modelle, bei denen jeweils eine andere Schicht trainiert wurde, unterschiedliche Aufgaben: Eine Mehrheitsabstimmung über sieben von ihnen erreichte auf OlympiadBench 33,6 Prozent, volles Training 26,9 Prozent [^1].
Die Reichweite ist kleiner, als der Titel nahelegt. Die Modelle haben 1,5 bis 8 Milliarden Parameter und stammen aus den Qwen-Familien [^1]. Auch beim Einzelschicht-Training läuft die Backpropagation durch das ganze Netz; nur die Aktualisierung der Parameter ist auf eine Schicht beschränkt [^1]. Die gesteuerten Strategien wurden nur an Mathematik geprüft, das Ensemble per Mehrheitsabstimmung ist als Analysewerkzeug und nicht als praktische Trainingsmethode gedacht, und warum gerade mittlere Schichten so wichtig sind, bleibt laut den Autoren eine offene Frage [^1].
Ein Beispiel aus der Praxis
Angenommen, du trainierst ein offenes Modell mit 36 Schichten per GRPO nach, damit es Matheaufgaben besser löst, und dein Skript aktualisiert alle Parameter. Nach diesem Paper könntest du einen zweiten Lauf ergänzen, der nur die mittleren fünf Schichten trainiert, bei beiden Qwen3-Modellen mit 36 Schichten waren das die Schichten 15 bis 19 [^1]. Wie die Autoren frierst du alles andere ein, indem du in PyTorch requires_grad=False für diese Parameter setzt [^1]. In ihren Tests schlug diese einfache Einstellung das volle Training bei allen drei Qwen3-Modellen [^1]. Trotzdem vergleichst du beide Läufe auf zurückgehaltenen Benchmarks, denn die Strategien wurden nur an Mathematik und an Modellen bis 8 Milliarden Parameter getestet [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Schritt für Schritt zeigt, wie die Schichten eines Transformers aufgebaut und trainiert werden, also die Struktur, die diese Studie Schicht für Schicht untersucht.