Eine Schicht, sie alle zu knechten: RL-Post-Training neu gedacht

TL;DR

• Das Training einer einzelnen Transformer-Schicht beim Reinforcement Learning liefert die gleiche Leistung wie die Aktualisierung jedes Parameters in einem riesigen Sprachmodell.
• Diese Entdeckung reduziert den Speicher- und Rechenaufwand für die Ausrichtung von KI-Modellen an menschlichen Präferenzen und ermöglicht schnellere Iterationen auf Hardware für Endverbraucher.

Hintergrund

Reinforcement Learning from Human Feedback (RLHF) ist die letzte Phase des Feinschliffs in der modernen KI-Entwicklung. Während das Pre-training einem Modell Fakten über die Welt beibringt, lehrt RLHF ihm, wie es sich verhalten soll – es wird hilfreich, harmlos und ehrlich. Bisher gingen Forscher davon aus, dass sie alle Milliarden Parameter aktualisieren müssen, um das Verhalten eines Modells zu ändern. Dieses „Full-parameter Tuning“ ist rechenintensiv und erfordert Cluster von High-End-GPUs sowie enorme Mengen an Strom, um das gesamte „Gehirn“ des Modells im aktiven Speicher zu halten.

Was passiert ist

Forscher haben kürzlich die Annahme infrage gestellt, dass Reinforcement Learning über das gesamte Modell verteilt sein muss. Durch Tests mit Modellen wie Llama-3 und Qwen entdeckten sie, dass die Aktualisierung nur einer bestimmten Transformer-Schicht ausreicht, um die gleichen Leistungssteigerungen wie bei der Aktualisierung des gesamten Stacks zu erzielen [^1]. Diese Methode, genannt Single-Layer RL, konzentriert den Lernprozess auf einen schmalen Ausschnitt der Modellarchitektur, der sich normalerweise im mittleren bis hinteren Teil des Netzwerks befindet.

Die Studie ergab, dass die Wirksamkeit dieses Ansatzes stark davon abhängt, welche Schicht gewählt wird. Frühe Schichten, die grundlegende linguistische Muster verarbeiten, und die allerletzten Schichten, die den nächsten Token vorhersagen, sind schlechte Kandidaten für RL. Die Schichten im „Reasoning-Kern“ – zum Beispiel Schicht 24 in einem 32-Schichten-Modell – fungieren jedoch als zentraler Knotenpunkt für die Verhaltenslogik. Wenn nur diese Schicht trainiert wird, passt das Modell seinen Stil und seine Sicherheitsbeschränkungen genauso effektiv an, als ob das gesamte Modell modifiziert würde. Dies ist sogar noch effizienter als bestehende Techniken wie Low-Rank Adaptation (LoRA), die zwar parametereffizient sind, die Aktualisierungen aber in der Regel immer noch über alle Schichten des Modells verteilen [^2].

Mechanistisch gesehen deutet dies darauf hin, dass das „Wissen“ eines Modells von seiner „Policy“ getrennt ist. Die Pre-training-Phase bettet riesige Mengen an Informationen in alle Schichten ein. Die RL-Phase muss keine neuen Informationen hinzufügen; sie muss lediglich das interne Routing oder „Steering“ des Modells anpassen. Durch die Konzentration dieses Steering auf eine einzige Schicht konnten die Forscher die Anzahl der trainierbaren Parameter um über 97 % reduzieren, ohne dass die Benchmark-Ergebnisse messbar sanken. Die Forscher validierten diese Ergebnisse bei verschiedenen Aufgaben, darunter mathematisches Schlussfolgern, kreatives Schreiben und Sicherheitsausrichtung. Sie stellten fest, dass der Single-Layer-Flaschenhals die Fähigkeit des Modells, komplexe menschliche Präferenzen zu lernen, nicht einschränkte.

Warum es wichtig ist

Die wirtschaftlichen Auswirkungen von Single-Layer RL sind für die KI-Branche bedeutend. Derzeit stellen die hohen Kosten für RLHF eine Eintrittsbarriere dar, die nur die größten Tech-Unternehmen überwinden können. Wenn ein Entwickler nur eine Schicht trainieren muss, sinkt der Speicher-Overhead erheblich. Dies ermöglicht es kleineren Laboren und sogar einzelnen Forschern, eine hochwertige Ausrichtung auf einer einzigen Consumer-GPU durchzuführen, anstatt auf einem millionenschweren Server-Cluster. Es demokratisiert die Fähigkeit, das KI-Verhalten anzupassen, und entzieht den zentralisierten Anbietern die Macht.

Aus theoretischer Sicht verändert diese Forschung unser Verständnis davon, wie Transformer funktionieren. Es impliziert, dass Large Language Models (LLMs) keine monolithischen Intelligenzblöcke sind, sondern hochgradig modular aufgebaut sind. Wenn Verhaltenspräferenzen in bestimmten Schichten konzentriert sind, können wir möglicherweise präzisere Sicherheitsinterventionen entwickeln. Anstatt zu versuchen, das gesamte Modell auf Bias oder schädliche Ausgaben zu überwachen, könnten Sicherheitsteams ihre Aufmerksamkeit auf die „Urteilsschichten“ richten, in denen diese Entscheidungen finalisiert werden. Dies könnte in Zukunft zu transparenteren und prüfbareren KI-Systemen führen.

Darüber hinaus hilft diese Effizienz, das Problem des „katastrophalen Vergessens“ zu lösen. Wenn ein Modell mit neuen Daten trainiert wird, verliert es oft sein bisheriges Wissen. Durch die Modifikation nur einer Schicht bleibt der Rest des vortrainierten Wissens des Modells unberührt und stabil. Diese strukturelle Änderung der Trainingsmethodik könnte zu zuverlässigeren Modellen führen, die für bestimmte Branchen – wie Recht oder Medizin – spezialisiert werden können, ohne die Kernfähigkeiten zum logischen Denken zu riskieren, die sie während ihrer ursprünglichen Entwicklung erworben haben. Es deutet auf eine Zukunft hin, in der KI-Modelle nicht neu trainiert, sondern durch chirurgische Anpassungen an ihren internen Logikzentren „getunt“ werden.

Ein Beispiel aus der Praxis

Stell dir vor, du bist ein Entwickler namens Alex und möchtest ein Modell mit 70 Milliarden Parametern so feinabstimmen, dass es einen bestimmten Unternehmenston verwendet – professionell, prägnant und technisch. Normalerweise bräuchte Alex acht A100-GPUs, nur um das Modell und seine Trainingsgradienten zu laden – ein Setup, das Tausende von Dollar pro Tag kostet. Mit Single-Layer RL stellt Alex fest, dass Schicht 42 am empfindlichsten auf stilistische Änderungen reagiert.

Am Dienstagmorgen friert Alex 69,9 Milliarden Parameter ein und erlaubt nur Schicht 42, sich zu verändern. Da der Computer nur die Berechnungen für diese eine Schicht verfolgen muss, sinkt der Speicherbedarf drastisch. Alex führt das Training auf einem einzigen High-End-Desktop-Rechner aus. Innerhalb von drei Stunden hat das Modell den neuen Unternehmenston gelernt. Die Fakten, die das Modell kennt – etwa wie man Python-Code schreibt oder die Geschichte des Unternehmens – bleiben perfekt erhalten, da diese Schichten nie berührt wurden. Alex hat erfolgreich eine riesige KI für den Preis von ein paar Tassen Kaffee angepasst.

Passende Produkte

Wir empfehlen dieses Buch, weil es das grundlegende Verständnis der Transformer-Schichten vermittelt, das notwendig ist, um fortgeschrittene, effiziente Trainingstechniken wie Single-Layer RL zu implementieren.