Gedächtnisgrenzen helfen GPT-2, mit wenig Daten Grammatik zu lernen
Forschende trainierten GPT-2 von Grund auf mit einer Attention, die nur wenige vorherige Tokens sieht. Mit 10 Millionen Wörtern schlug es das Standardmodell bei Grammatiktests, bei 100 Millionen schrumpfte der Vorsprung.
TL;DR
- Mit 10 Millionen Wörtern Trainingstext hob eine auf wenige vorherige Tokens begrenzte Attention die Grammatikgenauigkeit von GPT-2 von etwa 61 auf 68 Prozent [^1].
- Bei 100 Millionen Wörtern schrumpfte der Vorsprung auf einen kleinen Rest, die Gedächtnisgrenze hilft also vor allem bei knappen Trainingsdaten [^1].
Hintergrund
In einem Transformer kann jedes Token per Self-Attention fast jedes frühere Token sehen, in einem potenziell sehr großen Kontextfenster [^1]. Das menschliche Arbeitsgedächtnis funktioniert anders: Es fasst nur wenige Elemente, verblasst mit der Zeit und bevorzugt, was zuerst und zuletzt kam [^1]. Die BabyLM Challenge hat Trainingssets mit etwa 10 und 100 Millionen Wörtern veröffentlicht, eine Größenordnung näher an dem, was Kinder hören; sie verweist auf Schätzungen von 2 bis 7 Millionen Wörtern pro Jahr [^2].
Was passiert ist
Pranava Madhyastha und Dagmar Adamcová von der City, University of London, dem Alan Turing Institute und Grounded Machines haben vier solcher Grenzen in GPT-2 small eingebaut, ein Modell mit etwa 124 Millionen Parametern [^1]. Ein festes Fenster lässt jedes Token nur auf die letzten paar Tokens achten; die Größe liegt bei 4, 5, 7 oder 9, angelehnt an klassische Schätzungen der Gedächtniskapazität: etwa vier „Chunks“ (Cowan) und „die magische Zahl Sieben, plus oder minus zwei“ (Miller) [^1]. Zwei Zerfallsvarianten, exponentiell und logistisch, schwächen entfernte Tokens ab, statt sie abzuschneiden, und eine vierte Variante gibt den ersten und letzten Tokens einer Sequenz zusätzliches, gelerntes Gewicht, nach den Effekten, die die Psychologie Primacy und Recency nennt [^1]. Während manche frühere Arbeiten solche Verzerrungen erst fertig trainierten Modellen hinzufügten, wurde hier jede Variante von Grund auf mit den BabyLM-Sets trainiert, die Ergebnisse sind über drei Läufe gemittelt [^1].
Die Grammatik maßen die beiden mit BLiMP, einem Test aus Satzpaaren, die sich oft nur in einem Wort oder einer Endung unterscheiden; das Modell muss die grammatische Version bevorzugen [^1]. Mit 10 Millionen Wörtern erreichte das Standardmodell etwa 61 Prozent und die Modelle mit festem Fenster rund 68 Prozent; jede eingeschränkte Variante außer zwei, die nur Primacy oder nur Recency testeten, schlug die Basis signifikant [^1]. Mit 100 Millionen Wörtern stieg die Basis auf etwa 71 Prozent, die Modelle mit exponentiellem Zerfall und mit Primacy-Recency unterschieden sich nicht mehr signifikant davon, und die besten eingeschränkten Modelle behielten nur einen kleinen Vorsprung [^1]. Ein Fenster von fünf Tokens schnitt am beständigsten ab [^1]. Keine Variante half bei Inseleffekten, also den Grenzen, wie Wörter im Satz verschoben werden dürfen, oder bei der NPI-Lizenzierung, der Regel, dass Wörter wie „ever“ einen verneinten Kontext brauchen; dort lagen die Werte oft kaum über dem Zufall [^1].
Außerdem prüften die Autoren, wie gut die Surprisal-Werte jedes Modells, ein Maß dafür, wie unerwartet ein Wort ist, menschliche Eye-Tracking-, Lesezeit- und Hirnsignaldaten zu 1.725 Sätzen vorhersagen [^1]. Bei 10 Millionen Wörtern kam die Basis im Schnitt auf etwa 3,2, während die besten Fenstermodelle (Größe 7 und 9) und die Modelle mit Primacy- und Recency-Verzerrung fast das Doppelte erreichten [^1]. Bei 100 Millionen Wörtern wurde diese Übereinstimmung für jedes Modell schlechter, ob eingeschränkt oder nicht [^1]. Im Inneren des Netzes bildete das Fünf-Token-Fenster spezialisierte Attention-Heads aus: Beim Satz „The trophy would not fit in the brown suitcase because it was too small“ konzentrierten sich zwei Heads der zweiten Schicht auf „trophy“, „fit“ und „suitcase“, während die Heads der Basis diffus blieben [^1].
Warum es wichtig ist
Das Ergebnis widerspricht einer verbreiteten Entwicklungsrichtung. Die Autoren verweisen darauf, dass viele NLP-Arbeiten von der Lokalitätsverzerrung wegwollen, und ihre eigene Ausgangsannahme war, dass starke Einschränkungen schaden; stattdessen schnitt ein Fünf-Token-Fenster sogar bei Argumentstruktur und Bindung gut ab, die nicht rein lokal sind [^1]. Sie folgern, dass harte kognitive Grenzen das Lernen „aktiv stützen, statt es zu behindern“, und dass die Ergebnisse „gegen die aktuellen Trends zu längeren Kontexten und schwächeren induktiven Verzerrungen“ sprechen [^1]. Eine induktive Verzerrung ist eine in die Architektur eingebaute Annahme, die steuert, was ein Modell aus wenigen Daten lernt.
Die Autoren benennen die Grenzen selbst. Sie haben nur 10 und 100 Millionen Wörter getestet und treffen keine Aussage über Frontier-Modelle, die mit Billionen Tokens trainiert werden [^1]. Sie haben nur Englisch getestet und schreiben, dass der Nutzen in Sprachen mit Kasusmarkierung, freier Wortstellung oder kopffinalen Strukturen anders aussehen kann [^1]. Das Gedächtnismodell der Studie regelt nur, wie weit ein Token zurückblicken kann, während echtes Arbeitsgedächtnis auch Interferenz zwischen gespeicherten Elementen kennt [^1]. Und die schwachen Werte bei Inseleffekten lassen es möglich erscheinen, dass Grenzen nach linearem Abstand Regeln im Weg stehen, die von der Gesamtstruktur eines Satzes abhängen [^1].
Ein Beispiel aus der Praxis
Angenommen, Priya leitet ein kleines psycholinguistisches Labor und braucht für eine Eye-Tracking-Studie ein Sprachmodell, das nur mit einem kindgerecht großen Korpus trainiert ist, damit die Ergebnisse etwas über Lernen aussagen. Priya wählt GPT-2 small und das BabyLM-Set mit 10 Millionen Wörtern [^1]. Normal trainiert landet so ein Modell bei etwa 61 Prozent in BLiMP, und seine Surprisal-Werte verraten vergleichsweise schlecht, wo Lesende langsamer werden [^1].
Nach dem Vorbild des Papers ändert Priya eine einzige Sache: eine Attention-Maske, die jedes Token auf ein Fenster der fünf jüngsten Tokens beschränkt, bei sonst unveränderten Trainingseinstellungen [^1]. In den Läufen des Papers hoben feste Fenster die Grammatikgenauigkeit auf rund 68 Prozent, und Fenster mit 7 oder 9 Tokens verdoppelten fast die Übereinstimmung mit menschlichen Lesedaten [^1]. Für Priyas Studie heißt das: Surprisal-Werte, die dem Leseaufwand näher kommen, ohne mehr Text zu sammeln.
Die Grenzen zeigen sich im Detail. Testen Priyas Sätze, ob „ever“ in einem verneinten Kontext steht, hilft das Fenster nicht: Dort blieben die Modelle nahe am Zufall [^1]. Reicht ein späteres Budget für 100 Millionen Wörter, holt das Standardmodell bei der Grammatik weitgehend auf, und die Übereinstimmung mit Lesedaten sinkt für jedes Modell [^1]. Und will Priya die Studie auf Deutsch wiederholen, das Kasus markiert und eine freiere Wortstellung erlaubt, gibt das Paper weder dafür noch dagegen Belege [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es ein GPT-artiges Modell samt kausaler Attention-Maske Schritt für Schritt in Code aufbaut, also genau die Maske, die diese Studie auf wenige vorherige Tokens verengt.