Large Language Gibbs macht LLM-Antworten durch Resampling stimmiger
Forschende aus Edinburgh machen die Token-Vorhersagen eines LLM zu einem Gibbs-Sampler. Beurteilt Llama-3.1-8B so 64 Mathe-Aussagen gemeinsam, steigt die Genauigkeit auf 0,895, gegenüber 0,724 für ein älteres Verfahren.
TL;DR
- Forschende aus Edinburgh stellen Large Language Gibbs vor: Ein LLM zieht Variablen einzeln neu, statt strukturierte Ausgaben in einem Durchgang zu erzeugen [^1].
- Bei einer Wahr-oder-falsch-Prüfung von Mathe-Antworten brachte es Llama-3.1-8B auf 0,895 Genauigkeit, gegenüber 0,724 für ein älteres Konsistenzverfahren [^1].
Hintergrund
Sprachmodelle erzeugen Text autoregressiv: Jedes Token wird aus einer Verteilung gezogen, die von den vorherigen Tokens abhängt [^2]. Muss ein Modell mehrere zusammenhängende Werte auf einmal liefern, etwa die Felder einer Tabellenzeile oder die Antworten auf eine Reihe von Fragen, kann diese Reihenfolge von links nach rechts das Ergebnis verzerren, zum Beispiel durch einen Recency-Effekt [^1]. Gibbs-Sampling, eine gängige statistische Methode, aktualisiert dagegen immer nur eine Variable, gegeben die aktuellen Werte aller anderen [^1].
Was passiert ist
Sanghyeok Choi, Henry Gouk und Esmeralda S. Whitammer von der School of Informatics der University of Edinburgh haben die Methode am 17. Juni auf arXiv veröffentlicht [^1]. Sie füllt zunächst alle Variablen in einem autoregressiven Durchgang. Dann wählt sie wiederholt eine Variable, schreibt die übrigen in zufälliger Reihenfolge in den Prompt und lässt die Token-Verteilung des LLM einen neuen Wert dafür ziehen [^1]. Das Mischen ist entscheidend: Es beseitigt die Verzerrung durch eine feste Reihenfolge, und die Kette pendelt sich auf eine stationäre Verteilung ein, die die Autoren als „Kompromiss zwischen allen lokalen bedingten Verteilungen“ beschreiben [^1]. Zwei Varianten schlagen stattdessen einen zufälligen Kandidaten vor und lassen das Modell ihn annehmen oder ablehnen, entweder indem es den plausibleren Wert wählt oder indem es entscheidet, ob es darauf wetten würde [^1].
Der erste Test galt dem Ziehen von Zahlen. Frühere Arbeiten haben wiederholt gezeigt, dass LLMs schlecht aus einfachen Verteilungen ziehen; die Autoren testeten gleichverteilte ganze Zahlen von 0 bis 99 und eine Standardnormalverteilung [^1]. Mit dem Basismodell Llama-3.1-8B war Gibbs-Sampling treffsicherer, als pro Anfrage eine Zahl zu ziehen, und weniger autokorreliert, als einen ganzen Stapel in einer Antwort zu erzeugen [^1]. Beim instruktionsoptimierten Modell übertrug sich dessen Verzerrung auch auf das Gibbs-Sampling, und die Wett-Variante schien zufällig anzunehmen oder abzulehnen [^1].
Der Haupttest betraf konsistentes Schlussfolgern auf TruthfulQA und GSM8K-Verification. Dort bewertet das Modell Antwortkandidaten als wahr oder falsch, vier Aussagen pro Frage [^1]. Mit 64 gemeinsam beurteilten Aussagen erreichte Gibbs mit Llama-3.1-8B 0,736 und 0,895, gegenüber 0,702 und 0,724 für ICM, ein älteres Konsistenzverfahren, das ohne seine ursprünglichen labelbasierten Prüfungen lief, und 0,593 und 0,524 für Zero-Shot-Antworten [^1]. Mit OLMo-3-32B kam Gibbs auf 0,743 und 0,840, ICM auf 0,662 und 0,750 [^1]. Eine dritte Anwendung nutzte per Gibbs erzeugte synthetische Daten als Prior, um die Struktur von Bayes-Netzen aus Variablenbeschreibungen zu lernen, und schlug auf vier Datensätzen meist einen gleichverteilten Prior [^1].
Warum es wichtig ist
Viele LLM-Aufgaben brauchen einen Satz von Werten, die zueinander passen, nicht nur eine gute Antwort. Das Paper behandelt die Erzeugungsreihenfolge als vermeidbare Fehlerquelle statt als Gegebenheit [^1]. Die Ergebnisse beim Schlussfolgern kommen ohne Labels aus: Die Methode nutzt nur die eigenen bedingten Einschätzungen des Modells, um seine Antworten in Einklang zu bringen, und in jeder getesteten Einstellung stieg die Genauigkeit, je mehr Aussagen gemeinsam beurteilt wurden [^1]. Die Autoren nennen bedingte LLM-Verteilungen in MCMC „eine praktische Alternative zur Erzeugung in einem Durchgang“ für diese Art von Inferenz [^1].
Die Methode hat klare Grenzen. Dass die Kette genau die angestrebte symmetrische gemeinsame Verteilung trifft, ist nur unter einer Annahme garantiert, die laut den Autoren „wahrscheinlich nicht exakt gilt“; das Mischen nähert sie aber besser an als jede feste Reihenfolge [^1]. Die Methode braucht mehr Rechenleistung als die Erzeugung in einem Durchgang und unter Umständen viele Iterationen, bis sie konvergiert. Die Experimente nutzten Modelle mit bis zu 32 Milliarden Parametern [^1]. Auf einer H100-GPU dauerte ein Lauf über 256 Fragen mit Llama-3.1-8B bis zu 40 Minuten, mit OLMo-3-32B meist vier- bis fünfmal so lange [^1]. Für sicherheitskritische Einsätze warnen die Autoren, Ergebnissen nicht „ohne angemessene Validierung“ zu vertrauen [^1].
Ein Beispiel aus der Praxis
Angenommen, Ana betreibt eine kleine Nachhilfe-App, die Antworten von Schülerinnen und Schülern auf Mathe-Textaufgaben mit einem offenen Modell prüft. Llama-3.1-8B zu jeder Antwort einzeln zu fragen, entspricht dem Zero-Shot-Aufbau, der im Paper bei GSM8K-Verification auf 0,524 Genauigkeit kam [^1].
Ana probiert stattdessen Large Language Gibbs. Die App bündelt 16 Aufgaben mit je vier Antwortkandidaten, insgesamt 64 Wahr-oder-falsch-Urteile, und füllt sie in einem Durchgang aus [^1]. Dann wählt sie immer wieder ein Urteil, mischt die übrigen 63 bewerteten Aussagen in den Prompt und lässt das Modell neu urteilen. Weil das Modell seine anderen Urteile sieht, wird es zu stimmigen Urteilen angehalten, ähnlich wie das Stern-Beispiel im Paper nutzt, dass „Polaris“ und „Nordstern“ denselben Stern bezeichnen [^1]. Nach einer Einlaufphase sammelt die App 25 Stichproben pro Aussage und nimmt die Mehrheit, wie im Versuchsaufbau des Papers [^1].
Im Paper brachte diese Konfiguration Llama-3.1-8B auf 0,895 [^1]. Der Preis ist Zeit: Auf einer H100 dauerte ein Lauf über 256 Fragen in dieser Größe rund 40 Minuten [^1]. Ana gleicht außerdem weiter eine Stichprobe der Urteile mit der Bewertung einer Lehrkraft ab: Die Methode bringt die Antworten miteinander und mit den Einschätzungen des Modells in Einklang, und das ist nicht dasselbe wie richtig zu liegen [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Gibbs-Sampling und andere Monte-Carlo-Methoden von Grund auf erklärt; das Paper zitiert es für das Gibbs-Resultat, auf dem es aufbaut.