KVEraser lässt ein LLM eine Passage vergessen, ohne neu zu rechnen
Forschende des Georgia Institute of Technology und von Meta trainieren ein Modul, das die Cache-Zustände eines gelöschten Abschnitts umschreibt, damit ein Modell veralteten Kontext ohne Neuberechnung verwirft.
TL;DR
- KVEraser von Forschenden des Georgia Institute of Technology und von Meta lässt ein Modell einen verarbeiteten Abschnitt vergessen, indem es nur dessen Cache-Zustände umschreibt [^1].
- Im Nadel-Test erreichte es von 1K bis 32K Token die Genauigkeit der vollen Neuberechnung, während die Latenz um 24 Prozent statt um das 17,6-Fache stieg [^1].
Hintergrund
Wenn ein Sprachmodell einen Prompt liest, speichert es für jedes Token Keys und Values in einem KV-Cache, damit neue Token auf frühere zugreifen können, ohne sie neu zu berechnen [^1]. Der Cache-Zustand jedes Tokens hängt von allem ab, was davor steht. Löscht man einen Abschnitt, wird deshalb der Cache aller folgenden Token ungültig [^1]. Die exakte Lösung nutzt den Cache bis zum Abschnitt weiter und verarbeitet den Rest neu. Die Kosten dafür wachsen mit der Länge dieses Rests, nicht mit der des gelöschten Texts [^1].
Was passiert ist
Das Paper, am 15. Juni auf arXiv erschienen, geht von Fällen aus, in denen ein Problem erst auffällt, nachdem der Kontext schon verarbeitet ist: ein veralteter abgerufener Fakt, ein falsches Tool-Ergebnis, eine zurückgenommene Nutzervorgabe oder eine schädliche Prompt Injection [^1]. KVEraser lässt den Cache vor und nach dem Abschnitt unverändert und ersetzt nur die Key- und Value-Zustände des Abschnitts selbst durch gelernte „Steering-Zustände“ [^1]. Diese liefert ein Eraser-Modul, eine trainierbare Kopie des Modell-Backbones. Es liest den Abschnitt auf Basis des vorangehenden Caches und gibt für diese Positionen Keys und Values für jede Schicht und jeden Attention-Head aus [^1]. Das ursprüngliche Modell bleibt eingefroren. Der Eraser wird so trainiert, dass das Modell aus dem bearbeiteten Cache dieselbe Fortsetzung erzeugt wie aus dem Prompt ohne den gelöschten Abschnitt. Weil der Cache seine Länge behält, verschieben sich keine Positionen [^1].
Das Training läuft in zwei Stufen. Zuerst kommen 80K Beispiele aus Wikipedia, in denen ein Textstück aus 100 Token in ein langes Dokument eingefügt wird und das Modell den Text neben einer Ankerzeichenfolge wiedergeben muss. Danach wird der Eraser mit rund 7,5K Beispielen aus einer Nadel-im-Heuhaufen-Aufgabe und drei Frage-Antwort-Datensätzen feinjustiert [^1]. Als Generator dient Qwen3-8B, das Kontexte mit 32K Token unterstützt. Trainiert wurde auf zwei A100-GPUs mit 80 GB; das Vortraining dauerte weniger als einen Tag, das Fine-Tuning etwa 8 Stunden [^1].
Im Nadel-Test stehen zwei Fakten mit demselben Schlüssel, aber unterschiedlichen Werten in Fülltext, und der frühere muss gelöscht werden [^1]. KVEraser erreichte bei jeder Größe von 1K bis 32K Token eine nahezu perfekte exakte Übereinstimmung, genau wie die volle Neuberechnung [^1]. Die Vergleichsverfahren löschten die Zustände des Abschnitts und verschoben den Rest, wiesen das Modell an, den Abschnitt zu ignorieren, oder berechneten 15 Prozent des Rests neu; sie starteten schwach oder wurden mit wachsendem Kontext schlechter [^1]. Auf drei im Training nicht gesehenen QA-Datensätzen, 2WikiMultiHopQA, MuSiQue und IIRC, war der zu löschende Abschnitt eine irreführende Wikipedia-Passage. KVEraser erzielte die höchste exakte Übereinstimmung unter den Näherungsverfahren; die volle Neuberechnung war genauer, brauchte aber 3- bis 4-mal so lange [^1].
Warum es wichtig ist
Das Argument des Papers gegen die billige Lösung ist ein architektonisches. Ist der Rest des Kontexts einmal verarbeitet, tragen seine Cache-Zustände den gelöschten Abschnitt bereits in sich, also kann eine Anweisung, ihn zu vergessen, laut den Autoren „beim Dekodieren nur mit den gespeicherten Belegen konkurrieren, statt die Cache-Zustände selbst umzuschreiben“ [^1]. Die Tests bestätigen das: Mit wachsendem Kontext antwortete das Verfahren, das nur eine Anweisung gibt, immer öfter mit dem gelöschten und dem behaltenen Wert zugleich [^1]. KVEraser koppelt die Kosten der Korrektur an die Länge des Abschnitts statt an alles, was danach kommt. Das lohnt sich vor allem, wenn eine kurze Passage früh in einem langen Kontext steht [^1].
Die Grenzen benennt das Paper klar. Es behandelt einen zusammenhängenden Abschnitt; mehrere Abschnitte bleiben künftiger Arbeit überlassen [^1]. Bei natürlichen Fragen liegt es weiter hinter der vollen Neuberechnung, eine Lücke, die nach Vermutung der Autoren teils am Umfang und an der Vielfalt der Trainingsdaten liegt [^1]. Der Eraser muss für das jeweilige Modell trainiert werden und ist eine Kopie von dessen Backbone [^1]. Und obwohl Prompt Injection zu den motivierenden Fällen gehört, testen die Experimente eingefügte Zahlen und irreführende Faktenpassagen, keine eingeschleusten Anweisungen [^1].
Ein Beispiel aus der Praxis
Angenommen, Priya betreibt den Support-Chatbot einer kleinen Firma für Buchhaltungssoftware. Der Bot läuft auf Qwen3-8B und antwortet aus langen Kontexten, die aus Hilfeartikeln, dem Ticketverlauf der Kundschaft und Tool-Ausgaben zusammengesetzt sind. Eines Nachmittags fragt jemand nach Exportformaten. Die Suche holt früh im Kontext eine kurze Passage aus einem veralteten Artikel, und eine Aktualitätsprüfung markiert sie erst, nachdem der gesamte Kontext verarbeitet ist.
Priya hat drei Möglichkeiten. Das Modell anzuweisen, die Passage zu ignorieren, ist am billigsten, doch in den Tests des Papers rutschte der gelöschte Wert bei diesem Ansatz mit wachsendem Kontext immer öfter in die Antworten, weil die Cache-Zustände nach der Passage mit ihr im Blick berechnet wurden [^1]. Alles nach der Passage neu zu verarbeiten liefert das exakte Ergebnis, doch die Kosten wachsen mit den Tausenden Token Ticketverlauf, die folgen [^1]. Mit KVEraser erzeugt der Eraser Ersatzzustände nur für die Positionen der markierten Passage, und der Rest des Caches wird unverändert weiterverwendet [^1]. Der Bot antwortet dann so, als wäre der Artikel nie abgerufen worden, zu Kosten, die von der Länge der Passage abhängen statt von dem, was folgt [^1].
Der Haken: Priyas Team müsste zuerst einen Eraser für das eigene Modell trainieren, wofür die Autoren zwei A100-GPUs, weniger als einen Tag Vortraining und etwa 8 Stunden Fine-Tuning brauchten [^1]. In den QA-Tests des Papers lag der Eraser zudem seltener richtig als die volle Neuberechnung. Für eine Antwort, die stimmen muss, bleibt der langsamere exakte Weg also der sicherere [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es erklärt, wie Transformer-Modelle und ihr Attention-Mechanismus funktionieren, also genau die Maschinerie, deren zwischengespeicherte Zustände KVEraser bearbeitet.