TokenPilot senkt Agentenkosten, indem es den Prompt-Cache schont
Forschende zeigen, dass das Kürzen von Agentenkontext das Prompt-Caching aushebeln kann, und senken die Kosten auf zwei Benchmarks mit einem System, das auf einem stabilen Prompt-Anfang aufbaut, um 56 bis 87 Prozent.
TL;DR
- TokenPilot von der Zhejiang University und Partnern senkt die Inferenzkosten von Agenten, indem es Prompt-Präfixe identisch hält, damit Provider-Caches gültig bleiben, während alter Kontext gekürzt wird [^1].
- Auf PinchBench und Claw-Eval sanken die Kosten in isolierten Läufen um 61 und 56 Prozent, in fortlaufenden Sitzungen um 61 und 87 Prozent [^1].
Hintergrund
Agenten, die über viele Runden laufen, schicken bei jedem Modellaufruf eine wachsende Historie mit. Prompt-Caching dämpft die Kosten: Inhalte, die der Anbieter schon kennt, werden günstiger abgerechnet, und Anthropic verlangt für gecachte Lesezugriffe 10 Prozent des normalen Eingabepreises [^2]. Der Cache hilft aber nur, wenn der Prompt mit genau demselben Inhalt beginnt wie zuvor. Wer alten Kontext kürzt oder zusammenfasst, verkleinert den Prompt, kann dabei aber dieses Präfix verändern und den Cache verlieren [^1].
Was passiert ist
Das Paper, am 15. Juni von Forschenden der Zhejiang University, von HomologyAI und weiteren Einrichtungen auf arXiv veröffentlicht, argumentiert, dass bestehende Kontextverwaltungen eine Kostenart gegen eine andere tauschen. Kürzen oder Verschieben von Kontext senkt die Token-Zahl pro Runde, „zerschlägt“ aber die Kontinuität des Prompt-Präfixes, und die folgenden Cache-Misses können die Einsparung zunichtemachen [^1]. TokenPilot arbeitet auf zwei Ebenen. Dort, wo Nachrichten in den Kontext gelangen, ersetzt es veränderliche Felder im System-Prompt wie Arbeitsverzeichnis, Zeitstempel und Sitzungskennungen durch feste Platzhalter und verschiebt die Tool-Definitionen ans Ende des System-Prompts, damit das Präfix ab der ersten Runde Byte für Byte gleich bleibt [^1]. Außerdem verkleinert es umfangreiche Tool-Ausgaben, bevor sie in die Historie gelangen: Es entfernt doppelte Ergebnisse, kürzt lange Ausgaben und verschlankt HTML. Ein Recovery-Tool erlaubt dem Agenten, die vollständigen Daten zu holen, wenn der gekürzten Fassung etwas fehlt [^1].
Im laufenden Kontext führt TokenPilot jedes Segment als aktiv, abgeschlossen oder entfernbar. Ein abgeschlossenes Segment behält seinen Platz, solange es für spätere Aufgaben noch nützlich sein kann, und entfernt wird nach einem Batch-Plan, der auf drei Runden eingestellt ist, statt in jeder Runde [^1]. Ein separates Modell, Qwen3.5-35B-A3B, beurteilt, welche Segmente erledigt sind; über den gesamten fortlaufenden PinchBench-Durchlauf kostete das weniger als 0,03 Dollar [^1].
Alle Verfahren nutzten GPT-5.4-mini als Agentenmodell. Getestet wurde auf PinchBench mit 123 Aufgaben in 11 Kategorien und auf 161 Aufgaben aus Claw-Eval, im Vergleich mit neun Kontextverwaltungen, darunter LLMLingua-2, Keep-Last-N, Zusammenfassung und MemOS [^1]. Cache-Treffer und -Fehlschläge stammen aus den Metadaten der Anbieter-API und wurden mit 0,075 Dollar pro Million gecachter und 0,75 Dollar pro Million nicht gecachter Token bepreist [^1]. Im isolierten Modus auf PinchBench kostete TokenPilot 3,22 Dollar gegenüber 8,31 Dollar für einen Agenten ohne Kontextverwaltung und erzielte 81,0 gegenüber 80,5 Punkten [^1]. Im fortlaufenden Modus auf Claw-Eval stieg die Rechnung des Agenten ohne Kontextverwaltung auf 81,52 Dollar, die von TokenPilot lag bei 10,58 Dollar [^1]. Allein die Platzhalter hoben die Cache-Trefferquote auf PinchBench von 38,7 auf 79,2 Prozent und auf Claw-Eval von 67,2 auf 83,1 Prozent [^1].
Warum es wichtig ist
Wenn gecachte Token nur ein Zehntel kosten, ist der billigste Prompt nicht unbedingt der kürzeste. In der Studie senkten Textkompressoren die Kosten, verschlechterten aber die Ergebnisse, während dynamische Speichersysteme die Qualität hielten, aber für Cache-Misses zahlten [^1]. Die Ablation zeigt, wie viel allein das Layout wert ist: Die Platzhalter senkten die Kosten im isolierten PinchBench-Lauf von 8,31 auf 4,35 Dollar, ohne irgendeinen Inhalt zu entfernen [^1]. Auch das Timing zählt. Entfernen in jeder Runde führte zu verfrühtem Kürzen und mehr Cache-Misses, gar kein Entfernen ließ Kontext und Kosten auf ihr Maximum steigen [^1]. Und Kürzen braucht einen Rückweg: Ohne das Recovery-Tool fiel die Punktzahl von 80,9 auf 77,1, und die Kosten stiegen auf 4,03 Dollar, weil der Agent Schritte wiederholte und neue Tool-Ausgaben anhäufte [^1].
Die Gewinne sind nicht überall gleich. Auf Claw-Eval erzielte TokenPilot im isolierten Modus 63,1 gegenüber 64,5 Punkten für den Agenten ohne Kontextverwaltung und im fortlaufenden Modus 60,8 gegenüber 63,4, wobei dort auch mehrere Vergleichsverfahren besser abschnitten [^1]. Die fortlaufenden Sitzungen fassten Aufgaben derselben Kategorie zusammen; bei gemischten Aufgabenströmen könnte laut den Autoren weniger vom Präfix wiederverwendbar sein [^1]. Sie weisen zudem darauf hin, dass die Präfix-Stabilisierung nur bei Anbietern mit Präfix-Caching hilft, dass die Schwellenwerte womöglich angepasst werden müssen und dass das Bewertungsmodell Segmente falsch einschätzen kann [^1]. Alle Ergebnisse stammen von einem einzigen Agentenmodell. TokenPilot ist inzwischen in das Projekt LightMem2 des Teams integriert [^1].
Ein Beispiel aus der Praxis
Angenommen, Amara betreibt ein kleines Start-up für IT-Automatisierung, dessen Agent Support-Tickets in langen Sitzungen abarbeitet: Er liest Logs, führt Shell-Befehle aus und ruft Webseiten ab. Jeder Modellaufruf beginnt mit einem System-Prompt, der das aktuelle Arbeitsverzeichnis und einen Zeitstempel enthält, gefolgt von den Tool-Definitionen für die jeweilige Aufgabe. Weil sich diese Werte zwischen Aufgaben ändern, unterscheidet sich der Anfang des Prompts, und Token, die zum Cache-Tarif abgerechnet werden könnten, kosten den vollen Preis [^1].
Amara probiert zuerst eine gängige Lösung: die Historie zusammenfassen, sobald sie lang wird. Der Prompt schrumpft, doch jede Zusammenfassung schreibt einen Teil des Kontexts um, und der Cache greift wieder nicht [^1]. Nach dem Vorbild von TokenPilot ersetzt Amaras Team stattdessen Verzeichnispfad und Zeitstempel durch feste Platzhalter und verschiebt die echten Werte und die Tool-Definitionen ans Ende des System-Prompts [^1]. Lange Shell-Ausgaben werden auf die ersten 600 und die letzten 400 Zeichen gekürzt, die der Agent über ein Recovery-Tool erweitern kann, wenn er den Rest braucht [^1]. Ein bereits ausgewertetes Log bleibt im Kontext, solange spätere Aufgaben es noch brauchen könnten, und fällt dann gesammelt in einem Batch heraus statt gleich in der nächsten Runde [^1].
Im Paper senkte allein der Platzhalter-Schritt die Kosten auf einem Benchmark von 8,31 auf 4,35 Dollar [^1]. Amara prüft trotzdem die Qualität an den eigenen Tickets des Start-ups, denn auf Claw-Eval lag TokenPilot leicht unter dem Agenten ohne Kontextverwaltung [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Agenten und die Optimierung der Inferenz für Anwendungen auf Basis von Foundation Models behandelt, also genau die beiden Bereiche, zwischen denen TokenPilot ansetzt.