TokenCast sagt voraus, wie viele Tokens ein KI-Agent verbraucht
Dieselbe Agenten-Aufgabe kann von Lauf zu Lauf mehr als das Zehnfache an Tokens kosten. TokenCast aktualisiert seine Prognose während des Laufs und sparte in einer Budget-Simulation 21,3 Prozent Tokens.
TL;DR
- Wenn ein KI-Agent dieselbe Aufgabe zweimal erledigt, kann sein Token-Verbrauch um mehr als eine Größenordnung abweichen, was Kosten schwer planbar macht [^1].
- TokenCast prognostiziert den Verbrauch, während der Agent läuft; in einer Offline-Nachstellung brauchte es 21,3 Prozent weniger Tokens als eine Festbudget-Strategie bei gleicher Abschlussquote [^1].
Hintergrund
Agenten für Aufgaben wie Softwareentwicklung planen wiederholt, ändern Code, rufen Tools auf und prüfen Ergebnisse, und die Ausgaben jeder Runde landen im Kontext des nächsten Aufrufs [^1]. Eine Aufgabe kann mit einer einzigen Änderung gelöst sein oder viele Wiederholungen brauchen, also lässt sich der Gesamtverbrauch vorab kaum kennen und muss im Lauf angepasst werden [^1].
Was passiert ist
Forschende der Sun Yat-sen University, des Rensselaer Polytechnic Institute, der Southeast University und der Hong Kong University of Science and Technology haben TokenCast entwickelt [^1]. Es lernt für jeden Abschnitt der Ausführung eines Agenten eine Kostendarstellung, die den Eigenverbrauch des Abschnitts und das von ihm verursachte Kontextwachstum festhält. Durch das Verknüpfen benachbarter Abschnitte entsteht eine laufende Schätzung, die die Zusatzkosten erfasst, wenn jeder spätere Aufruf früheren Kontext erneut liest [^1]. Sobald im Lauf neue Hinweise auftauchen, wird die Prognose aktualisiert, mit einer mittleren kumulierten Rechenzeit von 32,8 Millisekunden pro Lauf auf SWE-bench Verified und ohne weitere Modellaufrufe [^1].
Über vier Aufgabensammlungen und sechs Agenten-Modelle senkte TokenCast den mittleren absoluten Fehler im Schnitt um 14,5 Prozent gegenüber der stärksten Alternative, über 96 Kombinationen [^1]. In einer Offline-Nachstellung mit Budgetsteuerung brauchte es im Schnitt 21,3 Prozent weniger Tokens als eine Strategie mit festem Budget bei gleicher Abschlussquote [^1].
Warum es wichtig ist
Unvorhersehbare Kosten sind eine der praktischen Hürden beim Einsatz von Agenten: Ein zu knappes Budget bricht Läufe ab, die erfolgreich gewesen wären, ein zu großzügiges verschwendet Geld für Läufe, die nirgendwohin führen. Eine Prognose, die im Lauf schärfer wird, erlaubt es einem System, einen Lauf zu stoppen, der klar über das Budget hinausläuft, oder einen vielversprechenden weiterlaufen zu lassen.
Ein Beispiel aus der Praxis
Angenommen, du gibst einem Coding-Agenten pro Aufgabe ein festes Token-Budget. Manche Aufgaben sind schnell fertig und verschwenden nichts, andere stoßen kurz vor dem Erfolg an die Grenze. Mit einer laufenden Prognose wie der von TokenCast sieht das System früh, dass ein Lauf mehr braucht und ein anderer ausufert, und verteilt die Tokens entsprechend, was in der Nachstellung der Autoren etwa ein Fünftel der Tokens sparte [^1].