inferwire
/
KI·4 Min. Lesezeit

QuoteBench: Agenten-Befehle scheitern an einer zweiten Shell-Ebene

Ein neuer Benchmark schickt von LLMs geschriebene Bash-Befehle durch einen zusätzlichen Parser in doppelten Anführungszeichen. Die Erfolgsquote sinkt um 55 bis 73 Punkte, was ein Gesamtwert verdecken kann.

TL;DR

  • QuoteBench zeigt: Laufen von LLMs geschriebene Bash-Befehle durch eine zusätzliche Shell-Ebene in doppelten Anführungszeichen, sinkt ihre Erfolgsquote um 55,4 bis 73,2 Punkte [^1].
  • Modelle gleichen das teilweise aus, wenn sie von der Ebene wissen, daher kann ein fast unveränderter Gesamtwert große Gegeneffekte verdecken und Ranglisten umdrehen [^1].

Hintergrund

Coding-Agenten führen Shell-Befehle aus, die ein Sprachmodell schreibt. Bevor dieser Text Bash erreicht, wird er unter Umständen serialisiert, verpackt und erneut geparst, etwa wenn ein Befehl per ssh host "…" an einen entfernten Rechner oder per docker exec sh -c "…" in einen Container geht [^1]. Jeder zusätzliche Parser liest Anführungszeichen, Dollarzeichen, Backticks und Zeilenumbrüche neu, sodass ein Befehl, der auf einem Weg funktioniert, auf einem anderen scheitern kann.

Was passiert ist

Forschende der Stony Brook University, der LMU München und des Munich Center for Machine Learning veröffentlichten QuoteBench am 13. August auf arXiv [^1]. Der Benchmark umfasst 56 Bash-Aufgaben mit je einem Versuch in 14 Operationsfamilien, jede mit einer harmlosen Kontrollaufgabe und drei Varianten mit heiklen Nutzlasten: mehrzeiliger Text, feindselige Dateinamen, Regex- und Glob-Zeichen, Heredocs, wörtliche Argumente und Umgebungswerte, Git-Metadaten und zwei simulierte SSH-ähnliche Sprünge [^1]. Validatoren prüfen den Endzustand, etwa exakte Dateibytes, Argumentvektoren, JSON oder Git-Historie, sodass jeder Befehl besteht, der den richtigen Zustand erreicht. Exit-Codes würden nicht reichen: 23,4 bis 47,0 Prozent der fehlgeschlagenen Läufe endeten mit null und hinterließen trotzdem den falschen Zustand [^1]. Die Familien stammen aus einer Auswertung von 86 Vorfällen in eigenen Agenten-Sitzungen der Autoren und 412 gesichteten öffentlichen Berichten [^1].

Das Kernexperiment hält die Antwort des Modells fest und ändert nur, wie sie Bash erreicht. Auf dem direkten Weg läuft die Antwort unverändert, auf dem verschachtelten Weg wird sie zuerst in bash -c "…" eingesetzt, was einen Parser in doppelten Anführungszeichen hinzufügt, wie es ihn auf Remote-, Container- und CI-Wegen gibt [^1]. Ein zweiter Prompt, der sich um einen Satz unterscheidet, informiert das Modell über diese Grenze, ohne Tipps zum Quoting zu geben [^1]. Über acht Konfigurationen, abgefragt am 31. Juli, senkte der zusätzliche Parser die Erfolgsquote um 55,4 bis 73,2 Punkte. Selbst die 14 harmlosen Kontrollaufgaben verloren 28,6 bis 57,1 Punkte, weil Modelle auch in gewöhnlichen Befehlen Zeichen verwenden, die in doppelten Anführungszeichen wirksam sind [^1]. Der Hinweis auf die Grenze holte bei sechs Konfigurationen 30,4 bis 60,7 Punkte zurück, bei Qwen3.5-27B und Gemini-3.1-Flash-Lite war der Effekt null oder leicht negativ [^1].

Die Abhilfen sind einfach. Die Antwort an der Stelle zu escapen, an der sie eingesetzt wird, oder sie als temporäres Skript auszuführen, stellte bei allen 448 öffentlichen Aufgabenpaaren das Ergebnis des direkten Wegs wieder her [^1]. ShellCheck, ein statisches Prüfwerkzeug für Shell-Skripte, meldete nur 34,6 Prozent der durch die Verschachtelung verursachten Fehler, weil jeder Befehl für sich korrekt war und der Fehler erst beim späteren Einsetzen entstand [^1].

Warum es wichtig ist

Das Paper zielt vor allem darauf, wie Agenten bewertet werden. Das reine Erzeugen von Befehlen ist an der Spitze fast ausgereizt: Sechs Spitzenkonfigurationen bestanden auf dem direkten Weg 91,1 bis 100 Prozent der Aufgaben [^1]. Bei GPT-5.6-sol bewegte sich der Wert zwischen dem einfachen Aufbau und dem offengelegten verschachtelten nur um 3,6 Punkte, doch diese kleine Differenz ist die Summe aus 64,3 Punkten Verlust durch den Transportweg und 60,7 Punkten, die das Modell durch Anpassung zurückholte [^1]. Auch die Reihenfolge der Modelle hängt vom Einsatzweg ab. GPT-5.6-sol lag auf dem direkten Weg eine Aufgabe hinter Gemini-3.5-Flash und auf dem verschachtelten achtzehn vorn. Das ist die eine eindeutige Umkehrung unter 26 vergleichbaren Paaren, vier weitere hängen an einer einzigen Aufgabe [^1].

Die Autoren fordern deshalb, dass Bewertungen von Agenten, die Befehle ausführen, Modellkonfiguration, Generierungsvertrag, Ausführungsweg, Arbeitspunkt und Endzustands-Validator angeben, statt einen Gesamtwert als Eigenschaft des Modells zu behandeln [^1]. Sie betonen, dass der Beitrag die Messung ist, nicht die Abhilfe: Beide Abhilfen setzen voraus, dass der Aufrufer die Grenze kontrolliert, und ihre Untersuchung von sechs öffentlichen Agentensystemen fand Grenzen, die erst nach dem angegebenen Vertrag greifen [^1]. Der Benchmark deckt nur POSIX und Bash ab, und weil sich gehostete Modelle unter demselben Namen ändern können, gehört das Abfragedatum zum Ergebnis [^1].

Ein Beispiel aus der Praxis

Angenommen, dein Coding-Agent schreibt einen Befehl, der eine Zeile mit Dollarzeichen in eine Konfigurationsdatei schreibt, und lokal funktioniert er. In der Produktion schickt dein Deploy-Skript denselben Befehl in ssh host "…" an einen Server, sodass der Text noch einmal in doppelten Anführungszeichen geparst wird [^1]. Jetzt wird das Dollarzeichen expandiert, die Datei enthält den falschen Text, und der Befehl endet womöglich trotzdem mit null, wie viele fehlgeschlagene Läufe in QuoteBench [^1]. Die beiden Abhilfen aus dem Paper passen direkt: Escape den Befehl dort, wo du ihn verpackst, oder liefere ihn als temporäres Skript aus [^1]. Prüfe danach die Datei selbst, nicht nur den Exit-Code.

Passende Produkte

Wir empfehlen dieses Buch, weil es erklärt, wie die Shell Eingaben expandiert und quotiert, also die Regeln hinter den Fehlern, die QuoteBench misst.

WerbungAmazon

The Linux Command Line, 2nd Edition: A Complete Introduction

Quellen

  1. [1]arXiv — QuoteBench: How Matched Scores Can Hide Command-Path Failures
  2. [2]Hacker News — QuoteBench: Matched Scores Can Hide Command-Path Failures