inferwire
/
KI·3 Min. Lesezeit

Baton: Ein Coding-Agent lernt die Übergänge zwischen Roboterfähigkeiten

Roboterfähigkeiten, die einzeln klappen, scheitern oft in der Kette. Baton lässt einen Coding-Agenten jede Teilaufgabe und ihre Übergänge erkunden und hebt den Aufgabenerfolg von 46,1 auf 63,5 Prozent.

TL;DR

  • Mit Baton von USC und UCF führt ein LLM-Coding-Agent eine eingefrorene Robotersteuerung, indem er jede Teilaufgabe und ihre Übergänge erkundet und sich merkt [^1].
  • Im Benchmark RoboMemArena schloss Baton 63,5 Prozent der Aufgaben ab, die besten bisherigen Methoden 46,1 Prozent [^1].

Hintergrund

Vision-Language-Action-Modelle (VLA) übersetzen Kamerabilder und Anweisungen direkt in Roboterbewegungen. OpenVLA etwa ist ein offenes Modell mit 7 Milliarden Parametern, trainiert auf 970.000 echten Roboterdemonstrationen [^2]. Solche Modelle beherrschen einzelne Fähigkeiten immer besser, doch lange Aufgaben, die diese Fähigkeiten verketten, scheitern weiterhin. Die Steuerung π0.5 hat in den Einzelaufgaben von LIBERO eine Erfolgsquote von 97 Prozent, schafft bei Aufgaben mit tausend Schritten aber nur 38,7 Prozent der Zwischenetappen und beendet nur 21,5 Prozent der Aufgaben [^1]. Fehler summieren sich [^1].

Was passiert ist

Ein Ausweg setzt einen Coding-Agenten an die Spitze: Er plant in Sprache, bewegt den Arm mit analytischen Bewegungsbausteinen durch den freien Raum und ruft das eingefrorene VLA nur für Schritte mit viel Kontakt auf [^1]. Bei langen Aufgaben hat dieses Rezept laut den Autoren zwei Probleme. Ganze Aufgaben zu erkunden, wird mit jeder zusätzlichen Etappe exponentiell teurer, und ein gescheiterter Versuch verrät nicht, welche Etappe schuld war. Außerdem kennt der Agent keine Übergänge, sodass eine Teilaufgabe auf eine Weise gelingen kann, mit der die nächste nichts anfangen kann [^1].

Baton von Bingxin Xu, Yuzhang Shang und Emilio Ferrara macht die Teilaufgabe zur Einheit der Erkundung [^1]. Jede Teilaufgabe wird einzeln erkundet und ihre Lösung im Speicher abgelegt; lange Aufgaben werden dann aus diesen Lösungen zusammengesetzt. Der Erkundungsaufwand wächst linear mit der Zahl der Etappen, und jeder Fehler lässt sich einer Etappe zuordnen [^1]. Ein übergangsbewusster Speicher deckt die Grenzen ab. Ein Prüf-Agent ruft das VLA erst auf, wenn die Handgelenkskamera bestätigt, dass die Szene bereit ist. Ein Übergabeschritt stellt den Ausgangszustand wieder her, den eine Teilaufgabe erwartet, falls die vorherige ihn gestört hat. Und ein Vorausschau-Schritt wählt eine Ausführung, auf deren Ergebnis die nächste Teilaufgabe aufbauen kann, etwa einen Griff, der einen Schubladengriff zum späteren Schließen erreichbar lässt [^1].

RoboMemArena umfasst 26 Haushaltsaufgaben in Küchenszenen, die jeweils 3 bis 9 geprüfte Etappen über im Schnitt mehr als 1.000 Steuerschritte verketten [^1]. Für einen kontrollierten Vergleich nutzten Baton und die Coding-Agent-Basis Harness VLA identische Bausteine: denselben eingefrorenen VLA-Checkpoint ohne Fine-Tuning, SAM-3 für die Segmentierung, GPT-5.6 Sol als Agenten und 20 Erkundungsdurchläufe pro Aufgabe [^1]. Baton schloss 63,5 Prozent der Aufgaben und 82,9 Prozent der Etappen ab, Harness VLA 23,1 und 37,9 Prozent. Die besten bisherigen Methoden, die auf den Daten des Benchmarks trainiert wurden, kamen auf 46,1 Prozent der Aufgaben [^1]. An einem PiPER-X-Roboterarm stellte Baton zwei Dosen nacheinander oder eine Dose und eine Flasche auf einen Teller, in 47,5 Prozent von 40 Versuchen, gegenüber 27,5 Prozent für Harness VLA und 7,5 Prozent für π0.5 [^1].

Warum es wichtig ist

Am größten war der Gewinn dort, wo Übergänge am meisten zählen. Bei den Verdeckungsaufgaben, die Vorgänge wie das Öffnen und Schließen von Schubladen und Mikrowellen mischen, schaffte Harness VLA keine einzige: Innerhalb des Budgets von 20 Durchläufen erreichte die Erkundung ganzer Aufgaben selten einen ersten Erfolg, also landete nichts im Speicher. Baton schaffte die Hälfte [^1]. Bei Abfolgeaufgaben, deren Teilaufgaben nur lose zusammenhängen, war der Gewinn bescheiden [^1]. Weil Baton das Gelernte in Sprache festhält und an Übergänge statt an Aufgaben knüpft, lässt sich ein einmal gelernter Übergang von jeder Aufgabe wiederverwenden, die dieselbe Grenze überquert, ohne die Robotersteuerung neu zu trainieren [^1].

Ein Beispiel aus der Praxis

Angenommen, ein Küchenroboter soll eine Schublade öffnen, eine Dose herausnehmen, sie in die Mikrowelle stellen und die Schublade wieder schließen. Jeder Schritt klappt für sich, doch der Griff beim Öffnen lässt den Schubladengriff außer Reichweite für das Schließen. Ein System wie Baton probiert jeden Schritt einzeln aus, erkennt, dass genau dieser Übergang scheitert, und speichert eine Vorausschau-Regel, den Griff so zu fassen, dass er für das Schließen erreichbar bleibt [^1]. Die nächste Aufgabe, die dieselbe Grenze überquert, nutzt diese Regel, statt erneut in das Problem zu laufen [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es die mathematischen und algorithmischen Grundlagen für physische Zustandsschätzung und Robotermanipulation vermittelt.

WerbungAmazon

Probabilistic Robotics

Quellen

  1. [1]arXiv — Don't Drop the Baton: Long-Horizon Robot Manipulation via Agentic Subtask Exploration and Transition-Aware Memory
  2. [2]arXiv — OpenVLA: An Open-Source Vision-Language-Action Model