inferwire
/
KI·2 Min. Lesezeit

RV-ICL: Roboter-Agenten lernen aus einem Video, Clip für Clip

Statt ein Demonstrationsvideo in den Prompt zu stopfen, macht RV-ICL daraus eine Hierarchie, die ein Roboter-Agent durchsuchen kann. Mit einer Demo pro Aufgabe stieg der Erfolg auf LIBERO-Plus von 86,7 auf 95,8 Prozent.

TL;DR

  • RV-ICL verwandelt ein einzelnes Demonstrationsvideo in eine Hierarchie aus Schlüsselbildern, Phasen, Momenten und kurzen Clips, die ein Agent zur Robotersteuerung bei Bedarf nachschlagen kann [^1].
  • Aufgebaut auf dem Framework RPent steigerte es die Erfolgsquote auf LIBERO-PRO von 92,6 auf 96,5 und auf LIBERO-Plus von 86,7 auf 95,8 Prozent, ohne Training [^1].

Hintergrund

Manche Robotersysteme nutzen einen Sprachmodell-Agenten, der eingefrorene Vision-Language-Action-Policies (VLA) koordiniert, die kontaktintensive Bewegungen übernehmen, die der Agent selbst nicht ausführen kann [^1]. Solche Agenten verbessern sich über Episoden hinweg durch ein Textgedächtnis, doch Text hält fest, was der Agent getan hat, nicht, wie eine Aufgabe erledigt wird [^1]. Ein Demonstrationsvideo zeigt das Wie, passt aber schlecht in den Kontext eines Agenten: Das ganze Video verlangsamt jeden Schritt, und wenige feste Schlüsselbilder verlieren die Kontaktdetails, die darüber entscheiden, ob ein Griff hält [^1].

Was passiert ist

Forschende der University of Central Florida und der University of Southern California stellen Recursive Video In-Context Learning (RV-ICL) vor, eine Methode ohne Training, die eine Demonstration in eine Hierarchie verwandelt, durch die der Agent navigiert, statt sie als Prompt zu bekommen [^1]. Die Hierarchie baut auf den Teilereignissen der Demonstration auf, etwa Greifen und Loslassen, und ihre vier Ebenen werden immer feiner: Schlüsselbilder der ganzen Aufgabe, Phasen zwischen Greifen und Loslassen, Momente rund um jedes Teilereignis und Clips aus 20 Einzelbildern [^1]. Der Agent greift über reine Lese-Tools darauf zu. Vor der Planung liest er die groben Ebenen, und während der Ausführung kehrt er in die Hierarchie zurück, sobald ein Schritt Details braucht, und lädt nur den Clip seines aktuellen Teilziels [^1]. Eine Demonstration pro Aufgabe reicht [^1].

Aufgebaut auf RPent, einem agentischen Framework, das eine eingefrorene VLA als wiederholbare Aktion bereitstellt, steigerte RV-ICL die Erfolgsquote auf LIBERO-PRO von 92,6 auf 96,5 Prozent und auf LIBERO-Plus von 86,7 auf 95,8 Prozent [^1].

Warum es wichtig ist

Die Methode löst ein grundlegendes Missverhältnis: Was ein Agent von einer Demonstration braucht, ändert sich im Lauf einer Aufgabe, von der Gesamtstruktur beim Planen bis zu feinen Details bei jedem Kontakt [^1]. Wenn der Agent zur richtigen Zeit die richtige Detailstufe abrufen kann, bleibt der Kontext klein, ohne die Informationen zu verlieren, die einen Griff gelingen lassen, und das ganz ohne zusätzliches Training.

Ein Beispiel aus der Praxis

Angenommen, ein Roboter soll eine Schranktür in einer Anordnung schließen, die er noch nicht kennt. Beim Planen liest sein Agent die Übersicht einer einzigen Demonstration: greifen, schwenken, loslassen. Beim Griff lädt er nur den 20-Bilder-Clip dieses Griffs, um genau zu sehen, wie der Greifer den Griff erfasst hat, und macht dann weiter [^1].

Quellen

  1. [1]arXiv — Recursive Video In-Context Learning for Agentic Robot