Humanoider Regalauffüller: Datendesign bringt am meisten
Forschende brachten einen Humanoiden Unitree G1 allein durch Datendesign von 0 auf 32 Prozent Erfolg beim Auffüllen von Chips. Eine Runde Lernen aus eigenen Versuchen ergab 42 Prozent, eine zweite 22.
TL;DR
- Datendesign hob die Erfolgsquote eines Humanoiden Unitree G1 beim Auffüllen von Chips von 0 auf 32 Prozent; eine Runde Lernen aus eigenen Versuchen brachte 42 [^1].
- Eine zweite Runde senkte die Quote auf 22 Prozent; die Autoren vermuten, dass die eigenen Versuche des Roboters die menschlichen Demonstrationen im Training verdrängten [^1].
Hintergrund
Vision-Language-Action-Modelle (VLA) erweitern Vision-Language-Grundmodelle um die Vorhersage von Aktionen, damit sie Roboter steuern können [^1]. Die meisten werden offline trainiert und als feste Policy eingesetzt, können also nicht aus eigener Erfahrung lernen, und kleine Ungereimtheiten in den menschlichen Demonstrationen, die sie nachahmen, summieren sich zu Fehlern [^1]. RECAP, ein mit dem Modell π0.6* eingeführtes Verfahren, ergänzt das Imitationstraining um Signale aus dem Reinforcement Learning, indem es Aktionen mit einem Advantage versieht, einer Schätzung, ob sie zu besseren Ergebnissen geführt haben [^1].
Was passiert ist
Forschende von HIVE Robots und der Technischen Universität Dänemark stellten am 22. Juli DEED auf arXiv vor, kurz für Data-Efficient Post-Training and Experience-Driven Learning [^1]. Anlass ist ein laufendes Industrieprojekt, das Humanoide zum Auffüllen von Regalen in einem Supermarkt im Betrieb einsetzen will [^1]. Die Experimente liefen in einem nachgebauten Laden mit echtem Regal, Rollwagen und Produktkarton. Ein Humanoid Unitree G1-Edu mit Dex-3-Händen musste eine Tüte Chips aus einem offenen Karton greifen, den Oberkörper drehen, die Tüte ins Regal stellen und sich zurückdrehen, gesteuert vom Grundmodell GR00T N1.6 [^1].
Naives Fine-Tuning des öffentlichen Checkpoints GR00T-N1.6-G1-PnPAppleToPlate mit 81 ferngesteuerten Demonstrationen, rund 51,5 Minuten Roboterbetrieb, ergab bei 50 Versuchen eine Erfolgsquote von 0 Prozent [^1]. Das datensparsame Verfahren änderte den Aufbau statt des Modells. Es verkleinerte den Aktionsraum von 32 auf 20 Dimensionen, steuerte jede Hand mit einem binären Signal für Öffnen oder Schließen, ergänzte zwei Handgelenkkameras, glich Aufnahme- und Steuerfrequenz bei 25 Hz an, kuratierte die Demonstrationen und glättete die vorhergesagten Bewegungen mit einem Butterworth-Filter [^1]. Zusätzlich markierte ein Vision-Language-Modell den freien Platz im Regal mit einem Rahmen [^1]. Mit diesen Änderungen gelangen der Policy 32 Prozent der Versuche (16 von 50), bei 24,30 Sekunden pro Tüte und bis zu vier Tüten am Stück ohne manuelles Zurücksetzen [^1].
Für die erfahrungsbasierte Stufe passte das Team RECAP an GR00T an, indem es „Advantage=True“ oder „Advantage=False“ vor die Anweisung setzte und eine Wertfunktion nur auf Kamerabildern und Text trainierte [^1]. Der Roboter arbeitete selbstständig, während ein Mensch bei Fehlern eingriff, und jeder neue Trainingsdatensatz kombinierte Demonstrationen, autonome Läufe und diese Korrekturen [^1]. Eine Iteration hob die Erfolgsquote auf 42 Prozent (21 von 50) und senkte die Zeit pro Tüte auf 22,37 Sekunden. Eine zweite Iteration ließ sie auf 22 Prozent (11 von 50) fallen [^1]. Nach der Verfeinerung hörte der Roboter außerdem nach einer Tüte auf, statt in die Startposition zurückzukehren, weil die Wertfunktion das fertige Ablegen höher bewertete als die Zwischenposen beim Zurücksetzen [^1]. Training und Inferenz liefen komplett auf einer einzigen Workstation mit NVIDIA RTX 5090 [^1].
Warum es wichtig ist
Die Hauptaussage der Autoren lautet, dass die Lücke zwischen einem vortrainierten VLA und verlässlichem Einsatz „in erster Linie eine Frage der Systemintegration und nicht der Architektur“ ist [^1]. Ohne das Modell zu verändern, machten Datenkuratierung und gezieltes Post-Training aus einem unbrauchbaren Checkpoint eine funktionierende Policy, wobei die Qualität der Daten wichtiger war als ihre Menge [^1]. Mit den eigenen Zahlen gehen die Autoren vorsichtig um. Bei 50 Versuchen pro Bedingung überlappen sich die 95-Prozent-Konfidenzintervalle für 32 und 42 Prozent deutlich, der Gewinn der ersten Iteration sei daher „ein Hinweis, aber nicht schlüssig“ [^1].
Der Einbruch in der zweiten Runde ist die allgemeinere Warnung für Roboter, die im Einsatz weiterlernen. Die Autoren führen ihn auf eine Verschiebung der Datenverteilung zurück: Wenn die eigenen Läufe des Roboters die Trainingsdaten dominieren, verlieren die menschlichen Demonstrationen an Gewicht, und die Policy verengt sich auf weniger Verhaltensweisen [^1]. Das In-Distribution-Werkzeug der Studie, das misst, wie weit der aktuelle Zustand des Roboters von den Zuständen in seinen Trainingsdaten entfernt ist, zeigte, dass sich die verfeinerten Policies von den demonstrierten Zuständen entfernten [^1]. Die Autoren empfehlen eine feste Mischung aus Demonstrationen und eigenen Läufen und nennen die Grenzen der Studie: eine Aufgabe, eine Plattform, eine binäre Erfolgsmetrik, wenige Testdurchläufe und zwei Verfeinerungsrunden [^1].
Ein Beispiel aus der Praxis
Angenommen, du leitest ein Pilotprojekt, in dem ein Humanoid nachts eine Produktlinie auffüllt, und der Anbieter schlägt vor, den Roboter jede Woche mit seinen eigenen Läufen nachzutrainieren. Nach dieser Studie fragst du, wie viel jedes neuen Trainingsdatensatzes noch aus menschlichen Demonstrationen stammt, denn die zweite Verfeinerungsrunde senkte die Erfolgsquote hier von 42 auf 22 Prozent [^1]. Außerdem willst du eine Überwachung wie das In-Distribution-Werkzeug aus dem Paper, das anzeigt, wenn sich der Zustand des Roboters von seinen Trainingsdaten entfernt [^1]. Und bevor du einen Sprung von 32 auf 42 Prozent feierst, verlangst du mehr als 50 Testläufe, denn die Autoren selbst nennen diesen Gewinn nur einen Hinweis [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Wertfunktionen, Returns und Advantages erklärt, die Ideen aus dem Reinforcement Learning hinter der erfahrungsbasierten Stufe, die DEED von RECAP übernimmt.