VLA Foundry: Vision, Language und Roboter-Aktionen vereint

TL;DR

• VLA Foundry vereint das Training von Vision-, Language- und Action-Modellen in einem einzigen Open-Source-Framework und eliminiert fragmentierte Codebasen.
• Diese End-to-End-Kontrolle ermöglicht es Forschern, Roboter effizienter zu trainieren – vom einfachen Sprachverständnis bis hin zu komplexen physischen Aufgaben in einem System.

Hintergrund

Die meisten aktuellen KI-Modelle sind spezialisiert. Ein Large Language Model (LLM) verarbeitet Text. Ein Vision-Language Model (VLM) kann beschreiben, was es auf einem Bild sieht. Keines von beiden kann jedoch nativ einen physischen Roboterarm steuern. Um diese Lücke zu schließen, nutzen Forscher Vision-Language-Action (VLA) Modelle. Bisher war deren Erstellung ein manueller, fragmentierter Prozess. Ingenieure mussten Sprachmodelle mit separaten Vision-Encodern und Roboter-Steuerungssystemen zusammenflicken. Diese Komponenten nutzten oft unterschiedliche Datenformate und Trainingslogiken, was es schwierig machte, die physische Leistung des Roboters zu verbessern, ohne seine Denkfähigkeit zu beeinträchtigen.

Was passiert ist

Forscher haben VLA Foundry veröffentlicht, ein Open-Source-Framework, das die gesamte Trainings-Pipeline für Roboter-Intelligenz vereinheitlicht. Im Gegensatz zu früheren Ansätzen, die sich nur auf die letzte Phase der Roboterbewegung konzentrierten, bietet VLA Foundry einen gemeinsamen Trainings-Stack. Dies ermöglicht eine End-to-End-Kontrolle, angefangen beim initialen Language-Pretraining über die Vision-Integration bis hin zum finalen „Action-Expert“-Fine-Tuning[^1]. Das Framework ist darauf ausgelegt, die riesigen Datensätze moderner Robotik zu verarbeiten, wie den Open X-Embodiment Datensatz mit Daten von über 20 Robotertypen und 160.000 Aufgaben[^2].

Im Kern behandelt VLA Foundry Roboter-Aktionen wie eine Form von Sprache. Es wandelt physische Bewegungen – wie die Drehung eines Handgelenks oder das Schließen eines Greifers – in diskrete Token um, die die KI wie Wörter verarbeiten kann. Diese Vereinigung bedeutet, dass dieselben mathematischen Prinzipien, mit denen ein Chatbot trainiert wird, nun auch angewendet werden können, um einem Roboter das Wäschefalten oder Paketsortieren beizubringen. Das Framework vereinfacht den Übergang zwischen verschiedenen Trainingsphasen. Ein Forscher kann ein Standard-Vision-Language-Modell nehmen und ihm Roboter-Aktionen „beibringen“, ohne die zugrunde liegende Architektur neu aufbauen zu müssen. Diese Konsistenz verhindert das „katastrophale Vergessen“, das oft auftritt, wenn Modelle gezwungen werden, völlig neue Datentypen mit inkompatiblen Tools zu lernen.

Das Framework führt zudem einen modularen Ansatz für das sogenannte „Action-Expert“-Fine-Tuning ein. Dies ermöglicht es, ein allgemeines Roboter-Gehirn für ein spezifisches Hardware-Setup oder eine begrenzte Anzahl von Aufgaben zu spezialisieren. Da der gesamte Prozess innerhalb einer Codebasis stattfindet, bleiben das Vision-System und das Action-System aufeinander abgestimmt. Wenn das Vision-System eine rote Tasse erkennt, weiß das Action-System genau, wie es danach greifen muss, da beide mit derselben synchronisierten Daten-Pipeline trainiert wurden. Dies reduziert Fehler, die entstehen, wenn ein Vision-Modell aus einer Quelle schlecht mit einem Controller aus einer anderen integriert ist.

VLA Foundry unterstützt eine breite Palette von Modellarchitekturen und Skalierungen. Es ist hardware-agnostisch aufgebaut, was bedeutet, dass es Modelle für einen einfachen vierachsigen Roboterarm oder einen komplexen Humanoiden mit Dutzenden von Gelenken trainieren kann. Durch die Bereitstellung eines standardisierten Weges zum Laden von Daten, Definieren von Modellschichten und Ausführen von Trainingsschleifen senkt das Framework die Hürde für kleinere Forschungslabore, in das Feld der Embodied AI einzusteigen. Zuvor konnten nur große Tech-Unternehmen mit maßgeschneiderten internen Pipelines effektiv großskalierte VLA-Modelle trainieren. VLA Foundry demokratisiert die Werkzeuge, die nötig sind, um Roboter zu bauen, die sehen, denken und in der realen Welt agieren können.

Warum es wichtig ist

Diese Entwicklung ist ein entscheidender Schritt in Richtung Allzweck-Robotik. Der Hauptengpass in der Robotik war bisher nicht die Hardware, sondern das Fehlen eines einheitlichen Software-Stacks. Durch die Standardisierung des Trainings dieser Modelle ermöglicht VLA Foundry schnellere Iterationen und eine bessere Zusammenarbeit in der Branche. Wenn jedes Labor eine andere Methode verwendet, um einem Roboter das Greifen beizubringen, ist der Fortschritt langsam und isoliert. Ein einheitliches Framework ermöglicht es Forschern, ihre Ergebnisse und Verbesserungen leichter zu teilen, da der Code eines Labors mit dem eines anderen kompatibel ist.

Zudem verbessert die Fähigkeit, Vision und Action gemeinsam zu trainieren, die Zuverlässigkeit des Roboters in unübersichtlichen, realen Umgebungen. Traditionelle Roboter verlassen sich auf starre Programmierung; sie scheitern, wenn ein Objekt um fünf Zentimeter verschoben wird. VLA-basierte Roboter sind flexibler, weil sie die Szene „verstehen“. Wenn einem Roboter gesagt wird, er solle „den Tisch abräumen“, nutzt er sein Vision-System, um Teller zu identifizieren, und sein Action-System, um sie zu bewegen. VLA Foundry stellt sicher, dass diese beiden Systeme harmonieren. Dies führt zu Robotern, die sicherer in der Zusammenarbeit mit Menschen sind, da ihr Denken und ihre physischen Bewegungen aus demselben kohärenten Modell stammen.

Für das breitere KI-Ökosystem bedeutet dies den Übergang von rein digitaler KI zu Embodied AI. Wir lassen die Ära hinter uns, in der KI nur auf Bildschirmen existiert. Wenn Frameworks wie VLA Foundry reifen, werden Kosten und Komplexität bei der Entwicklung smarter physischer Systeme sinken. Dies wird wahrscheinlich zu einer Explosion spezialisierter Roboteranwendungen in der Logistik, im Gesundheitswesen und bei der Haushaltshilfe führen. Der Fokus verschiebt sich: KI soll nicht mehr nur besser reden, sondern besser handeln können.

Ein Beispiel aus der Praxis

Stell dir ein kleines Startup vor, das einen Roboter baut, um eine Apotheke zu organisieren. Der Roboter muss Medikamentenflaschen identifizieren, Etiketten lesen und sie in bestimmte Regale stellen. Ohne VLA Foundry müsste das Startup separate Experten einstellen, um ein Vision-System zum Finden der Flaschen, ein Language-System zum Lesen der Etiketten und ein Steuerungssystem für den Arm zu bauen. Sie würden Monate damit verbringen, diese drei verschiedenen Systeme zum Laufen zu bringen, ohne dass sie abstürzen.

Mit VLA Foundry startet das Team mit einer einzigen Codebasis. Sie nehmen ein Modell, das bereits grundlegendes Englisch und Bilder versteht. Dann füttern sie das Framework mit ein paar hundert Beispielen, wie ihr spezifischer Roboterarm Flaschen aufhebt. Das Framework wandelt diese physischen Bewegungen automatisch in Token um, die das Modell versteht. Bis Ende der Woche hat das Startup ein einheitliches „Gehirn“ für seinen Roboter. Er sieht nicht nur eine Flasche; er weiß, dass auf dem Etikett „Aspirin“ steht und genau, wie viel Kraft sein Greifer aufwenden muss, um sie aufzuheben und ins oberste Regal zu stellen. Der gesamte Prozess ist in einem konsistenten Workflow gestrafft.

Passende Produkte

Wir empfehlen diesen Grundlagentext, um die mathematischen Prinzipien der Roboter-Wahrnehmung und -Bewegung zu verstehen, die Frameworks wie VLA Foundry nun mit KI automatisieren.