inferwire
/
KI·5 Min. Lesezeit

MUSE-Autoskill: Agenten machen aus gelösten Aufgaben Skills

Forschende von ByteDance und RIT bauen einen Agenten, der aus eigenen erfolgreichen Läufen wiederverwendbare Skills macht. Auf 35 SkillsBench-Aufgaben stieg die Trefferquote von 76,9 auf 87,9 Prozent.

TL;DR

  • Mit MUSE-Autoskill von Forschenden bei ByteDance und dem Rochester Institute of Technology erstellt, testet, merkt sich und verbessert ein Agent eigene Skills [^1].
  • Selbst erstellte Skills hoben die Trefferquote auf 35 SkillsBench-Aufgaben von 76,9 auf 87,9 Prozent, aber nur dort, wo der Agent die Aufgabe schon einmal gelöst hatte [^1].

Hintergrund

Ein KI-Agent auf Sprachmodellbasis arbeitet eine Aufgabe Schritt für Schritt ab, ruft Werkzeuge auf und führt Code aus. Skills sind wiederverwendbare Pakete aus Abläufen, Code oder Fachanweisungen, die der Agent laden kann, statt alles neu herzuleiten [^1]. Voyager, ein von GPT-4 gesteuerter Minecraft-Agent, zeigte die Idee früh: Er legte Programme, die eine Aufgabe gelöst hatten, in einer Bibliothek ab und holte sie in ähnlichen Situationen wieder hervor [^2]. Die MUSE-Autoren meinen, dass spätere Systeme Skills immer noch als starre, ungetestete Artefakte behandeln [^1].

Was passiert ist

Forschende von ByteDance und dem Rochester Institute of Technology stellen MUSE-Autoskill vor, kurz für Memory-Utilizing Skill Evolution. Der Agent verwaltet Skills in fünf Stufen: Erstellung, Gedächtnis, Verwaltung, Bewertung und Verbesserung [^1]. Jeder Skill ist ein Ordner im Format von Anthropics Agent Skills: eine Datei SKILL.md, die Name, Beschreibung, Ein- und Ausgaben festlegt, dazu optional die Verzeichnisse scripts/, resources/ und tests/ [^1]. Der Agent startet mit nur wenigen eingebauten Skills wie skill_create und web_search und muss alles andere selbst bauen. Ein neuer Skill kommt nur in die Skill-Bank, wenn seine Unit-Tests in einer Sandbox bestehen; scheitern sie, liest der Agent die Fehlermeldung und flickt das Paket [^1]. Zu jedem Skill gehört außerdem eine Datei .memory.md, in die der Agent Erfahrungen wie bekannte Fehlerquellen und Eigenheiten von Eingabeformaten schreibt, die bei jedem Laden des Skills wieder angezeigt werden. Überlappende Skills werden zusammengelegt, und solche, die immer wieder scheitern oder ungenutzt bleiben, werden aussortiert [^1].

Getestet hat das Team den Ansatz auf 51 Aufgaben aus SkillsBench, praxisnahen Aufträgen, die automatische Prüfprogramme in Docker-Containern bewerten, im Vergleich mit den Agenten Codex und Hermes. Alle drei liefen mit GPT-5.5, mit fünf Durchläufen pro Aufgabe [^1]. Skills, die die Aufgabenautoren des Benchmarks geschrieben hatten, halfen jedem Agenten: Codex stieg von 52,11 auf 67,28 Prozent, Hermes von 47,89 auf 61,21 und MUSE-Autoskill von 53,19 auf 68,40 [^1].

Danach schrieb MUSE-Autoskill eigene Skills. Für jede Aufgabe, bei der mindestens ein Lauf ohne Skills gelang, destillierte es den besten Lauf zu einem Skill und löste die Aufgabe damit erneut [^1]. Das klappte bei 35 der 51 Aufgaben. Über alle 51 lag die Trefferquote bei 60,35 Prozent; auf den 35 abgedeckten Aufgaben stieg sie von 76,9 auf 87,9 Prozent, ein Plus von 11,0 Punkten gegenüber 7,9 Punkten durch menschliche Skills [^1]. Hermes kam mit denselben, unveränderten Skill-Dateien von 47,89 auf 58,40 Prozent und schloss damit 79 Prozent der Lücke zum Ergebnis mit menschlichen Skills [^1]. Einen Skill zu erstellen kostete etwa 383K Token und 164 Sekunden pro Aufgabe. Mit dem eigenen Skill brauchte MUSE-Autoskill danach 493K Token und 411 Sekunden pro Aufgabe, mit menschlichen Skills 615K und 656 [^1].

Warum es wichtig ist

Die Ergebnisse verorten das eigentliche Problem woanders, als man vermuten würde. Skills aus einem erfolgreichen Lauf waren gut; schwierig war der erste Erfolg. Die 16 Aufgaben ohne Skill stammten überwiegend aus wissenschaftlichem Rechnen und Systembetrieb, wo der Agent ohnehin am schwächsten ist, und die Autoren folgern, dass der Engpass die Abdeckung ist, nicht die Qualität der Skills [^1]. Sie benennen auch offen die Grenzen. Die Studie deckt 51 der 94 SkillsBench-Aufgaben ab, die ausgelassenen haben tendenziell komplexere Umgebungen, die Zahlen könnten die Leistung also überschätzen. Jeder Skill stammt aus einem einzigen Lauf und wurde an derselben Aufgabe erneut getestet, was den Zugewinn laut den Autoren übertreiben kann. Die Übertragung wurde nur von MUSE-Autoskill zu Hermes geprüft, und als Modell kam nur GPT-5.5 zum Einsatz [^1].

Weil Skills schlichte Dokumente und Skripte sind, lassen sie sich lesen, zwischen Agenten weitergeben und prüfen; das ist das Hauptargument des Papers für den Ansatz [^1]. Die Prüfung fand keinen Skill, der Ergebnisse der Prüfprogramme fest einprogrammiert hatte, aber manche enthielten feste Dateinamen, Pfade oder Zahlenbereiche aus dem Lauf, aus dem sie stammten [^1]. Die Teststufe ist dünner, als der Lebenszyklus vermuten lässt: Nur 9 Prozent der erzeugten Pakete enthielten ein Verzeichnis tests/ [^1]. Laut den Autoren läuft der Ansatz bereits in Produktivsystemen namens SkillMarket, ArkClaw und SkillHub [^1].

Ein Beispiel aus der Praxis

Angenommen, Priya verantwortet das Reporting in einer kleinen Energieberatung und gibt einem Agenten nach MUSE-Bauart eine monatliche Pflichtaufgabe: eine Excel-Arbeitsmappe mit Nachschlageformeln und gewichteten Mittelwerten füllen, ohne die Formatierung zu zerstören. SkillsBench enthält eine sehr ähnliche Aufgabe [^1]. Im ersten Monat hat der Agent keinen Skill und arbeitet sich durch Ausprobieren voran. Sobald ein Lauf gelingt, macht skill_create daraus ein Paket. In der Version aus dem Paper nannte der Skill die Python-Bibliothek openpyxl als passendes Werkzeug, listete die Formelmuster auf und fügte einen Schritt hinzu, der die Zielzellen aus den Quelldaten nachrechnet [^1].

Im nächsten Monat findet der Agent den Skill in seinem Katalog, lädt SKILL.md samt den Notizen in .memory.md und folgt dem Rezept, statt neu zu suchen. Bei der Benchmark-Aufgabe stieg die Erfolgsquote dadurch von 20 auf 100 Prozent [^1].

Das Risiko zeigt sich, wenn sich etwas ändert. Der Skill stammt aus einem einzigen Lauf, und die Prüfung ergab, dass manche erzeugten Skills Dateinamen, Pfade oder Zahlenbereiche dieses Laufs festschreiben [^1]. Benennt Priyas Kunde die Eingabedatei um, kann so ein Skill den Agenten in die Irre führen. Das Paper hat dafür einen echten Fall: Ein erzeugter Skill für eine Temperaturregelungsaufgabe enthielt eine Kalibrierroutine, die einmal funktioniert hatte, sich in neuen Läufen aber als anfällig erwies, und die Erfolgsquote fiel von 80 auf 20 Prozent [^1]. Deshalb liest Priya jede neue SKILL.md, bevor der Agent damit arbeiten darf, was nur Minuten dauert, weil Skills reiner Text sind.

Passende Produkte

Wir empfehlen dieses Buch, weil es erklärt, wie Agenten auf Basis von Foundation Models planen, Werkzeuge nutzen und sich etwas merken und wie man sie evaluiert, also die Bausteine, die MUSE-Autoskill rund um Skills ordnet.

WerbungAmazon

AI Engineering: Building Applications with Foundation Models

Quellen

  1. [1]arXiv — MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation
  2. [2]arXiv — Voyager: An Open-Ended Embodied Agent with Large Language Models
  3. [3]Hacker News — Muse-Autoskill: Self-Evolving Agents via Skill Creation and Memory