inferwire
/
KI·5 Min. Lesezeit

Claw-Eval-Live: Kein Modell schafft 70 Prozent der Workflow-Aufgaben

Ein neuer Agenten-Benchmark baut seine Aufgaben aus beliebten ClawHub-Skills und bewertet, was Agenten tatsächlich getan haben. Das beste von 13 Modellen bestand 66,7 % von 105 Aufgaben.

TL;DR

  • Claw-Eval-Live testet 13 Modelle mit 105 Workflow-Aufgaben aus beliebten ClawHub-Skills und bewertet Audit-Logs und Workspace-Zustand statt nur der Endantwort [^1].
  • Claude Opus 4.6 führte mit 66,7 Prozent; bei Aufgaben mit Business-Diensten kam kein Modell über 59,8 Prozent, Terminal-Reparaturen fielen deutlich leichter [^1].

Hintergrund

KI-Agenten erledigen zunehmend mehrstufige Arbeit über Harnesses wie Codex, Claude Code und OpenClaw, mit denen ein Modell Werkzeuge aufruft, sich in Workspaces bewegt und Dienste abfragt [^1]. Die Autoren sehen bei vielen Agenten-Benchmarks zwei Schwächen: Sie frieren beim Release eine handverlesene Aufgabenmenge ein, sodass sich die Mischung von dem entfernen kann, was Nutzer gerade automatisieren wollen, und sie bewerten vor allem die Endantwort, die nicht zeigt, ob die Arbeit wirklich erledigt wurde [^1].

Was passiert ist

Claw-Eval-Live von Forschenden der Chinese University of Hong Kong, der Peking University, der Xiamen University und weiterer Universitäten geht das erste Problem an, indem jedes Release aus öffentlichen Nachfragesignalen abgeleitet wird [^1]. Das aktuelle Release beginnt mit den 500 beliebtesten Skills auf ClawHub, sortiert nach Downloads und Popularität; das Team gruppiert sie zu Workflow-Mustern und gewichtet diese zu einer Zielmischung von Aufgabenfamilien [^1]. Die Autoren betonen, dass diese Signale weder messen, wie oft ein Workflow genutzt wird, noch was er wert oder wie schwer er ist [^1]. Aus 157 lauffähigen Kandidaten wählte ein Optimierungsschritt 105 Aufgaben, die alle 22 Familien abdecken und Modelle gut unterscheiden; Aufgaben, die alle Pilotmodelle bestanden oder alle verfehlten, wurden aussortiert [^1]. Ein Release bleibt nach der Veröffentlichung fest, vierteljährliche Aktualisierungen sollen die Pipeline neu durchlaufen [^1].

Von den 105 Aufgaben laufen 87 gegen kontrollierte Business-Dienste wie CRM, Finanzen, E-Mail, Kalender, Helpdesk und eine Wissensdatenbank, 18 sind Reparaturen im Terminal oder Workspace [^1]. Jeder Dienst protokolliert jeden Lese- und Schreibzugriff des Agenten [^1]. Die Bewertung beginnt bei diesen Belegen: ob der Agent die richtigen Quellen abgefragt hat, ob Entitäten und Zahlen mit der Ground Truth übereinstimmen und ob nötige Änderungen tatsächlich passiert sind [^1]. Ein an Bewertungsraster gebundener LLM-Judge, GPT-5.4, bewertet nur Aspekte wie Vollständigkeit oder Kohärenz eines Berichts; die Autoren weisen darauf hin, dass GPT-5.4 auch zu den getesteten Modellen gehört, was den Judge verzerren kann [^1]. Workspace-Aufgaben werden komplett per Skript bewertet [^1]. Agenten bekommen standardmäßig 24 Runden und 300 Sekunden, eine Aufgabe gilt ab einem Wert von 0,80 als bestanden, und die Rangfolge richtet sich nach der Bestehensquote, danach nach dem durchschnittlichen Erfüllungsgrad [^1].

Claude Opus 4.6 bestand 70 der 105 Aufgaben (66,7 Prozent), gefolgt von GPT-5.4 mit 63,8 Prozent sowie Claude Sonnet 4.6 und GLM-5 mit je 61,9 Prozent, bis hinunter zu Doubao Seed 2.0 mit 43,8 Prozent [^1]. Der Unterschied nach Umgebung ist deutlich: Jedes Modell bestand mindestens 72,2 Prozent der Workspace-Aufgaben, aber keines mehr als 59,8 Prozent der Aufgaben mit Business-Diensten, wo Opus 4.6 vor GPT-5.4 mit 56,3 Prozent lag [^1]. HR-Aufgaben kamen über alle Modelle im Schnitt auf eine Bestehensquote von 6,8 Prozent, und keine Aufgabe der Management-Familie wurde von irgendeinem Modell bestanden [^1]. Über die ganze Rangliste hinweg bestanden alle Modelle 19 Aufgaben, und 27 bestand keines [^1].

Warum es wichtig ist

Die Ergebnisse zeigen, wo die Lücke liegt. Agenten können einen lokalen Workspace oft schon gut diagnostizieren und reparieren, schreiben die Autoren; der Engpass ist, einen Workflow über mehrere Dienste abzuschließen, „ohne den Zustand zu verlieren, Belege zu übersehen oder nötige Schreibvorgänge auszulassen“ [^1]. Die Bewertung zeigt auch, was Benchmarks übersehen, die nur die Endantwort prüfen: HR-Onboarding-Aufgaben brachten oft geschliffene, aber allgemeine Texte hervor, die durchfielen, weil mitarbeiterspezifische Details fehlten oder nötige Tool-Aufrufe ausblieben [^1].

Auch eine einzelne Ranglistenzahl verdeckt viel. MiMo V2 Pro, Kimi K2.5 und Gemini 3.1 Pro bestanden alle 53,3 Prozent der Aufgaben, unterscheiden sich aber im durchschnittlichen Erfüllungsgrad [^1]. Auch die Kosten gehen auseinander: Die geschätzten API-Kosten für den kompletten Lauf lagen bei 31,61 Dollar für Opus 4.6 gegenüber 6,27 Dollar für GPT-5.4, das die Autoren als effizientestes der Spitzenmodelle bezeichnen, während günstigere Modelle wie DeepSeek V3.2 bei der Bestehensquote weiter hinter der Spitze lagen [^1]. Die Autoren folgern, dass Einsatzentscheidungen die Genauigkeit je Aufgabenfamilie und die Kosten abwägen sollten, nicht eine einzelne Rangliste [^1].

Ein Beispiel aus der Praxis

Angenommen, Tomasz leitet den Betrieb einer mittelgroßen Logistikfirma und will einen Agenten für den Monatsabschluss: Transaktionen aus dem Finanzsystem ziehen, mit Bestellungen abgleichen und eine Zusammenfassung an das Controlling mailen. Die Demo des Anbieters endet mit einem sauberen Bericht, und das Modell dahinter steht weit oben in einer allgemeinen Rangliste.

Claw-Eval-Live legt zwei Prüfungen nahe, bevor Tomasz dem vertraut. Erstens: Der Bericht ist nicht die Arbeit. Im Benchmark schnitt auch eine flüssige Zusammenfassung schlecht ab, wenn der Agent nötige Tool-Aufrufe ausließ oder wichtige Belege übersah, denn der Grader prüft das Audit-Log des Dienstes, nicht den Text [^1]. Tomasz' Variante dieser Prüfung: das Tool-Log des Agenten mit den Finanzdaten vergleichen. Hat er jedes Konto gelesen, und wurde die Mail wirklich verschickt?

Zweitens: Welches Modell passt, hängt von der Aufgabe ab. Beim E-Commerce-Monatsabgleich des Benchmarks erreichte Claude Opus 4.6 einen Wert von 0,94 und Claude Sonnet 4.6 von 0,07; bei einer Aufgabe zur Meeting-Vorbereitung drehte sich die Reihenfolge, mit 0,05 für Opus 4.6 und 0,91 für Sonnet 4.6 [^1]. Also schickt Tomasz einige echte Monatsabschlussfälle durch jedes infrage kommende Modell, statt aus der Gesamttabelle zu wählen. Kommt später HR-Onboarding dazu, ist der Benchmark eine Warnung: Kein Modell bestand mehr als 22,2 Prozent der Aufgaben aus dem Bereich HR und Personal [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es zeigt, wie man Anwendungen auf Basis von Foundation Models baut und evaluiert, einschließlich Agenten, die Werkzeuge aufrufen, also die Art von System, die Claw-Eval-Live bewertet.

WerbungAmazon

AI Engineering: Building Applications with Foundation Models

Quellen

  1. [1]arXiv — Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows