inferwire
/
KI·4 Min. Lesezeit

OmegaUse-OfficeVal: Office-Agenten sind billig, aber schwächer

Baidu-Forschende haben 100 lange Büroaufgaben mit Arbeitszeit und Preis versehen. Das beste Modell kam auf 17,91 Punkte, Menschen auf 27,79, bei einem Bruchteil der Kosten.

TL;DR

  • Baidus OmegaUse-OfficeVal verknüpft 100 lange Büroaufgaben mit gemessener menschlicher Arbeitszeit und einem geschätzten Preis, damit sich Agenten mit Arbeitskräften vergleichen lassen [^1].
  • Das beste Modell, GLM-5.2, erreichte 17,91 gegenüber 27,79 für Menschen, und jedes getestete Modell war billiger und schneller, lieferte aber schwächere Dateien [^1].

Hintergrund

Office-Agenten sind LLM-Systeme, die für Nutzer an Dokumenten, Tabellen, Präsentationen und PDFs arbeiten. Laut den Autoren testen bestehende Office-Benchmarks meist kurze, eng begrenzte Operationen oder synthetische Abläufe, während breitere Produktivitäts-Benchmarks wie GDPVal und der Remote Labor Index den wirtschaftlichen Wert an Berufsgruppen statt an einzelne Aufgaben knüpfen [^1]. Die Frage der Autoren: Kann ein Agent für eine lange Büroaufgabe eine brauchbare Datei liefern, und wie viel menschliche Arbeit steckt in dieser Datei [^1]?

Was passiert ist

Der Benchmark stammt vom Agent Frontier Team bei Baidu und umfasst 100 Aufgaben, die auf echten Büroanfragen aus der Praxis beruhen [^1]. Das Team begann mit 1.715 Vorschlägen, siebte sie auf 595 und dann auf 282 Kandidaten und wählte daraus die finalen 100. Die Anweisungen wurden umgeschrieben, um identifizierende Details zu entfernen [^1]. Zu den Aufgaben gehören 220 Eingabedateien, darunter Bilder, Videos, Word-Dokumente, Foliensätze, Tabellen und PDFs, und verlangt werden fertige Ausgabedateien [^1]. Menschliche Annotierende erledigten jede Aufgabe ohne KI-Hilfe. Im Schnitt brauchte eine Aufgabe 2,32 Stunden Arbeitszeit, im Median 2,03 Stunden, die längste 8,35 Stunden [^1]. Jede Aufgabe hat außerdem einen Preis-Proxy: Bei etwa 20 Prozent der Aufgaben stammt er aus Preisen, die Fachleute für das Auslagern ähnlicher Arbeit bezahlt hatten, beim Rest aus Schätzungen dreier Experten. Der Mittelwert liegt bei 6,86 Dollar [^1].

Bewertet wird per Code statt durch menschliche Prüfer oder ein LLM als Richter, was laut den Autoren die Ergebnisse vergleichbar hält, auch wenn sich Richter-Modelle ändern [^1]. Eine Datei, die eine Brauchbarkeitsprüfung nicht besteht, etwa weil sie sich nicht öffnen oder bearbeiten lässt, bekommt null Punkte. Sonst gibt es laut Rubrik Punkte für erfüllte Anforderungen und Abzüge für ungewollte Schäden, die man anschließend reparieren müsste [^1]. Der Benchmark umfasst 219 Brauchbarkeitsprüfungen und 2.009 Punkte zur Aufgabenerfüllung [^1]. Alle Modelle liefen im selben hauseigenen Gerüst mit Shell-, Datei- und Skript-Werkzeugen, aber ohne GUI-Steuerung, mit einem Zeitlimit von 14.400 Sekunden pro Aufgabe [^1].

GLM-5.2 führte die Modelle mit 17,91 an, gefolgt von Qwen3.7-Plus mit 17,51, Kimi K2.6 mit 17,00, DeepSeek-V4-Pro mit 14,48 und MiniMax M3 mit 13,82 [^1]. Die menschliche Vergleichsgruppe, gebildet aus der besten Einreichung der Annotierenden pro Aufgabe, erreichte 27,79 [^1]. Qwen3.7-Plus kam im Schnitt auf 0,2152 Dollar Token-Kosten und 0,193 Stunden pro Aufgabe, GLM-5.2 auf 1,4823 Dollar und 0,521 Stunden. Für Menschen nennt das Paper den Preis-Proxy von 6,8560 Dollar und 2,324 Stunden [^1].

Warum es wichtig ist

Die wirtschaftlichen Kennzeichnungen verschieben die Rangfolge. Gewichtet nach menschlicher Arbeitszeit oder nach Preis lag unter den Modellen Qwen3.7-Plus vorn, nicht GLM-5.2, was die Autoren als relativ bessere Ergebnisse bei den längeren oder teureren Aufgaben deuten [^1]. Der Schluss der Autoren: Das Modell mit dem besten Durchschnitt ist nicht unbedingt das, das die wirtschaftlich wichtigste Arbeit bewältigt [^1]. Außerdem sanken die Werte mit steigender Arbeitszeit, bei Menschen wie bei Modellen, bei den Modellen aber stärker. Die Autoren sehen darin ein Zeichen, dass Agenten Mühe haben, über lange Abläufe den Stand der Aufgabe und die Qualität zu halten [^1].

Billige Ergebnisse sind nur etwas wert, wenn sie brauchbar sind. Menschen erzielten bei 29 Prozent der Aufgaben null Punkte; Qwen3.7-Plus hatte mit 38 Prozent die niedrigste Null-Quote unter den Modellen, DeepSeek-V4-Pro und MiniMax M3 kamen auf 50 und 51 Prozent [^1]. Der Kostenvergleich hat zudem Grenzen, die das Paper selbst nennt: Bei Menschen zählt der Preis-Proxy, bei Modellen die Token-Rechnung, und die Laufzeit hängt vom Gerüst, der Umgebung und der API-Latenz ab, weshalb die Autoren sie als Richtwert statt als exakte Zahl behandeln [^1]. Getestet wurde nur programmatische Dateiarbeit, keine Agenten, die Office-Programme über den Bildschirm bedienen [^1]. Der vollständige Benchmark mit Aufgaben, Rubriken, Prüfcode und wirtschaftlichen Kennzeichnungen ist veröffentlicht [^1].

Ein Beispiel aus der Praxis

Angenommen, du leitest ein kleines Team und willst einen Agenten den monatlichen Bericht als Foliensatz aus einer Tabelle und ein paar Word-Notizen bauen lassen. Dieser Benchmark legt nahe, zwei Zahlen abzuwägen. Die Token-Rechnung ist wohl klein im Vergleich zum Preis des Auftrags: Im Paper kostete Qwen3.7-Plus im Schnitt 0,2152 Dollar pro Aufgabe, während der Preis-Proxy der Aufgaben im Schnitt bei 6,86 Dollar lag [^1]. Doch selbst dieses Modell lieferte bei 38 Prozent der Aufgaben ein Ergebnis mit null Punkten ab [^1]. Bevor der Foliensatz rausgeht, prüfst du also, was auch die Prüfer des Benchmarks prüfen: ob sich die Datei öffnen und bearbeiten lässt, ob sie jede deiner Anforderungen erfüllt und ob etwas geändert wurde, worum du nicht gebeten hast [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es zeigt, wie Unternehmen Arbeit neu organisieren, wenn Menschen und KI-Systeme sich Aufgaben teilen, genau die Abwägung, die dieser Benchmark mit Zahlen unterlegt.

WerbungAmazon

Human + Machine: Reimagining Work in the Age of AI

Quellen

  1. [1]arXiv — OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding