iOSWorld: Bester Handy-Agent löst 52 % der persönlichen Aufgaben
Ein neuer Benchmark füllt 26 eigens gebaute iOS-Apps mit den Daten einer fiktiven Person. Der beste Agent löste 52 Prozent von 133 Aufgaben, über mehrere Apps hinweg nur 37 Prozent.
TL;DR
- iOSWorld prüft Handy-Agenten mit 133 Aufgaben in 26 eigens gebauten iOS-Apps, die alle Nachrichten, Einkäufe, Reisen und Finanzen derselben fiktiven Person teilen [^1].
- Das beste Setup, Claude Opus 4.6 mit Zugriff auf den Oberflächenbaum der App, löste insgesamt 52 Prozent, bei Aufgaben über mehrere Apps aber nur 37 Prozent [^1].
Hintergrund
Handy-Agenten sind KI-Modelle, die ein Smartphone bedienen wie ein Mensch: Sie lesen den Bildschirm, tippen, schreiben und wischen. Bestehende interaktive Benchmarks für sie zielen laut den Forschenden auf Android, das Web oder Desktops, und keiner füllt die Apps mit den Daten einer dauerhaften Nutzerin oder eines Nutzers [^1]. Damit fehlt, was einen Assistenten nützlich macht: die Kontakte, Gewohnheiten und Vorgeschichte der Person zu kennen, der das Gerät gehört. Für iOS mit mehr als 2,5 Milliarden aktiven Geräten gab es keinen solchen nativen Benchmark [^1].
Was passiert ist
Ein Team der Carnegie Mellon University, darunter Lawrence Keunho Jang und Ruslan Salakhutdinov, hat 26 native iOS-Apps gebaut und mit zusammenhängenden Daten einer fiktiven Persona gefüllt: Jordan Avery, berufstätig in San Francisco [^1]. Die Daten passen appübergreifend zusammen: Eine Chipotle-Bestellung in der Essens-App QuickBite erzeugt eine Abbuchung in MyBank und eine Quittung in Mail, und ein Flug von SFO nach JFK in SkyTrip passt zu einer Hotelbuchung in StayFinder [^1]. Alles ist synthetisch, echte Nutzerdaten wurden nicht verwendet [^1]. Die 133 Aufgaben teilen sich in drei Gruppen: 27 Aufgaben in einer App, 60 Aufgaben über zwei bis acht Apps und 46 Gedächtnis- und Personalisierungsaufgaben, bei denen der Agent Muster finden muss, die niemand ausspricht, etwa „Was ist meine häufigste Pendelstrecke?“ [^1].
Getestet wurden fünf führende Computer-Use-Modelle, Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, GPT-5.4 Mini und Gemini 3 Flash, dazu das offene Modell Qwen3.5 35B-A3B [^1]. Jedes lief in zwei Modi: nur mit Bild, also einem Screenshot pro Schritt, und mit Bild plus XML, das zusätzlich den Accessibility-Baum liefert, eine strukturierte Liste der Bildschirmelemente. Unter iOS kommen die reichhaltigsten solchen Daten, die externe Werkzeuge bekommen, über Apples XCUITest-Framework, das einen Mac mit Xcode voraussetzt [^1]. Das Team wertet diesen zweiten Modus als privilegierten Zugriff; ein ausgelieferter Agent ohne ihn sieht nur den Bildschirm [^1]. Jeder Lauf hatte ein Limit von 50 Schritten, und GPT-5.4 Mini bewertete jeden als bestanden oder nicht bestanden. Bei 128 Läufen stimmten seine Urteile in 89 Prozent der Fälle mit denen menschlicher Annotierender überein [^1].
Mit Bild plus XML erreichte Opus 4.6 insgesamt 51,9 Prozent, vor Sonnet 4.6 mit 46,6 und GPT-5.4 mit 39,8 [^1]. Sonnet löste 92,6 Prozent der Aufgaben in einer App, doch der beste Wert über mehrere Apps lag bei 36,7 Prozent und der beste bei Gedächtnisaufgaben bei 54,3 Prozent, beide von Opus [^1]. Nur mit Bild lagen die führenden Modelle zwischen 20 und 29 Prozent [^1]. Kleineren Modellen halfen die zusätzlichen Oberflächendaten nicht: GPT-5.4 Mini fiel von 26,3 auf 15,8 Prozent, Qwen3.5 von 12,8 auf 10,5 [^1].
Warum es wichtig ist
Die Zahlen zeigen, wo Handy-Agenten scheitern. Von den 422 gescheiterten Läufen der führenden Modelle mit Bild plus XML verbrauchten 51 Prozent alle 50 Schritte, 26 Prozent gaben auf und 23 Prozent hörten zu früh auf [^1]. Ein Großteil des Abstands zwischen den beiden Modi geht auf gewöhnliche iOS-Hürden zurück: Auf vollen Bildschirmen lassen sich Tippkoordinaten schwer schätzen, iOS hat keine universelle Zurück-Taste, und der Wechsel zwischen Apps über den Home-Bildschirm kann einen Agenten aus der Bahn werfen [^1]. Von den 26 Opus-Aufgaben, die nur mit Bild scheiterten, mit XML aber gelangen, enthielten etwa 70 Prozent einen Fehler am Home-Bildschirm oder beim App-Wechsel, den die Aktion launch_app beseitigt [^1].
Wer einen solchen Assistenten baut, sollte wissen: Den richtigen Knopf zu treffen, ist der leichte Teil. Laut den Forschenden braucht es bessere Auswege aus Schleifen, eine bessere Zuordnung von Aktionen und Bildinhalten sowie eine Planung, die die Vorgeschichte der Person berücksichtigt [^1]. Mehr Information auf dem Bildschirm ist nicht automatisch besser: Bei GPT-5.4 Mini passt der Einbruch laut dem Team dazu, dass rund 3.100 zusätzliche Token pro Schritt sein effektives Kontextbudget übersteigen [^1]. Apps, Seed-Daten, Aufgaben und Auswertungscode sind Open Source, dazu kommt ein Runner für Mac-Instanzen bei AWS, damit auch Forschende ohne Mac den Benchmark nutzen können [^1].
Ein Beispiel aus der Praxis
Angenommen, Dana baut für ein Budget-Start-up einen Handy-Assistenten und will, dass er eine Frage beantwortet: Hat mir der Lieferdienst den richtigen Betrag berechnet? Auf einem Testhandy heißt das: die Bestellung in der Liefer-App finden, sie mit der Kartenabbuchung in der Banking-App abgleichen, die Quittungs-Mail suchen und jede Abweichung notieren. Genau so eine Aufgabe gibt es in iOSWorld, rund um eine Chipotle-Bestellung [^1].
Danas Prototyp sieht nur Screenshots. Er findet die Bestellung, muss aber auf einem vollen Bildschirm schätzen, wohin er tippt, und ohne universelle Zurück-Taste kann er sich auf dem Weg zum Home-Bildschirm verirren, wenn er die App wechseln will [^1]. Nach 50 Schritten ist das Budget aufgebraucht, die häufigste Art, wie führende Agenten im Benchmark scheiterten [^1]. In einem Beispiel aus dem Paper kam Opus 4.6 nur mit Bild in einer Essens-App bis zur Kasse, verbrauchte dann das restliche Budget an einem kleinen Bedienelement zur Zahlungsbestätigung und öffnete nie die Chat-App, die die Aufgabe ebenfalls verlangte [^1].
Accessibility-Baum und die Aktion launch_app helfen den stärkeren Modellen: Opus 4.6 stieg insgesamt von 26,3 auf 51,9 Prozent [^1]. Doch diesen Baum liefern Apples Testwerkzeuge auf einem Mac, und ein ausgelieferter Agent ohne ihn sieht nur den Bildschirm [^1]. Und wenn Dana zum Sparen ein kleineres Modell einsetzt, können die zusätzlichen Daten sogar schaden: GPT-5.4 Mini fiel damit auf 15,8 Prozent [^1].