Endgültige Ranglisten verbergen die Geschichte, auf die es ankommt
Ein Paper rekonstruiert die öffentliche Geschichte von LiveBench, Open LLM Leaderboard v2 und LMArena, zeigt, dass eine Endtabelle zu sehr verschiedenen Verläufen passt, und verwirft das eigene Modell.
TL;DR
- Yanan Long hat die öffentliche Geschichte von LiveBench und Open LLM Leaderboard v2 aus 94 und 262 Snapshots rekonstruiert und argumentiert, dass Endranglisten Belege verwerfen [^1].
- Das eigene selektionsbewusste Statistikmodell des Papers fiel durch alle vier vorab festgelegten Tests; laut Autor zeigt das, dass das Audit unbelegte Behauptungen zurückweisen kann [^1].
Hintergrund
KI-Ranglisten wie LiveBench, das Open LLM Leaderboard und LMArena veröffentlichen Rankings, die sich ändern, wenn Systeme hinzukommen und Benchmarks überarbeitet werden [^1]. Die meisten sehen nur die aktuelle Tabelle. Das Paper argumentiert, dass jede Tabelle selektiv ist: Sie zeigt eine Auswahl der Bestplatzierten und verbirgt Systeme, die getestet, nicht veröffentlicht, überarbeitet oder unter einer Schwelle geblieben sind [^1]. Eine Endrangliste sei daher „ein verlustbehafteter Endpunkt einer wiederholten öffentlichen Geschichte, nicht die Geschichte selbst“ [^1].
Was passiert ist
Das Paper, am 15. Juni von Yanan Long von StickFlux Labs auf arXiv veröffentlicht, baut ein Archiv aus wiederholten öffentlichen Snapshots auf [^1]. Jeder Eintrag speichert Quelle, Zeitstempel, Werte, Richtung der Bewertung, den Umgang mit Rängen und Duplikaten und was fehlt. Quellen, die diese Prüfungen nicht bestehen, werden ausgeschlossen, statt unbemerkt in die Analyse einzufließen [^1]. LiveBench (94 Snapshots, 195 Systeme) und Open LLM Leaderboard v2 (262 Snapshots, 4.484 Systeme) sind die Hauptarchive. LMArena (152 Snapshots, 365 Systeme) dient als Stresstest für Präferenzbewertungen, GAIA und tau-bench als begrenzte Pilotversuche für Agenten-Benchmarks [^1]. LiveCodeBench, HELM Capabilities und SWE-bench Verified blieben außen vor, weil ihrer öffentlichen Geschichte die versionierten Quelltabellen fehlten, die die Methode braucht [^1].
Das zentrale Ergebnis ist ein konstruiertes Beispiel. Bei 1.000 Systemen und einer Top-10-Tabelle erzeugen zwei verschiedene Verläufe exakt dieselbe Endtabelle, bedeuten aber, dass die Spitze der Werte im einen Fall zum Zeitpunkt 23,03 und im anderen erst bei 75,13 bis auf 0,05 an die Obergrenze heranreichen, auf einer Skala, auf der der letzte Snapshot beim Zeitpunkt 10 liegt [^1]. Der Autor betont, dass dies ein zulässiges Beispiel ist, kein allgemeines Ergebnis [^1]. In synthetischen Tests einer Entscheidungsebene mit fünf möglichen Aktionen, von „continue“ bis „collect“ für das Sammeln weiterer Daten, stimmte die Aktion auf Basis der vollen Geschichte mit der Aktion auf Basis des letzten Snapshots in drei Szenarien zu Raten von 0,82, 0,76 und 0,94 überein [^1].
Danach prüft der Autor ein Kandidatenmodell, das die Veröffentlichungsschwelle berücksichtigt, statt veröffentlichte Spitzenreiter wie gewöhnliche Ergebnisse zu behandeln. Die Bestehensregeln standen fest, bevor die Ergebnisse betrachtet wurden [^1]. Es fiel durch jede Prüfung. Den Test mit bekannter Wahrheit bestand es in 0 von 3 synthetischen Szenarien, vermied aber in einer Kontrolle mit langsamem Fortschritt korrekt ein falsches Plateau [^1]. Auf LiveBench und Open LLM Leaderboard v2 sagte es spätere Snapshots schlechter voraus als beide vorgeschriebenen Vergleichsmodelle und schlug nur eine Heuristik auf Basis des laufenden Maximums, auf LMArena lag es bei jeder Metrik knapp hinter der üblichen Bradley-Terry/Elo-Bewertung, und seine Unsicherheitsangaben waren schlecht kalibriert [^1].
Warum es wichtig ist
Die praktische Lehre betrifft Aussagen über Sättigung. Wenn eine Endtabelle zu Verläufen mit ganz unterschiedlichem Timing passt, braucht die Behauptung, ein Benchmark stehe kurz vor dem Plateau, die früheren Snapshots samt Benchmark-Versionen und Sichtbarkeitsregeln [^1]. Das Paper stellt das neben frühere Arbeiten, die es zitiert: Danach kann der Ranglistenplatz vom Nutzen für Anwender abweichen, und kleine Unterschiede in Benchmarks sind oft statistisch fragil [^1]. Bei Agenten-Benchmarks ist die Lücke noch größer: Die Pilotversuche mit GAIA und tau-bench zeigten dünne Metadaten zu Scaffold und Tools, und laut Paper brauchen solche Archive außerdem Tool-Budget, Umgebungsversion, Wiederholungsregeln, Version des Bewertungsmodells und Regeln für menschliche Eingriffe [^1].
Was das Paper nicht liefert, ist ein funktionierendes Prognosemodell. Seine positiven Ergebnisse betreffen das Archiv und das Prüfverfahren. Die Verlustfunktionen der Entscheidungsebene sind stilisiert statt erhoben, eine Robustheitsprüfung für Prior und Verlust fehlt, und die Kalibrierungstests stützen sich auf nur 20 und 11 Ränge [^1]. Auch das Timing-Beispiel hängt von Konventionen ab, die der Autor gewählt hat, etwa einer Obergrenze von 1 und einer Schwelle von 0,05 [^1].
Ein Beispiel aus der Praxis
Angenommen, Tomasz leitet ein kleines Team, das offene Modelle für einen internen Coding-Assistenten auswählt, und muss entscheiden, welche Benchmarks in der Evaluationssuite des Teams bleiben. Tomasz öffnet die aktuelle Tabelle des Open LLM Leaderboard v2, sieht die Spitzenwerte dicht beieinander und schließt daraus, dass der Benchmark fast ausgereizt ist.
Das Paper zeigt, warum dieser Schluss wackelt. Eine Endtabelle legt nur den letzten Snapshot fest: Im Beispiel des Autors passt dieselbe Tabelle zu einem Verlauf, in dem sich die Lücke zum Zeitpunkt 23,03 schließt, und zu einem, in dem es bis 75,13 dauert [^1]. Um Sättigung zu beurteilen, braucht Tomasz die früheren Snapshots, die jeweils verwendete Benchmark-Version und die Regel, welche Systeme gezeigt wurden, also genau die Metadaten, die das Archiv des Papers festhält [^1].
Ein raffinierteres Statistikmodell ist auch keine Abkürzung. Das selektionsbewusste Modell des Papers sagte spätere Snapshots auf beiden Hauptarchiven schlechter voraus als seine Vergleichsmodelle [^1]. Bevor Tomasz also einem Werkzeug vertraut, das Benchmark-Fortschritt vorhersagt, testet das Team es so wie das Paper: an den Snapshots bis zu einem Stichtag anpassen, den nächsten vorhersagen und mit einem einfachen Vergleichsmodell abgleichen [^1]. Verfolgt das Team auch Agenten-Ranglisten, prüft Tomasz zuerst, ob jeder Eintrag Scaffold und Tools festhält, denn genau diese Metadaten fand das Paper bei GAIA dünn [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es bayessches Denken erklärt und zeigt, warum so viele Prognosen scheitern, also genau die beiden Themen, die dieses Paper auf KI-Ranglisten anwendet.