OpenThoughts-Agent: Ein offenes Rezept für Trainingsdaten für Agenten
Ein großes Forschungsteam hat in mehr als 100 Experimenten getestet, wie man Fine-Tuning-Daten für KI-Agenten baut, und fand: Das beste Modell ist nicht der beste Lehrer.
TL;DR
- Das Team hinter OpenThoughts-Agent hat mehr als 100 kontrollierte Experimente zum Bau von Trainingsdaten für KI-Agenten durchgeführt und Daten, Pipeline und Modelle veröffentlicht [^1].
- Mit seinen 100K Traces feinabgestimmt, erreicht Qwen3-32B im Schnitt 44,8 Prozent auf sieben Agenten-Benchmarks, 3,9 Punkte mehr als das bisher stärkste Modell mit offenen Daten [^1].
Hintergrund
KI-Agenten wie Claude Code und Codex arbeiten Aufgaben am Computer ab, führen Befehle aus und lesen die Ergebnisse [^1]. Offene Modelle lernen das oft aus Traces: Aufzeichnungen, wie ein Lehrermodell Aufgaben Schritt für Schritt löst, die als Beispiele für überwachtes Fine-Tuning dienen. Welche Aufgaben und Traces gute Trainingsdaten ergeben, ist meist unveröffentlicht. Das Paper zu DeepSeek-V4 umfasst mehr als 50 Seiten, beschreibt die Trainingsdaten aber in zwei Absätzen, wie die Autoren anmerken [^1].
Was passiert ist
Das Paper, das ein großes Team von UC Berkeley, Stanford, LAION und weiteren Einrichtungen am 23. Juni auf arXiv gestellt hat, setzt bei einer Lücke an: Offene Agenten-Datensätze wie SWE-Smith, SERA und Nemotron-Terminal zielen meist auf einen einzigen Benchmark, etwa SWE-Bench oder Terminal-Bench [^1]. OpenThoughts-Agent will Daten liefern, die ein Modell bei vielen Agenten-Aufgaben verbessern. Das Team teilte seine Pipeline in sechs Stufen, von der Beschaffung der Aufgabenbeschreibungen bis zum Filtern der fertigen Traces, und testete jede Stufe einzeln: 10.000 Traces pro Strategie erzeugen, Qwen3-8B darauf feinabstimmen und das Ergebnis auf drei Benchmarks bewerten [^1]. Jedes dieser Fine-Tunings kostete 160 GPU-Stunden auf GH200. Benchmarks wie Aider Polyglot, GAIA und MedAgentBench blieben zurückgehalten, bis die Pipeline feststand, um die Generalisierung zu messen [^1].
Am wichtigsten war die Wahl der Aufgaben. Über 95 Strategien zur Aufgabenerzeugung hinweg betrug der Abstand bis zu 30 Prozentpunkte auf einer 100 Aufgaben umfassenden Teilmenge von SWE-Bench Verified und 10 Punkte auf Terminal-Bench 2.0 [^1]. Eine Mischung der besten 4 bis 8 Quellen schlug die beste Einzelquelle, denn Coding-Datensätze wie SWE-Smith heben vor allem SWE-Bench, während von Menschen geschriebene Fragen aus StackExchange SuperUser Terminal-Bench heben [^1]. Das stärkste Modell war nicht der beste Lehrer: Traces von GPT-5.3-Codex führten zu einer um rund 5 Prozent schlechteren Leistung auf Terminal-Bench 2.0 als Traces von GLM-4.7-AWQ [^1]. Unter den Trace-Filtern brachte das Aussortieren von Traces mit weniger als 5 Schritten den größten Gewinn, und der Effekt blieb bei gleichem Token-Budget bestehen [^1]. Aufgabenbeschreibungen per LLM umzuschreiben, zu kombinieren oder zu verschärfen, schlug in diesem Maßstab nicht den unveränderten Ausgangszustand [^1].
Beim Hochskalieren zeigte sich ein anderer Engpass. Mehr Traces für dieselben Aufgaben zu erzeugen, stagnierte zwischen 31,6K und 100K Beispielen, was das Team als Mangel an unterschiedlichen Aufgabenbeschreibungen deutet; eine der besten Quellen, von Menschen geschriebene Kryptowährungsfragen aus StackExchange Tezos, umfasst nur 997 [^1]. Weitere Quellen über die besten 4 hinaus halfen nicht verlässlich, und 16 Quellen schadeten auf jedem Benchmark. Was funktionierte: die 997 Tezos-Aufgaben in über 21K unterschiedliche Formulierungen umzuschreiben, ohne neue Probleme hinzuzufügen [^1]. Der finale Datensatz, OpenThoughts-Agent-v2, umfasst 100K Traces. Damit feinabgestimmt, erreicht Qwen3-32B im Schnitt 44,8 Prozent auf sieben Agenten-Benchmarks, gegenüber 40,9 Prozent für Nemotron-Terminal-32B. Auf SWE-Bench Verified und Terminal-Bench 2.0 kommt es auf 54,0 und 26,2 Prozent, gegenüber 41,9 und 25,1 Prozent [^1].
Warum es wichtig ist
Der Hauptwert des Papers liegt darin, dass es offen ist. Es veröffentlicht die Trainingsdatensätze, die Pipeline, die Versuchsdaten und die Modelle, sodass andere Gruppen jedes Experiment wiederholen oder erweitern können, statt Entscheidungen zu erraten, die Modell-Papers auslassen [^1]. Einige Befunde widersprechen der Intuition: Das bestbewertete Modell war der schlechtere Lehrer, und immer mehr Traces halfen nicht mehr, sobald die Aufgaben nicht mehr vielfältig waren [^1].
Das Team probierte auch Reinforcement Learning aus, allerdings nur im 8B-Maßstab. Nach dem Fine-Tuning mit den eigenen Daten brachte RL auf pymethods2test, Programmierwettbewerbsaufgaben, die als einzelne Python-Funktionen mit Tests umformuliert sind, ein Qwen3-8B-Modell im Schnitt 18 Punkte über sein Basismodell und vor die stärksten bisherigen Modelle mit bis zu 8B [^1]. Die Grenzen nennen die Autoren selbst: RL wurde nicht mit 32B getestet, alle Läufe starteten von der Qwen3-Familie, und mehr als 100K Traces wurden nicht ausprobiert [^1]. Außerdem bezeichnen sie Agenten-Modelle als Dual-Use-Technik und empfehlen, sie mit Sandboxing und menschlicher Aufsicht zu betreiben [^1].
Ein Beispiel aus der Praxis
Angenommen, Priya leitet ein kleines Machine-Learning-Team bei einem Datenbank-Hoster und möchte einen hauseigenen Agenten für Shell- und Repository-Routinearbeiten. Priyas erster Plan ist einfach: das Modell mit dem höchsten Terminal-Bench-Wert als Lehrer nehmen, es beim Abarbeiten von Tickets aus dem eigenen Issue-Tracker aufzeichnen und ein offenes Modell auf allen Traces feinabstimmen.
Das Paper legt drei Änderungen nahe. Erstens: vor der Festlegung mehr als einen Lehrer an einem kleinen Datensatz testen. In der Studie war GPT-5.3-Codex das leistungsstärkste Modell, lieferte aber schwächere Trainingsdaten als GLM-4.7-AWQ [^1]. Zweitens: kurze Traces aussortieren. Traces mit weniger als 5 Schritten zu entfernen, war der stärkste Trace-Filter, den das Team fand [^1]. Drittens: sich nicht auf eine Art von Aufgabe verlassen. Coding-Datensätze wie SWE-Smith hoben vor allem SWE-Bench, von Menschen geschriebene SuperUser-Fragen hoben Terminal-Bench, und eine Mischung der besten Quellen schnitt insgesamt am besten ab [^1].
Wenn Priyas Tickets ausgehen, liegt es nahe, für dieselben Tickets immer mehr Traces aufzuzeichnen, und die Zahlen des Papers sagen, dass das stagniert: Dieser Ansatz trat zwischen 31,6K und 100K Beispielen auf der Stelle, während das Umschreiben vorhandener Aufgaben in neue Varianten die Ergebnisse weiter verbesserte [^1]. Ein Vorbehalt gehört zum Rezept: Alle Läufe starteten von einem Qwen3-Modell, und das Paper testet nicht, wie viel das Basismodell beiträgt [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Schritt für Schritt zeigt, wie man ein Sprachmodell vortrainiert und dann mit Instruktionsdaten feinabstimmt, also genau den Schritt des überwachten Fine-Tunings, für den dieser Datensatz gebaut ist.