MAS-PromptBench: Prompt-Optimierung hilft Agententeams weniger
Ein Benchmark der Johns Hopkins University testet automatische Prompt-Optimierung an Multi-Agenten-Systemen. Der beste Gewinn lag bei 24 Punkten, im Schnitt half sie Teams aber weniger als einem Einzelmodell.
TL;DR
- MAS-PromptBench misst, wie sehr das automatische Umschreiben von System-Prompts Teams aus LLM-Agenten hilft, über neun Aufgaben, fünf Workflows und vier Frameworks [^1].
- Die Ergebnisse reichten von 24,0 Punkten Gewinn bis 16,0 Punkten Verlust, und der durchschnittliche Gewinn sank mit wachsender Teamgröße [^1].
Hintergrund
Ein Multi-Agenten-System verteilt eine Aufgabe auf mehrere LLM-basierte Agenten. Jeder bekommt einen System-Prompt, der seine Rolle festlegt, und einen Platz in einem Workflow, der bestimmt, wer mit wem spricht und wie Antworten zusammengeführt werden [^1]. Automatische Prompt-Optimierer, die Prompts anhand von Rückmeldungen aus Testläufen umschreiben, haben bei Einzelmodellen deutliche Gewinne gezeigt. Ob sich das auf Teams überträgt, war laut den Autoren unklar, auch weil der Suchraum exponentiell mit der Zahl der Agenten wächst [^1].
Was passiert ist
Juyang Bai und Laixi Shi von der Johns Hopkins University haben MAS-PromptBench am 22. Juni auf arXiv veröffentlicht [^1]. Der Benchmark baut Agententeams in LangGraph, CrewAI, AutoGen und dem OpenAI Agents SDK und lässt sie neun Aufgaben lösen: Reasoning (GPQA-Diamond, HotpotQA, MATH), Programmieren (LiveCodeBench, APPS, SWE-Bench Verified) und Tool-Aufrufe (BFCL, ToolHop, API-Bank) [^1]. Variiert werden der Workflow (Einzelagent, unabhängig, sequenziell, zentral mit Koordinator oder dezentral), das Format der Nachrichten zwischen Agenten (frei, halbstrukturiert oder strukturiert im JSON-Stil), die Teamgröße (2, 4, 8 oder 10 Agenten) und der Optimierer [^1]. Die beiden Optimierer sind Multi-Agenten-Varianten von GEPA und MIPRO, die jeweils den Prompt eines Agenten anhand von Rückmeldungen aus den Läufen des Teams umschreiben [^1]. Alle Agenten liefen auf Qwen3.5-9B mit abgeschaltetem Thinking-Modus, während Qwen3.5-122B-A10B-FP8 die Prompt-Änderungen vorschlug. Ein neuer Prompt-Satz wurde nur übernommen, wenn er das Original auf einem Validierungssatz aus 25 Beispielen schlug [^1].
Die Ergebnisse fielen gemischt aus. Über die Workflows gemittelt verbesserte der GEPA-basierte Optimierer sieben von neun Aufgaben, mit dem größten Durchschnittsgewinn von 10,0 Punkten bei APPS [^1]. Einzelne Konfigurationen gingen weiter: Eine sequenzielle Kette bei BFCL gewann 24,0 Punkte. Unabhängige Agenten bei MATH verloren 16,0 Punkte und fielen von 76,0 auf 60,0 Prozent [^1]. Programmieraufgaben gewannen im Schnitt 3,7 Punkte und Tool-Aufrufe 4,3, Reasoning dagegen nur 1,3 [^1]. In der Workflow-Studie kam kein Multi-Agenten-Workflow im Schnitt auf mehr als 2,3 Punkte, während der Einzelagent 4,2 gewann. Unabhängige Agenten verloren im Schnitt 0,5 Punkte [^1].
Zwei weitere Faktoren fielen auf. Der durchschnittliche Gewinn stieg von 1,6 Punkten bei freien Nachrichten auf 2,4 bei halbstrukturierten und 4,3 bei strukturierten, und der MIPRO-basierte Optimierer zeigte dieselbe Reihenfolge mit 0,1, 4,8 und 6,3 Punkten [^1]. Die Teamgröße wirkte umgekehrt: Der durchschnittliche Gewinn lag bei 2,4 Punkten mit zwei Agenten, 0,6 mit vier, minus 0,9 mit acht und minus 2,1 mit zehn [^1].
Warum es wichtig ist
Die Studie legt nahe, dass sich Gewinne durch Prompt-Optimierung bei einem einzelnen Modell nicht automatisch auf ein Team aus diesem Modell übertragen. Die Autoren vermuten, dass Code und Tool-Aufrufe überprüfbare Ergebnisse und klare Schnittstellen liefern, sodass ein besserer Prompt für einen Agenten die Übergaben übersteht. In Reasoning-Ketten würden lokale Verbesserungen dagegen „verworfen, überschrieben oder verstärkt, bevor sie die endgültige Antwort erreichen“ [^1]. Bei parallelen Agenten könnten „unkoordinierte Prompt-Überarbeitungen“ die Gewinne der anderen wieder zunichtemachen [^1]. Auch die Absicherung im Versuchsaufbau verhinderte Rückschritte nicht: Prompts wurden nur übernommen, wenn sie die Originale auf Validierungsbeispielen schlugen, und trotzdem sanken die Testwerte in mehreren Konfigurationen [^1].
Der Rahmen ist eng. Alle Agenten nutzten ein einziges Modell mit 9 Milliarden Parametern ohne Thinking-Modus, deshalb spiegeln die Werte laut den Autoren „ein kontrolliertes agentisches Protokoll statt der maximal erreichbaren Leistung“ des Modells wider [^1]. Als Einschränkung nennen sie außerdem, dass nur zwei Optimierer getestet wurden, und fordern Optimierer, die Aufgabenstruktur und Teamkonfiguration berücksichtigen [^1].
Ein Beispiel aus der Praxis
Angenommen, Lena verantwortet die Support-Tools bei einer kleinen Softwarefirma. Lenas Team hat ein zentrales System gebaut: Ein Koordinator-Agent verteilt jede Kundenfrage auf Worker-Agenten, die die Dokumentation durchsuchen, und führt ihre Funde zu einer Antwort zusammen. Wie bei HotpotQA brauchen die Fragen oft Fakten von mehreren Seiten [^1].
Zur Verbesserung startet Lena einen Optimierer nach dem Vorbild von GEPA, der den Prompt jedes Agenten nacheinander umschreibt, und übernimmt das Ergebnis, weil es auf einem kleinen Validierungssatz besser abschnitt [^1]. Der Benchmark zeigt, wie das nach hinten losgehen kann. Bei HotpotQA mit zentralem Team hob die Optimierung die Exact-Match-Genauigkeit mit zwei Agenten um 5,0 Punkte, senkte sie aber mit vier Agenten um 9,0 und mit zehn um 12,0 Punkte [^1]. Ein Koordinator verstärke tendenziell sowohl Erfolge als auch Fehler, schreiben die Autoren [^1].
Das Paper legt zwei Änderungen nahe, bevor Lena den neuen Prompts vertraut. Erstens bekommen die Agenten ein festes Nachrichtenformat mit Feldern wie Status, Zusammenfassung, Konfidenz, Belegen und nächstem Schritt. In den Protokolltests des Papers gewann ein zentrales HotpotQA-Team mit strukturierten Nachrichten 10 Punkte, mit freiem Text nur 1 Punkt [^1]. Zweitens bleibt das Team klein, und die optimierten Prompts werden an neuen Fragen getestet, denn ein Sieg auf 25 Validierungsbeispielen garantierte keinen Sieg im Test [^1].
Passende Produkte
Wir empfehlen dieses Buch, weil es Prompt Engineering und Agenten für Anwendungen auf Basis von Foundation Models behandelt, also genau die beiden Themen, die diese Studie zusammenbringt.