inferwire
/
Cybersicherheit·4 Min. Lesezeit

Red-Team-Agent PIMiner nutzt Prompt-Injection-Strategien erneut

Forschende der Penn State bauten einen Agenten, der Prompt-Injection-Strategien in einer Bibliothek sammelt und auf neue Modelle überträgt, mit 76,2 Prozent Erfolg bei IPIArena gegen Gemini 2.5 Pro.

TL;DR

  • PIMiner von der Penn State speichert Prompt-Injection-Strategien in einer Bibliothek und setzt sie mit bis zu 10 Versuchen gegen Modelle ein, an denen es nie trainiert wurde [^1].
  • Bei IPIArena war es gegen Gemini 2.5 Pro in 76,2 Prozent der Aufgaben erfolgreich, Claude Opus 4.5 hielt es auf 4,8 Prozent [^1].

Hintergrund

Bei einer Prompt Injection versteckt jemand Anweisungen in Inhalten, die ein KI-Agent liest, etwa einer Webseite, einem Dokument oder der Ausgabe eines Tools, um das Verhalten des Agenten zu ändern [^1]. Red-Teaming heißt, das eigene System anzugreifen, um solche Schwächen zuerst zu finden. Automatisiertes Red-Teaming ging bisher zwei Wege: ein Angreifermodell per Reinforcement Learning trainieren, was viele Anfragen kostet und sich schlecht auf neue Ziele überträgt, oder pro Aufgabe nach einem funktionierenden Angriff suchen, was jedes Mal bei null beginnt und seltener gelingt [^1].

Was passiert ist

Yanting Wang, Chenlong Yin, Runpeng Geng und Jinyuan Jia von der Pennsylvania State University stellten das Paper zu PIMiner am 5. August auf arXiv [^1]. Das System macht aus der Angriffshistorie eine Strategiebibliothek: Markdown-Dateien, die jeweils festhalten, wo eine Strategie greift, eine Injection-Vorlage, erfolgreiche Beispiele und bekannte Fehlschlagbedingungen. Zu Beginn enthält die Bibliothek nur eine Vorlage. Für jede Aufgabe wählt ein Router die drei passendsten Strategien, ein Angreifer verfeinert die Injection über bis zu 10 Runden anhand von Notizen zu Fehlschlägen, und ein Digester aktualisiert danach die Bibliothek, sodass auch gescheiterte Angriffe sie verbessern [^1].

Trainiert wurde die Bibliothek auf acht Kombinationen aus zwei Benchmarks, AgentDojo und IPIArena, mit GPT-5-nano, GPT-5, Claude Haiku 4.5 und Claude Sonnet 4.5 als Zielen; PIMiner selbst lief mit Claude Opus 4.7 [^1]. Getestet gegen neun Modelle, war es bei IPIArena innerhalb von 10 Versuchen gegen Gemini 2.5 Pro in 76,2 Prozent der Fälle erfolgreich, gegen GPT-5.1 in 61,9 Prozent und gegen Claude Sonnet 4.5 in 42,9 Prozent. Bei AgentDojo lagen die Werte bei 86,7, 53,3 und 40,0 Prozent [^1]. Am anfälligsten war bei AgentDojo DeepSeek-V4-Pro mit 93,3 Prozent, am robustesten Claude Opus 4.5 mit 4,8 Prozent bei IPIArena und 3,3 Prozent bei AgentDojo [^1]. Beim ersten Versuch gegen Sonnet 4.5 gelang PIMiner der Angriff in 28,6 Prozent der Fälle; menschliche Angreifer kamen in der Studie von IPIArena im Schnitt auf 1,0 Prozent [^1].

Im Vergleich mit Reinforcement-Learning-Methoden zog PIMiner auf dem Benchmark InjecAgent mit RL-Hammer und PISmith gleich, mit einer Erfolgsrate von 1,0 bei allen drei Zielen [^1]. Bei AgentDojo schlug es PISmith auf GPT-5-nano (0,53 gegenüber 0,38), lag auf GPT-4o-mini knapp dahinter (0,73 gegenüber 0,78) und fiel auf GPT-4.1-nano zurück (0,63 gegenüber 0,81). PISmith trainiert allerdings für jedes Zielmodell einen eigenen Angreifer [^1]. Wenn ein Claude-Code-Abo die Agenten abdeckt, beziffern die Autoren die zusätzlichen API-Kosten des Trainings auf etwa 20 Dollar; Reinforcement-Learning-Methoden brauchen oft rund 10.000 Anfragen an das Ziel, was bei einem Modell wie GPT-5 mehr als 100 Dollar kosten kann [^1].

Warum es wichtig ist

Die Autoren sehen zwei Einsatzzwecke: prüfen, wie angreifbar ein Agent vor dem Einsatz ist, und erfolgreiche Angriffe als Trainingsdaten für Abwehrsysteme wie Guardrail-Modelle sammeln [^1]. Ein günstiger Angreifer, der sich auf neue Modelle übertragen lässt, macht es leichter, diese Prüfung bei jedem Modellwechsel zu wiederholen. Die Bibliothek ist außerdem lesbar. Zwei Strategien machen etwa 80 Prozent ihrer Beispiele aus, und eine davon, Forged Chat Turn, nutzt Rollen-Trennzeichen, um einen neuen Nutzer-Turn vorzutäuschen, sodass das Ziel den Text des Angreifers für eine Anweisung des Nutzers hält [^1].

Die Ergebnisse haben Grenzen. Die Testmengen sind klein, mit 21 Beispielen bei IPIArena und 30 bei AgentDojo [^1]. Die Studie misst, wie gut die Modelle selbst Injections widerstehen, nicht externe Abwehr wie Detektoren oder Eingabefilter [^1]. Die Autoren räumen ein, dass ein solches Werkzeug doppelt nutzbar ist; sie verweisen darauf, dass seine Strategien auf Angriffstechniken aus öffentlicher Forschung aufbauen, und veröffentlichen den Code als Werkzeug für die Forschung [^1].

Ein Beispiel aus der Praxis

Angenommen, du betreibst einen Support-Agenten, der Kundenmails liest und ein Erstattungs-Tool aufrufen kann, und du willst das Modell dahinter wechseln. Vorher willst du wissen, wie das neue Modell mit Anweisungen umgeht, die in einer Mail versteckt sind. Ein Werkzeug wie PIMiner, dessen Code die Autoren veröffentlicht haben, könnte seine gespeicherten Strategien mit bis zu 10 Versuchen pro Fall gegen eine Testkopie deines Agenten laufen lassen [^1]. Die Spanne im Paper, von 4,8 bis 81,0 Prozent Erfolg auf demselben Benchmark IPIArena je nach Modell, zeigt, warum sich dieser Test vor dem Wechsel lohnt und nicht erst danach [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es einen strukturierten Weg zeigt, Bedrohungen für ein System zu finden und zu gewichten, bevor Angreifer es tun.

WerbungAmazon

Threat Modeling

Quellen

  1. [1]arXiv — Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming