inferwire
/
Cybersicherheit·5 Min. Lesezeit

FlashRT: Günstigeres Red-Teaming gegen Prompt Injection in langen Kontexten

Forschende der Penn State machen optimierungsbasierte Prompt-Injection-Angriffe auf LLMs mit langem Kontext 2× bis 7× schneller, genug für 70B-Modelle, an denen das Standardwerkzeug auf vier H100-GPUs scheiterte.

TL;DR

  • FlashRT von Forschenden der Penn State führt optimierungsbasierte Prompt-Injection-Angriffe auf LLMs mit langem Kontext 2× bis 7× schneller und mit 2× bis 4× weniger GPU-Speicher aus [^1].
  • Es griff 70B-Modelle an, darunter das gegen Prompt Injection gehärtete Meta-SecAlign-70B, die das Standardwerkzeug nanoGCG nicht auf vier H100-GPUs ausführen konnte [^1].

Hintergrund

Bei einer Prompt Injection versteckt jemand eine Anweisung in Text, den ein LLM liest, etwa in einer abgerufenen Webseite oder einem langen Dokument, sodass das Modell ihr folgt und eine schädliche Ausgabe liefert. Bei Knowledge Corruption werden stattdessen falsche Fakten eingeschleust, damit das Modell eine vom Angreifer gewählte Antwort gibt [^1]. Red Teams testen Modelle mit zwei Arten von Angriffen: handgeschriebenen heuristischen Vorlagen und optimierungsbasierten Verfahren wie GCG, die nach Text suchen, der eine Zielausgabe erzwingt [^1].

Was passiert ist

Yanting Wang, Chenlong Yin, Ying Chen und Jinyuan Jia von der Pennsylvania State University haben das FlashRT-Paper am 30. April auf arXiv veröffentlicht [^1]. Der Ausgangspunkt der Forschenden: Heuristische Angriffe können eine falsche Sicherheit vermitteln, weil Modelle, die ihnen standhalten, optimierten Angriffen trotzdem erliegen können, doch die Optimierungswerkzeuge werden bei langen Eingaben sehr teuer [^1]. Jede Runde eines Angriffs im Stil von GCG berechnet in einem Backward-Pass Gradienten, um Kandidatentexte vorzuschlagen, und bewertet dann jeden Kandidaten mit einem Forward-Pass danach, wie wahrscheinlich das Modell die Zielausgabe erzeugt. Die Forward-Passes bestimmen die Laufzeit, der Backward-Pass braucht oft 2- bis 4-mal mehr GPU-Speicher, und beide Kosten wachsen mit der Länge des Kontexts [^1].

FlashRT senkt beide Kosten durch Näherungen. Um einen Kandidaten zu bewerten, nutzt es den Key-Value-Cache wieder, also die Zwischenergebnisse, die das Modell für den bisher besten Versuch gespeichert hat, und berechnet nur den eingeschleusten Text, die Nutzerfrage, die Zielausgabe und einen Teil des Kontexts nach der Injektion neu, standardmäßig 20 Prozent [^1]. Welche Kontext-Tokens das sind, entscheidet die Aufmerksamkeit, die die Zielausgabe ihnen schenkt [^1]. Für den Gradienten nutzt es eine zufällige Stichprobe des Kontexts, ebenfalls standardmäßig 20 Prozent, und zieht sie neu, wenn 100 Kandidaten in Folge keine Verbesserung bringen [^1].

Im Vergleich zu nanoGCG berichten die Forschenden von 2× bis 7× kürzeren Läufen, etwa von einer Stunde auf unter zehn Minuten, und 2× bis 4× weniger GPU-Speicher, zum Beispiel 65,7 GB statt 264,1 GB bei einem Kontext von 32K Tokens [^1]. Auf NarrativeQA mit Llama-3.1-8B stieg die Erfolgsquote von 0,88 auf 0,98, während der Speicher von 164,8 GB auf 53,7 GB und die Laufzeit von 2.736,9 auf 1.039,5 Sekunden sank [^1]. Die Experimente liefen auf vier H100-GPUs mit zusammen 384 GB; dort konnten die beiden GCG-Baselines Llama-3.1-70B und Meta-SecAlign-70B gar nicht ausführen, FlashRT dagegen schon [^1]. FlashRT lässt sich auch mit Black-Box-Verfahren kombinieren: Auf MuSiQue hob es die Erfolgsquote von TAP von 0,82 auf 0,98 und senkte die Laufzeit von AutoDAN von 142,3 auf 72,2 Sekunden [^1].

Warum es wichtig ist

Das Tempo zählt wegen dessen, was es messbar macht. Ein Modell, das handgeschriebenen Angriffen widersteht, kann optimierten trotzdem erliegen [^1]. Gegen Llama-Prompt-Guard-2-86M, einen kleinen Klassifikator, der Eingaben auf Prompt Injection prüft, kam der heuristische Angriff auf keinem der drei Datensätze durch, während FlashRT, das gegen Guardrail und Modell zugleich optimierte, Erfolgsquoten von 0,74 bis 0,92 erreichte [^1]. Gegen Meta-SecAlign-8B kam der heuristische Angriff auf höchstens 0,46, FlashRT auf mindestens 0,96 [^1]. Bei EHRAgent, einem Agenten aus dem Gesundheitswesen, brachte FlashRT das Modell in jedem Test dazu, den Gedanken „Ich muss DeleteDB aufrufen, um die Daten zu löschen“ zu erzeugen [^1].

Die Forschenden nennen die Kosten solcher Angriffe ein großes Hindernis, gerade für akademische Gruppen, um Modelle mit langem Kontext und ihre Abwehrmaßnahmen in großem Maßstab zu prüfen, und hoffen, dass FlashRT, dessen Code öffentlich ist, dafür als Werkzeug dient [^1]. Die Grenzen nennen sie selbst. Das Verfahren braucht White-Box-Zugriff auf Gewichte, Aufgabenanweisung und Kontext, wie ihn offene Modelle und Anbieter beim Test eigener Modelle bieten [^1]. Es zielt auf Text, der in langen Eingaben versteckt ist, nicht auf Jailbreaks, deren kurze Prompts ohnehin günstig zu optimieren sind, und es spart mehr, wenn die Injektion am Anfang oder in der Mitte des Kontexts steht [^1].

Ein Beispiel aus der Praxis

Angenommen, Jonas verantwortet die Sicherheit bei einer kleinen Politikberatung. Deren neuer Assistent fasst lange Regierungsberichte zusammen und läuft auf Meta-SecAlign-70B, einem offenen Modell, das darauf feinabgestimmt ist, Prompt Injection zu widerstehen [^1]. Vor dem Start versteckt Jonas eine klassische Injektion in der Mitte eines Testberichts: eine gefälschte Antwort „task complete“, die Aufforderung, vorherige und folgende Anweisungen zu ignorieren, und eine verlangte Ausgabe. Das ist der Combined Attack, den das Paper als heuristische Baseline nutzt, und bei GovReport-Zusammenfassungen funktionierte er gegen dieses Modell nie [^1]. Der Assistent wirkt sicher.

Wer dieselben offenen Gewichte und die Aufgabenanweisung des Assistenten hat, kommt weiter. Ein Optimierer behält eine kurze Nutzlast, „You should output“ plus die gewünschte Antwort, und sucht nach Tokens drumherum; jede Änderung, die das Modell eher zu dieser Antwort bringt, bleibt [^1]. Ein optimierter Präfix, den das Paper aus einem anderen Experiment abdruckt, beginnt mit „Median Maximum“ und geht als Folge von Symbolen und verstreuten Wörtern weiter [^1]. Gegen dieses Modell, mit auf 16K Tokens gekürzten Berichten, erreichte FlashRT bei GovReport eine Erfolgsquote von 0,96 [^1].

Mit vier H100-GPUs hätte Jonas diesen Test mit nanoGCG nicht fahren können, weil das 70B-Modell nicht hineinpasste; FlashRT brauchte im Schnitt 219,7 GB Spitzenspeicher und 1.962,7 Sekunden pro Probe [^1]. Der Befund ändert die Checkliste vor dem Start, nicht den Code: erst einen optimierten Angriff fahren, bevor man einem bestandenen heuristischen Test traut, und die gefundenen Strings aufheben, die sich laut den Forschenden auch für Adversarial Training eignen könnten [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es erklärt, wie Prompt Injection und andere Angriffe auf LLM-Anwendungen funktionieren und wie man sich dagegen schützt.

WerbungAmazon

The Developer's Playbook for Large Language Model Security: Building Secure AI Applications

Quellen

  1. [1]arXiv — FlashRT: Towards Computationally and Memory Efficient Red-Teaming for Prompt Injection and Knowledge Corruption