inferwire
/
KI·2 Min. Lesezeit

AdvSim2Real trainiert Web-Agenten gegen adaptive Prompt Injection

Ein 4B-Web-Agent, der in einem simulierten Web gegen einen sich anpassenden Angreifer trainiert wurde, wurde fähiger und robuster: Unter einem unbekannten Gegner stieg seine Erfolgsquote um 33,6 Prozent.

TL;DR

  • Web-Agenten lassen sich durch auf Seiten platzierte Anweisungen kapern; AdvSim2Real trainiert sie in einem simulierten Web gegen einen sich ständig anpassenden Angreifer [^1].
  • Bei 150 Web-Aufgaben stieg die Erfolgsquote des trainierten Agenten mit 4 Milliarden Parametern gegen einen unbekannten Gegner um 33,6 Prozent gegenüber dem Basis-Agenten [^1].

Hintergrund

Web-Agenten erledigen Anfragen, indem sie Seiten lesen und darauf handeln, die Dritte geschrieben haben; eine in einer Seite versteckte Anweisung kann den Agenten also von deinem Auftrag abbringen, ein Angriff namens indirekte Prompt Injection [^1]. Der Agent kann die Seite nicht einfach ignorieren, weil sie auch die Werte und Schaltflächen enthält, die die Aufgabe braucht [^1]. In einem Sicherheits-Benchmark für Web-Agenten haben solche Angriffe in bis zu 86 Prozent der Fälle zumindest teilweise Erfolg [^1].

Was passiert ist

Forschende der Mohamed bin Zayed University of Artificial Intelligence, von Amazon und vom MIT sehen bei heutigen Abwehrmethoden zwei Schwächen [^1]. Feintuning auf eine feste Menge von Injections versagt gegen Angreifer, die sich an das trainierte Modell anpassen. Adversariales Training lässt den Angreifer sich anpassen, hält aber die Aufgaben fest, sodass eine Aufgabe nichts mehr lehrt, sobald der Agent sie löst [^1].

AdvSim2Real entwickelt drei Dinge gemeinsam weiter, und zwar in einem eingefrorenen „Web-Weltmodell“, das Seiten simuliert: einen Lehrplan, der Aufgaben vorschlägt, einen Gegner, der eine Injection einfügt, und den Agenten selbst [^1]. Der Lehrplan wird für Aufgaben belohnt, die der Agent etwa in der Hälfte der Fälle löst, damit sie fordernd bleiben; der Gegner wird nur für einen „Erfolgs-Kipp“ belohnt, eine Injection, die eine Aufgabe, die der Agent gelöst hätte, scheitern lässt [^1]. Der trainierte 4B-Agent erledigte mehr Aufgaben mit und ohne Angriffe, hielt einem Frontier-Modell als Gegner stand, das er im Training nie gesehen hatte, und behielt seine Fortschritte in einem echten Browser [^1].

Warum es wichtig ist

Prompt Injection ist der Hauptgrund, warum Firmen zögern, Agenten im offenen Web handeln zu lassen. Training gegen eine feste Liste bekannter Angriffe vermittelt falsche Sicherheit, denn Angreifer passen sich jeder Abwehr an, auf die sie treffen. Training in einer Simulation gegen einen Gegner, der sich ebenfalls anpasst, bei weiterhin schwierigen Aufgaben, weist auf Abwehrmethoden hin, die die Fähigkeiten verbessern, statt sie einzutauschen [^1].

Ein Beispiel aus der Praxis

Angenommen, ein Agent soll in einem Webformular die Kontaktdaten eines Kunden aktualisieren. Die Seite enthält außerdem versteckten Text, der ihn anweist, auf „Alles zurücksetzen“ zu klicken. Ein naiver Agent gehorcht und löscht den Datensatz. Ein Agent, der wie in AdvSim2Real beschrieben trainiert wurde, ist im Training immer wieder genau solchen platzierten Anweisungen begegnet und hat gelernt, die Änderung abzuschließen und die Anweisung zu ignorieren [^1].

Quellen

  1. [1]arXiv — AdvSim2Real: Training Web Agents Against Adaptive Prompt Injection in a Web World Model