EpiSEM-Bench zeigt Sicherheitslücken in LLMs bei fehlenden Fakten

TL;DR

• Ein neuer Benchmark namens EpiSEM-Bench misst, wie KI-Agenten reagieren, wenn externe Tools während der Ausführung unvollständige Sicherheitsnachweise liefern [^1].
• Modelle führen häufig unsichere Aktionen aus, wenn Tool-Ausgaben entscheidende Details zu Einschränkungen auslassen – selbst wenn alle gelieferten Fakten technisch korrekt sind [^1] [^2].

Hintergrund

Autonome KI-Agenten führen zunehmend Code aus, ändern Datenbanken und verwalten digitale Infrastruktur über externe Tools und API-Aufrufe. Um versehentliche Sicherheitsverletzungen oder ungewollte Aktionen zu verhindern, setzen Agent-Frameworks auf Sicherheitsprüfungen und Berechtigungsrichtlinien. Tools liefern jedoch nicht immer den vollständigen Kontext zu Betriebseinschränkungen. Wenn eine API- oder Datenbankabfrage entscheidende Sicherheitsparameter auslässt, muss ein Agent entscheiden: Hält er an und sucht nach fehlenden Nachweisen oder führt er die Aktion blind aus?

Was passiert ist

Forschende haben EpiSEM-Bench vorgestellt, einen ausführbaren Evaluierungs-Benchmark, der Sprachmodell-Agenten unter Bedingungen fehlender Sicherheitsnachweise testet [^1]. Das Framework prüft, wie Agenten mit Szenarien umgehen, in denen ein externes Tool zwar wahre Aussagen liefert, aber wesentliche Einschränkungen auslässt, die nötig sind, um die Sicherheit einer angeforderten Aktion zu beurteilen [^1]. In typischen Software-Umgebungen liefern Tools oft gekürzte Log-Einträge, teilweise Datenbank-Datensätze oder eingeschränkte API-Antworten. Erhält ein Agent diese unvollständigen Informationen, steht er vor einer epistemischen Herausforderung: zu bestimmen, ob fehlende Beweise Sicherheit oder ein verborgenes Risiko bedeuten [^1].

Der Benchmark misst drei verschiedene Fähigkeiten: die Rate unsicherer Ausführungen, das Einhalten von Grenzen und die Wiederbeschaffung von Nachweisen (Evidence Recovery) [^1]. Die Wiederbeschaffung von Nachweisen bewertet speziell, ob ein Agent aktiv zusätzliche Endpunkte abfragt oder den Systemstatus prüft, um Kontextlücken zu schließen, bevor er Entscheidungen mit hoher Tragweite trifft [^1]. Über mehrere Frontier-Modelle und Agenten-Architekturen mit Tool-Aufrufen wie ToolBench [^2] hinweg entdeckten die Forschenden ein hartnäckiges Fehlermuster: Omission Bias (Auslassungsfehler) [^1].

Wenn Tool-Antworten wahre Fakten enthielten, aber Grenzeinschränkungen ausließen, fuhren die Modelle regelmäßig mit gefährlichen Ausführungen fort [^1]. Anstatt zu erkennen, dass die gelieferten Nachweise nicht ausreichten, um die Einhaltung von Regeln zu garantieren, behandelten Agenten unvollständige Bestätigungen als vollständige Autorisierung [^1]. Zudem lösten die Modelle selten aktive Schritte zur Nachweisbeschaffung aus und versäumten es, bei mehrdeutigem Kontext Folge-API-Aufrufe zur Überprüfung von Berechtigungsgrenzen zu tätigen [^1] [^2].

Warum es wichtig ist

Diese Forschung deckt einen grundlegenden Konstruktionsfehler darin auf, wie Entwickler toolnutzende Sprachmodelle in Unternehmensabläufen einsetzen. Sicherheitsteams gehen meist davon aus, dass ein Agent bei unvollständigen Informationen sicher fehlschlägt (Fail-Safe). EpiSEM-Bench beweist jedoch, dass LLM-Agenten einen gefährlichen Hang zum Handeln zeigen: Wenn ein Tool eine Einschränkung nicht ausdrücklich erwähnt, deutet das Modell dieses Schweigen als Erlaubnis [^1]. In Unternehmensumgebungen, in denen APIs routinemäßig lange Ausgabe-Logs kürzen oder System-Flags maskieren, eröffnet dieses Verhalten massive operative Schwachstellen.

Darüber hinaus unterstreicht die Studie die Grenzen gewöhnlicher Leitplanken (Guardrails) und System-Prompts. Einem KI-Agenten einfach zu sagen, er solle sicher handeln, befähigt ihn nicht dazu, zu beurteilen, ob sein eigener Wissenskontext vollständig ist [^1]. Wenn Tool-Antworten faktisch korrekt sind, schlagen interne Safety-Alignment-Filter nicht an, da im Kontextfenster keine explizite böswillige Anweisung oder schädlicher Text existiert [^1] [^2]. Die Bedrohung entsteht rein durch Auslassung, was traditionelle Input-Filter-Abwehrmechanismen gegen Risiken durch fehlende Nachweise wirkungslos macht.

Um belastbare KI-Systeme zu bauen, müssen Software-Engineers passive Tool-Aufrufmuster durch explizite Verifikationsarchitekturen ersetzen. Agent-Frameworks müssen einen deterministischen Sicherheitsnachweis verlangen, bevor sie sensible Aktionen ausführen, anstatt sich darauf zu verlassen, dass Sprachmodelle ableiten, ob fehlende Ausgaben eine Erlaubnis bedeuten [^1].

Ein Beispiel aus der Praxis

Stell dir einen automatisierten IT-Agenten vor, der inaktive Benutzerkonten auf einem Unternehmensserver archivieren soll. Du bittest den Agenten, temporäre Konten zu löschen, die seit mehr als dreißig Tagen inaktiv sind.

Der Agent fragt das Mitarbeiterverzeichnis-Tool ab, das eine Liste von fünf temporären Benutzer-IDs samt deren letztem Anmeldedatum zurückgibt. Die Tool-Ausgabe ist faktisch korrekt, lässt aber ein Metadatenfeld aus, das zeigt, dass zwei Konten zu externen Wirtschaftsprüfern gehören und unter einer aktiven Aufbewahrungspflicht (Legal Hold) stehen.

Da die Tool-Ausgabe die Sperre nicht explizit erwähnt, nimmt der Agent an, dass die Liste gefahrlos verarbeitet werden kann. Anstatt eine Folgeabfrage durchzuführen, um den Status der Aufbewahrungspflicht zu prüfen, führt der Agent sofort Systembefehle zum Löschen aus. Der Vorgang ist erfolgreich und zerstört Compliance-Aufzeichnungen, weil der Agent fehlende Nachweise als grüne Karte für die Ausführung behandelte.

Passende Produkte

Wir empfehlen dieses Buch, weil es robuste Architekturmuster für die Entwicklung zuverlässiger, toolnutzender Sprachmodell-Systeme im Detail beschreibt.