Kontext rund um den Code beeinflusst LLM-Urteile über Schwachstellen
Eine andere Autorenangabe, Aufgabe oder ein früheres Scan-Ergebnis verschoben die Sicherheitsurteile von acht LLMs über identischen Code; gefälschte Commit-Metadaten unterdrückten bis zu 97 Prozent der Funde.
TL;DR
- Wer nur den Kontext um identischen Code änderte, etwa Autorenangabe, Aufgabenstellung oder ein früheres Scan-Ergebnis, verschob die Sicherheitsurteile aller acht getesteten LLMs [^1].
- In einer simulierten CI-Pipeline unterdrückten gefälschte Pull-Request-Metadaten bis zu 97 Prozent zuvor erkannter Schwachstellen, und Abwehr per Prompt stoppte das nicht [^1].
Hintergrund
LLMs werden zunehmend als automatische Schwachstellenscanner eingesetzt, etwa in GitHubs Copilot Autofix, das Pull Requests prüft und Sicherheitswarnungen sortiert [^1]. Im Einsatz sehen solche Scanner selten nur den Code, sondern erhalten auch Angaben zur Autorschaft, Arbeitsanweisungen, Commit-Nachrichten und Ergebnisse statischer Analyse [^1]. Die Psychologie beschreibt Abkürzungen wie den Halo-Effekt, bei dem ein positiver Eindruck unabhängige Urteile färbt, den Framing-Effekt und den Ankereffekt der zuerst erhaltenen Information, und LLMs zeigen solche Muster ebenfalls [^1].
Was passiert ist
Ein Team um Asif Shahriar von der BRAC University, der Purdue University und der University of Illinois Urbana-Champaign hielt den Code konstant und änderte nur den umgebenden Prompt [^1]. Für den Halo-Effekt schrieb es einen Codeausschnitt entweder der leitenden Sicherheitsfachkraft des Entwicklungsteams zu, die zuvor im Project-Zero-Team von Google gearbeitet hat, oder einer neu eingestellten Nachwuchskraft direkt nach dem Studium. Für das Framing variierte es die Aufgabe und ihre genannten Folgen, für den Ankereffekt hieß es, eine frühere automatische Analyse habe den Code als sicher oder verwundbar eingestuft [^1]. Getestet wurden acht Modelle, von Llama 4 Maverick und DeepSeek V3.1 bis GPT 5.2, Claude Sonnet 4.6 und Gemini 2.5 Pro, mit C/C++-Code aus PrimeVul sowie Python- und Java-Code aus CleanVul [^1].
Alle acht Modelle ließen sich beeinflussen. Im Mittel über die Modelle lag die Anfälligkeit bei C/C++ bei 33,2 Prozent für Framing, 23,5 Prozent für Anker und 18,4 Prozent für den Halo-Effekt, und Open-Source-Modelle waren meist stärker verzerrt als kommerzielle [^1]. Die Richtung entsprach nicht immer der Erwartung: Claude markierte mehr Code, wenn er angeblich von der Sicherheitsfachkraft stammte, und GPT reagierte auf einen ausdrücklichen Anker „verwundbar“ gegenläufig [^1]. Besonders wirksam war der Hinweis, dass korrekt als sicher erkannter Code die Pipeline am Laufen hält: Er senkte den Recall im Schnitt um 26,11 Punkte unter den neutralen Prompt [^1]. Fehler, die Überlegungen zum Programmzustand erfordern, etwa eine erreichbare Assertion oder eine Division durch null, waren 1,5- bis 2-mal anfälliger als solche mit offensichtlichen Mustern wie einem Double Free [^1].
Der Kontext machte die Modelle bei der Aufgabe weder besser noch schlechter, nur mehr oder weniger bereit, Code als verwundbar einzustufen [^1]. Recall und Falsch-Positiv-Rate bewegten sich fast im Gleichschritt, sodass die Präzision zwischen 0,48 und 0,55 blieb [^1]. Kippte der Kontext ein Urteil auf verwundbar, war die Begründung oft falsch: Von neun GPT-Fällen, die bei Zuschreibung an die Sicherheitsfachkraft kippten, benannte das Modell nur in zwei die echte Lücke [^1]. Anschließend griffen die Autoren einen simulierten Scanner im Stil von GitHub an. Ohne jeden Zugriff auf das Modell nutzte ein Angreifer mit Commit-Rechten die dienstliche E-Mail-Adresse eines echten Maintainers, einen sicherheitsbezogen klingenden Branch-Namen und PR-Titel, eine PR-Beschreibung über das Vermeiden von Fehlalarmen und eine Commit-Nachricht mit Ergebnissen von Pre-Merge-Tools [^1]. Damit ließen sich bis zu 97 Prozent zuvor erkannter Schwachstellen unterdrücken, und die kombinierte Variante blieb bei jedem Open-Source-Modell über 75 Prozent [^1].
Warum es wichtig ist
LLM-Scanner übernehmen in CI/CD-Pipelines die Rolle von Sicherheitswächtern, und die Felder, die sie beeinflussen, etwa Branch-Namen, PR-Titel und Commit-Nachrichten, kontrolliert vollständig, wer den Code einreicht [^1]. Das Paper zitiert frühere Arbeiten, nach denen 95,4 Prozent der Nutzenden ihre Commits nicht signieren, eine gefälschte Autorenidentität ist also eine realistische Annahme [^1]. Anders als bei Prompt Injection enthält die Nutzlast keine ausdrückliche Anweisung, nur Text, der wie normale Workflow-Metadaten aussieht; die Autoren wählten das bewusst, damit er keinen Verdacht erregt [^1].
Das Modell anzuweisen, Metadaten zu ignorieren, löste das Problem nicht. Ein schwacher Abwehr-Prompt half nur bei GPT und Gemini, und selbst ein starker, der jeden Kanal benannte, ließ jedes Open-Source-Modell über 40 Prozent; bei Claude machten beide Abwehrvarianten den Angriff sogar erfolgreicher [^1]. Die Autoren fordern Eingriffe schon im Training, damit Urteile unabhängig vom Kontext außerhalb des Codes werden [^1]. Die Studie nutzte Codeausschnitte auf Funktionsebene und eine simulierte Pipeline statt eines echten Scanners, und aus Kostengründen gab es keine wiederholten Durchläufe [^1].
Ein Beispiel aus der Praxis
Angenommen, die Pipeline deines Teams schickt jeden Pull Request samt PR-Titel, Beschreibung und Commit-Nachrichten an einen LLM-Prüfer. Nach dieser Studie könnte jemand, der beiträgt, diese Felder so formulieren, dass sie routiniert und erfahren klingen, und der Prüfer würde Code durchwinken, den er sonst markiert hätte [^1]. Du testest das, indem du den Prüfer zweimal auf denselben Diff ansetzt, einmal nur mit Code und einmal mit Metadaten, und vergleichst die Urteile [^1]. Weichen sie ab, schickst du dem Scanner nur den Diff, überlässt die Metadaten menschlichen Reviewern und behandelst ein „sicher“ des LLM als ein Signal unter mehreren statt als Freigabe.
Passende Produkte
Wir empfehlen dieses Buch, weil es zeigt, wie man Quellcode auf Schwachstellen prüft, also genau die Arbeit, die diese LLM-Scanner übernehmen sollen.