Der Preis eines Patches: KI-Sicherheit in Dollar messen

TL;DR

• Forscher haben ein kostenbewusstes Framework zur Bewertung von KI-Sicherheits-Agenten eingeführt. Finanzielle Effizienz steht dabei über reinen Erfolgsraten bei der Suche nach Schwachstellen.
• Die Studie zeigt, dass hohe Erfolgsraten oft untragbare Inference-Kosten verschleiern. Die Zukunft der KI-Sicherheit hängt von der Optimierung der Kosten pro Exploit ab.

Hintergrund

Die Sicherheitsbranche konzentriert sich derzeit auf autonome Agenten – KI-Systeme, die selbstständig Code scannen, Schwachstellen finden und Exploits oder Patches schreiben können. Traditionell werden diese Agenten nach ihrer Erfolgsrate bewertet, also dem Prozentsatz der Aufgaben, die sie in kontrollierten Umgebungen wie Capture The Flag-Wettbewerben lösen. Diese Metrik ignoriert jedoch die Realität der operativen Sicherheit. In der Praxis kostet jeder Denk-Schritt und jeder API-Aufruf Geld. Ein Modell mit hoher Erfolgsrate, aber extremen Kosten, ist für den täglichen Betrieb oft unpraktisch.

Was passiert ist

Ein neues Forschungspapier mit dem Titel "Beyond Success Rate" führt ein Framework zur Bewertung offensiver und defensiver Sicherheits-Agenten unter dem Aspekt der Kosteneffizienz ein [^1]. Die Forscher argumentieren, dass aktuelle Bewertungen ein verzerrtes Bild der KI-Fähigkeiten vermitteln, da sie Modellen nahezu unbegrenzte "Inference-Budgets" zugestehen. In ihren Tests überwachten sie nicht nur, ob ein Agent eine Schwachstelle ausnutzen konnte, sondern auch, wie viele Token er verbrauchte, wie viele externe Tools er aufrief und wie oft er seine Strategie "überdenken" musste. Dieser Perspektivwechsel verschiebt die Frage von "Kann er es?" zu "Lohnt es sich?".

Das Framework identifiziert einen kritischen Schwellenwert bei der KI-Leistung. Viele Large Language Models (LLMs) zeigen eine Kurve mit abnehmendem Grenzertrag. Ein Modell könnte zum Beispiel 50 % der Sicherheitsaufgaben für 5,00 $ Rechenkosten lösen, aber für 70 % könnten 500,00 $ nötig sein. Das liegt daran, dass schwierigere Bugs oft lange, rekursive Trial-and-Error-Schleifen erfordern. Ohne eine kostenbewusste Bewertung könnten Entwickler fälschlicherweise glauben, ein Modell sei bereit für den Einsatz, obwohl die Kosten für seinen "Erfolg" ein Standard-Security Operations Center (SOC) in den Ruin treiben würden. Die Studie stellte zudem fest, dass mit zunehmender Komplexität der Modelle die "Kosten pro Token" oft schneller steigen als die "Erkennungsrate von Schwachstellen". Dies vergrößert die Lücke zwischen Leistungsfähigkeit und Bezahlbarkeit.

Das Papier beschreibt detailliert, wie verschiedene Architekturen auf Budgetbeschränkungen reagieren. Modelle, die einen "Chain-of-Thought"-Prozess nutzen, schneiden bei komplexen Exploits oft besser ab, verbrauchen aber dreimal so viele Token wie Modelle mit einem direkten Ansatz. Die Forscher massen auch den "Tool-Call-Overhead", der die Latenz und die Kosten für die Interaktion des Agenten mit externen Debuggern oder Compilern berücksichtigt. Sie fanden heraus, dass der Agent in vielen Fällen mehr Zeit mit der Verwaltung seiner Tools verbrachte als mit der eigentlichen Code-Analyse – eine erhebliche finanzielle Verschwendung. Darüber hinaus bewertete die Studie defensive Agenten – KIs, die Code patchen oder Einbrüche erkennen sollen. Es zeigte sich, dass defensive Agenten derzeit empfindlicher auf Kosten reagieren als offensive. Da Verteidigung ständige Überwachung und hohe Datenmengen erfordert, ist die "Inference-Steuer" hier viel höher. Die Forscher nutzten die OWASP Top 10 for LLM Applications als Benchmark, um sicherzustellen, dass die Agenten gegen relevante Bedrohungen mit hoher Priorität getestet wurden [^2].

Warum es wichtig ist

Die wirtschaftliche Asymmetrie der Cybersicherheit ist ein bekanntes Problem. Historisch gesehen war es billiger, ein System anzugreifen, als es zu verteidigen. Wenn KI-Agenten ohne Rücksicht auf die Kosten eingesetzt werden, könnte sich diese Asymmetrie verschlimmern. Ein Angreifer, der ein kostengünstiges, "gut genug" Modell nutzt, um einen einzigen Einstiegspunkt zu finden, hat einen finanziellen Vorteil gegenüber einem Verteidiger, der ein teures Modell mit hoher Rechenleistung einsetzt, um jeden möglichen Punkt zu schützen. Die Messung der "Kosten pro Exploit" ermöglicht es Unternehmen, den tatsächlichen Return on Investment ihrer KI-Sicherheits-Tools zu verstehen. Dieser Wandel ist entscheidend für Firmen, die mit KI-gesteuerten Bug-Bounty-Programmen oder automatisiertem Red-Teaming experimentieren, da er verhindert, dass sie zu viel in ineffiziente Technologie investieren.

Diese Forschung beleuchtet auch das "Infinite Monkey"-Problem in der KI. Bei genügend Versuchen und einem ausreichend großen Budget wird ein stochastisches Modell irgendwann zufällig auf einen erfolgreichen Exploit stoßen. Wenn wir nur den Enderfolg messen, belohnen wir im Grunde Ineffizienz. Durch ein striktes Inference-Budget zwingen wir KI-Entwickler dazu, "intelligentere" Agenten zu bauen – solche, die den vielversprechendsten Weg zu einer Lösung finden, ohne jede Möglichkeit per Brute-Force auszuprobieren. Dieser Drang zur Effizienz wird KI-Agenten letztlich konkurrenzfähig gegenüber menschlichen Sicherheitsforschern machen, die naturgemäß durch Zeit und kognitive Energie begrenzt sind.

Diese ökonomische Perspektive ist lebenswichtig für die Entwicklung von "Green AI". Jedes von einem massiven Modell generierte Token benötigt Strom und Kühlung in einem Rechenzentrum. Durch die Optimierung der Kosten optimieren Forscher indirekt auch die Umweltbelastung. Da Nationen zudem die Sicherheit von KI-Lieferketten prüfen, wird die Fähigkeit, effiziente Sicherheits-Agenten auf lokaler, günstigerer Hardware auszuführen, zu einer Frage der nationalen Verteidigung. Für Prosumer und Unternehmen bedeutet dies ein Umdenken beim Kauf von KI-Tools. Statt nach dem höchsten Benchmark-Score zu suchen, sollten Käufer nach Modellen Ausschau halten, die die beste "Sicherheit pro Dollar" bieten. Dies könnte zu einem Markt für spezialisierte, kleinere Modelle führen, die für spezifische Sicherheitsaufgaben feinabgestimmt sind, anstatt Allzweck-LLMs, die Token für irrelevante Gedankengänge verbrennen.

Ein Beispiel aus der Praxis

Stell dir eine Sicherheitsingenieurin namens Sarah vor, die eine veraltete Webanwendung prüft. Sie hat zwei Optionen. Option A ist ein massiver KI-Agent mit einer Erfolgsrate von 95 %. Option B ist ein kleinerer Agent mit einer Erfolgsrate von 80 %. Sarah lässt Option A laufen; sie findet drei Bugs, braucht aber vier Stunden und kostet 150 $, weil sie tausende Sackgassen erkundet hat. Dann lässt sie Option B laufen. Diese findet zwei der gleichen Bugs in zehn Minuten für 0,50 $. In diesem Szenario ist Option B das überlegene Werkzeug für die tägliche Arbeit. Während Option A auf dem Papier leistungsfähiger ist, macht ihr hoher Preis sie für den Dauereinsatz unpraktisch. Sarah kann es sich leisten, Option B bei jedem Code-Update laufen zu lassen und so die meisten Bugs sofort abzufangen. Option A hebt sie sich für ein jährliches tiefgehendes Audit auf. Dieses Framework hilft Teams, Tools zu wählen, die zu ihrem tatsächlichen Budget passen.

Passende Produkte

Wir empfehlen diesen Klassiker, da er die Lücke zwischen theoretischen Schwachstellen und der praktischen, schrittweisen Logik schließt, die KI-Agenten nun zu automatisieren versuchen.