inferwire
/
KI·4 Min. Lesezeit

KI-Bilddetektoren scheitern an Quittungen und Tabellen von GPT-Image-2

Ein Benchmark mit 8.602 textlastigen Bildern zeigt, dass fünf bestehende KI-Bilddetektoren je nach Kategorie sehr unterschiedlich abschneiden und JPEG-Kompression den besten ausbremst.

TL;DR

  • Ein Benchmark der Sichuan University mit 8.602 textlastigen Bildern, davon 5.616 von GPT-Image-2, zeigt: Fünf bestehende Detektoren schwanken stark, Tabellen und Quittungen sind am schwersten [^1].
  • Der F1-Wert des besten klassischen Detektors fiel bei leichter JPEG-Kompression von 82,66 auf 33,98 Prozent; GPT-5.5 erreichte 85,72 Prozent Genauigkeit, scheiterte aber oft an Tabellen [^1].

Hintergrund

Bildgeneratoren verrieten sich lange durch verunstaltete Schrift, weshalb gefälschte textlastige Bilder recht leicht zu erkennen waren [^1]. Neuere Modelle wie GPT Image 2 von OpenAI erzeugen lesbaren Text und strukturierte Layouts, sodass ihre Ergebnisse echten Dokumenten sehr ähnlich sehen können [^1]. Die meisten Datensätze zum Testen von KI-Bilddetektoren zeigen laut den Autoren Objekte mit wenig sinnvollem Text, und textbezogene Datensätze decken nur einzelne Bereiche wie Quittungen oder wissenschaftliche Abbildungen ab [^1].

Was passiert ist

Yijin Wang, Shuyi Wang, Wenhan Zhang und Yuqi Ouyang vom College of Computer Science der Sichuan University haben den Benchmark am 17. Juni auf arXiv veröffentlicht [^1]. Er umfasst 8.602 Bilder in sechs Kategorien: Werbeplakate, Infografiken, wissenschaftliche Poster, Quittungen, Tabellen und UI-Screenshots. Davon sind 5.616 generiert und 2.986 echt [^1]. Die echten Bilder stammen aus öffentlichen Datensätzen wie SROIE für Quittungen und PubTabNet für Tabellen. Für die Fälschungen machte das Team aus Struktur-, Inhalts- und Stilmerkmalen dieser Datensätze Prompts für GPT-Image-2, ohne deren Text oder identifizierende Angaben wiederzuverwenden [^1].

Dann prüfte das Team fünf öffentliche Detektoren im Auslieferungszustand, ohne Fine-Tuning: das Vision-Transformer-Modell Dima806, das SigLIP-basierte prithivMLmods, SuSy von HPAI-BSC, CNNSpot und NPR, das nach Pixelmustern sucht, die beim Hochskalieren in Bildgeneratoren entstehen [^1]. NPR schnitt insgesamt am besten ab, mit einem F1-Wert von 82,66 Prozent, während CNNSpot nur 163 der 5.616 generierten Bilder erkannte [^1]. Je nach Kategorie schwankten die Ergebnisse stark: Der F1-Wert von NPR reichte von 13,58 Prozent bei Tabellen bis 99,24 Prozent bei Werbeplakaten, der von Dima806 von 0,36 Prozent bei Quittungen bis 93,77 Prozent bei Werbeplakaten [^1]. Bei Quittungen und Tabellen übersahen die Detektoren vor allem Fälschungen, bei UI-Screenshots und Werbeplakaten stuften sie häufiger echte Bilder als gefälscht ein [^1].

Die generierten Bilder liegen als PNG vor, einige echte wurden dagegen als JPEG gesammelt, und Online-Plattformen komprimieren und verkleinern Bilder oft zusätzlich [^1]. Also kodierte das Team die Bilder für NPR neu. Schon leichte JPEG-Kompression senkte den F1-Wert von 82,66 auf 33,98 Prozent, stärkere brachte den Detektor nahe ans Versagen, und verlustfreies PNG-Neukodieren ließ ihn nahezu unverändert; Infografiken brachen fast komplett ein [^1]. In einem separaten Test sollte GPT-5.5 für jedes Bild sagen, ob es KI-generiert ist, und das begründen. Das Modell erreichte 85,72 Prozent Genauigkeit: nahezu perfekt bei Quittungen, aber nur 55,63 Prozent bei Tabellen [^1].

Warum es wichtig ist

Die Schwachstellen liegen genau dort, wo viel auf dem Spiel steht. Die Autoren betonen, dass textlastige Bilder oft sensible, transaktionsbezogene oder entscheidungsrelevante Informationen enthalten, doch im Schnitt schnitten die Detektoren bei Tabellen und Quittungen am schlechtesten ab [^1]. Der stärkste pixelbasierte Detektor hängt zudem an Spuren, die gewöhnliche JPEG-Kompression zerstört, also genau die Verarbeitung, die laut den Autoren auf Online-Plattformen üblich ist [^1]. Ein Detektor, der vor allem bei unbearbeiteten PNG-Dateien funktioniert, sagt wenig über ein Bild, das schon online geteilt wurde. Die Ergebnisse zeigen außerdem, wie gut bestehende Werkzeuge ohne Nachtraining verallgemeinern, nicht, was ein auf diese Daten trainierter Detektor leisten könnte [^1].

Die Begründungen von GPT-5.5 deuten auf einen anderen Ansatz. Bei Quittungen verwies das Modell oft auf unstimmige Adressen, Postleitzahlen, Telefonnummern, Produktbeschreibungen und Rechenfehler [^1]. Die Autoren warnen, dass diese Begründungen nicht unbedingt zeigen, wie das Modell tatsächlich entschieden hat, und Tabellen zeigen die Grenze: Hatte eine generierte Tabelle ein realistisches Layout und plausible Zahlen, hielt das Modell sie oft für echt [^1]. Das Fazit der Autoren: Die Forensik-Forschung muss sich stärker auf textbewusste Erkennung ausrichten [^1]. Die erste Version des Papers nennt als Speicherort des Datensatzes bisher nur einen Platzhalter [^1].

Ein Beispiel aus der Praxis

Angenommen, Tomasz prüft die Spesenabrechnungen in einem mittelgroßen Logistikunternehmen, dessen Beschäftigte Fotos ihrer Quittungen hochladen. Um Fälschungen abzufangen, baut die Firma einen fertigen KI-Bilddetektor in das Upload-Formular ein.

Jemand aus der Belegschaft erzeugt mit GPT-Image-2 die Quittung für ein Abendessen, das nie stattfand. Moderne Generatoren schreiben sauberen, lesbaren Text, also besteht die Quittung den ersten Blick [^1]. Vor dem Hochladen wandert die Datei durch eine Chat-App, die sie als komprimiertes JPEG speichert. Arbeitet der Detektor der Firma wie NPR, kann schon das genügen: Bei stärkerer JPEG-Kompression stufte NPR Fälschungen in großem Stil als echt ein [^1]. Ein Detektor wie Dima806 hätte selbst bei der Originaldatei kaum geholfen, mit einem F1-Wert von 0,36 Prozent bei Quittungen [^1].

Tomasz probiert daraufhin ein multimodales Modell wie GPT-5.5, das die Quittung nicht nur ansieht, sondern auch liest. In der Studie war GPT-5.5 bei Quittungen nahezu perfekt und verwies oft auf eine Postleitzahl, die nicht zur Adresse passte, oder auf Summen, die nicht aufgingen [^1]. Das erfundene Abendessen fliegt auf.

Im nächsten Monat reicht jemand stattdessen eine gefälschte Fahrtkostentabelle ein. Bei Tabellen kam GPT-5.5 nur auf 55,63 Prozent Genauigkeit, und realistische Layouts mit plausiblen Zahlen gingen oft als echt durch [^1]. Für Tomasz wird der Detektorwert damit zu einem Signal unter mehreren, nicht zum letzten Wort.

Quellen

  1. [1]arXiv — A Multi-Domain Benchmark for Detecting AI-Generated Text-Rich Images from GPT-Image-2