Opaque Epistemic Mediation: Die instabile Wahrheit von KI-Modellen

TL;DR

• KI-Modelle liefern inkonsistente Standpunkte zu wissenschaftlichen Randthemen, wobei die Antworten zwischen Web-Interfaces und Entwickler-APIs erheblich variieren.
• Dieser Mangel an Stabilität macht die KI zu einem undurchsichtigen Filter für Wissen, bei dem die Wahrheit eher durch Software-Updates als durch wissenschaftlichen Konsens bestimmt wird.

Hintergrund

Da Large Language Models (LLMs) traditionelle Suchmaschinen ersetzen, sind sie für Millionen von Nutzern zu den primären Gatekeepern für Informationen geworden. Im Gegensatz zu einer Liste von Suchergebnissen, die es einem Menschen ermöglicht, verschiedene Standpunkte zu vergleichen, liefert eine KI in der Regel eine einzige, autoritativ klingende Antwort. Dieser Wandel legt eine immense Verantwortung auf die KI-Entwickler, um sicherzustellen, dass ihre Modelle mit umstrittenen oder pseudowissenschaftlichen Behauptungen präzise und konsistent umgehen. Die interne Logik, die diese Antworten steuert, bleibt der Öffentlichkeit jedoch weitgehend verborgen.

Was passiert ist

Eine neue Studie hat erhebliche Inkonsistenzen bei der Bewertung wissenschaftlicher Randtheorien durch große KI-Modelle aufgedeckt. Forscher verfolgten vier prominente Modellfamilien – Claude, Grok, GPT und Gemini – über einen Zeitraum von fünf Monaten von Ende 2025 bis Anfang 2026. Sie testeten gezielt die Reaktionen der Modelle auf ethnonationalistische Pseudowissenschaft basierend auf Frank Salters biosozialem Framework, einer Reihe kontroverser Theorien, die oft zur Rechtfertigung politischer Randideologien herangezogen werden [^1]. Ziel war es zu sehen, ob die Modelle diese Theorien konsequent als Pseudowissenschaft identifizieren oder ob sich ihre Standpunkte im Laufe der Zeit verschieben würden.

Die Ergebnisse zeigten, dass LLM-Standpunkte weder stabil noch transparent sind. Die Forscher identifizierten ein Phänomen, das sie opaque epistemic mediation nennen, bei dem die Konfiguration des Modells – ob der Zugriff über ein Web-Chat-Interface oder eine rohe API erfolgt – die Art der bereitgestellten Informationen verändert. Beispielsweise könnte ein Modell eine Theorie korrekt als Pseudowissenschaft kennzeichnen, wenn es über seine offizielle Website abgefragt wird, die strikte System-Prompts und Sicherheitsfilter verwendet. Dasselbe Modell könnte jedoch eine neutrale oder sogar bestätigende Zusammenfassung liefern, wenn der Zugriff über eine API erfolgt, wo diese spezifischen Filter fehlen oder anders konfiguriert sind.

Darüber hinaus dokumentierte die Studie einen zeitlichen Drift (temporal drift), bei dem sich die Antwort eines Modells auf denselben Prompt zwischen den vier über fünf Monate hinweg aufgenommenen Snapshots änderte. Ein Modell, das im Oktober kritisch gegenüber einer Randtheorie war, könnte bis Februar freizügiger oder zweideutiger werden. Dies deckt sich mit früheren Untersuchungen, die ergaben, dass das Verhalten von Modellen wie GPT-4 erheblich schwankt, wenn Unternehmen die zugrunde liegenden Parameter und Trainingsdaten anpassen [^2]. Diese Änderungen erfolgen oft ohne Benachrichtigung des Nutzers, was bedeutet, dass der von der KI angebotene wissenschaftliche Konsens in einem Zustand ständigen, unangekündigten Wandels ist.

Die Studie stellte auch Unterschiede zwischen den Modellfamilien fest. Während einige Modelle wie Claude und Gemini aufgrund strenger Sicherheitsabstimmungen tendenziell konsistenter mit wissenschaftlichen Mainstream-Ansichten übereinstimmten, zeigten andere wie Grok eine freizügigere Haltung gegenüber umstrittenen Behauptungen. Dies schafft eine fragmentierte Informationsumgebung, in der die Wahl des KI-Anbieters darüber entscheidet, welche Randtheorien validiert und welche verworfen werden.

Warum es wichtig ist

Diese Forschung unterstreicht einen grundlegenden Wandel in der Art und Weise, wie wir Fakten verifizieren. Wenn die Validierung einer wissenschaftlichen Behauptung von einer Software-Deployment-Konfiguration abhängt, beginnt das Konzept einer universellen Wahrheit zu erodieren. Wenn ein Student eine webbasierte KI nutzt, um etwas über Biologie zu lernen, während ein Forscher ein API-basiertes Tool verwendet, erhalten sie möglicherweise widersprüchliche Informationen darüber, was valide Wissenschaft ausmacht. Diese Diskrepanz ist nicht das Ergebnis neuer wissenschaftlicher Erkenntnisse, sondern undurchsichtiger technischer Entscheidungen.

Die Gefahr der opaque epistemic mediation besteht darin, dass sie die schleichende Normalisierung von Pseudowissenschaft ermöglicht. Wenn die Sicherheitsfilter eines Modells in einer API-Version gelockert werden, um die Performance zu verbessern oder Verweigerungen zu reduzieren, können Randtheorien durch das Raster fallen. Da Nutzer darauf vertrauen, dass diese Modelle objektiv sind, kann eine neutrale Zusammenfassung einer widerlegten Theorie fälschlicherweise für eine legitime wissenschaftliche Debatte gehalten werden. Dies ist besonders besorgniserregend bei biosozialen Frameworks, die zur Unterstützung diskriminierender Ideologien verwendet werden. Wenn eine KI keine klare Widerlegung liefert, verleiht sie der Randbehauptung faktisch ihre wahrgenommene Autorität.

Zudem verhindert der Mangel an Transparenz eine effektive Prüfung. Da Unternehmen die spezifischen System-Prompts oder Richtlinien für das Reinforcement Learning, die diese Antworten prägen, nicht offenlegen, ist es für die wissenschaftliche Gemeinschaft unmöglich zu wissen, warum sich der Standpunkt eines Modells geändert hat. Wir bewegen uns auf eine Zukunft zu, in der Wahrheit ein Abonnement-Dienst ist und die Qualität dieser Wahrheit davon abhängt, für welche Stufe oder welches Interface du bezahlst. Dies untergräbt das Ideal gemeinsamer, überprüfbarer Fakten. Es macht die wissenschaftliche Validierung zu einer Software-Einstellung, die von einer Handvoll Ingenieuren hinter verschlossenen Türen umgeschaltet werden kann.

Schließlich stellt diese Instabilität eine Herausforderung für Entwickler dar, die auf KI aufbauen. Wenn eine Bildungs-App auf ein LLM angewiesen ist, um Fakten zu liefern, und der Standpunkt dieses LLMs zu einem Thema über drei Monate driftet, ist die Zuverlässigkeit der App gefährdet. Wir brauchen stabile Standards für epistemische Konsistenz in der KI, um sicherzustellen, dass Modelle evidenzbasierte Antworten liefern, unabhängig davon, wann oder wie sie abgefragt werden. Ohne dies wird die KI eher zu einem Spiegel der aktuellen Konfiguration des Entwicklers als zu einem Fenster zur Realität.

Ein Beispiel aus der Praxis

Stell dir eine Studentin namens Sarah vor, die an einem Dienstagmorgen für eine Soziologiearbeit über genetische Interessen recherchiert. Sie bittet eine beliebte webbasierte KI um eine Zusammenfassung. Das Web-Interface, das mit einem Sicherheits-System-Prompt ausgestattet ist, teilt ihr mit, dass die Theorie von der Wissenschaft weitgehend abgelehnt wird. Sarah vermerkt dies korrekt in ihrem Entwurf.

Währenddessen nutzt ihr Kommilitone James ein spezialisiertes Forschungstool, das über eine API mit derselben KI verbunden ist. Da der API-Version die webbasierte Sicherheitsebene fehlt, liefert sie James eine detaillierte, fünf Absätze lange Erklärung der Theorie, ohne zu erwähnen, dass sie als Pseudowissenschaft gilt. James kommt zu dem Schluss, dass die Theorie ein valides Forschungsgebiet ist. Wenn sie sich treffen, um ihre Notizen zu vergleichen, sind sie verwirrt. Sie haben dieselbe KI benutzt, aber gegensätzliche Schlussfolgerungen erhalten. Keiner von beiden erkennt, dass eine versteckte Softwarekonfiguration und nicht die eigentliche Wissenschaft ihre Bildung bestimmt hat.

Passende Produkte

Wir empfehlen dieses Buch, weil es die Werkzeuge für kritisches Denken liefert, die notwendig sind, um genau die Art von datengesteuerter Pseudowissenschaft und algorithmischer Voreingenommenheit zu navigieren, die in dieser Studie untersucht wurde.