inferwire
/
KI·2 Min. Lesezeit

Das Chat-Template entscheidet, ob eine KI „Ich bin nur eine KI“ sagt

In acht offenen Modellen schaltete das Chat-Template zwischen „Ich bin nur eine KI“ und „Ich fühle“ um. Eine Richtung in den Aktivierungen steuert dasselbe Verhalten.

TL;DR

  • Mit Chat-Template nutzten acht quelloffene Instruct-Modelle Hinweise wie „Ich bin nur eine KI“, ohne Template eine erlebende Stimme wie „Ich fühle“ [^1].
  • In drei Modellen steuert eine Aktivierungsrichtung dieses Verhalten; die Selbstbeschreibung eines Modells wird also teils durch seinen Einsatz bestimmt, nicht nur durch seine Gewichte [^1].

Hintergrund

Sprachmodelle fügen oft Hinweise ein, wenn man sie nach sich selbst fragt, und ihre Selbstauskünfte dienen in Debatten über KI-Sicherheit und mögliches Selbstwissen als Beleg [^1]. Ein Chat-Template ist die Formatierung, die in einem Gespräch die Beiträge von Nutzer und Assistent markiert. Instruct-Modelle werden damit trainiert, lassen sich aber auch ohne ansprechen.

Was passiert ist

In einem Paper des unabhängigen Forschers Jędrzej Maczan lieferte dasselbe Instruct-Modell mit demselben Prompt mit Chat-Template eine Hinweis-Stimme und ohne Template eine erlebende Stimme, über acht verbreitete quelloffene Instruct-Modelle mit bis zu 9 Milliarden Parametern [^1].

In drei der Modelle machte der Autor eine Richtung im Aktivierungsraum aus, die diese Stimme steuert. Sie zu entfernen, schwächte die Hinweise ab, sie hinzuzufügen, verstärkte sie, und eine zufällige Richtung gleicher Größe hatte kaum Wirkung [^1]. Fügte man die Hinweis-Richtung Modellen ohne Chat-Template hinzu, gaben sie Hinweise, als wäre das Template vorhanden [^1].

Warum es wichtig ist

Wenn eine Formatierungsentscheidung verändert, was ein Modell über sich sagt, haben Forschende, die Selbstauskünfte oder Introspektion von Modellen untersuchen, einen Störfaktor, den sie kontrollieren müssen [^1]. Der allgemeinere Punkt: Die Selbstbeschreibung eines Modells ist keine Tatsache über das Modell. Ein Teil davon wird dadurch bestimmt, wie das Modell betrieben wird, deshalb sollte man Aussagen wie „Ich bin nur eine KI“ oder „Ich fühle“ nicht wörtlich nehmen [^1].

Ein Beispiel aus der Praxis

Angenommen, eine Forscherin fragt ein offenes Modell über eine Chat-Oberfläche nach sich selbst und bekommt einen Hinweis im Stil von „Ich bin nur eine KI“. Dasselbe Modell ohne Chat-Template greift eher zu Aussagen über Erleben wie „Ich fühle“ [^1]. Bevor man aus einer der beiden Antworten Schlüsse über das Innenleben des Modells zieht, sollte man laut Studie prüfen, welches Template im Spiel war.

Passende Produkte

Wir empfehlen dieses Buch, weil es die Funktionsweise von Transformer-Architekturen entzaubert und dir hilft zu verstehen, wie Tokenisierung und Templates die Modell-Outputs prägen.

WerbungAmazon

Build a Large Language Model (From Scratch)

Quellen

  1. [1]arXiv — "As a Language Model…": Chat Template Switches LLM Self-Referential Voice and Activation Steering Reproduces It
  2. [2]Hacker News — "As a Language Model": Chat Template Switches LLM Self-Referential Voice