Chat-Templates steuern, wie LLMs sich selbst bezeichnen

TL;DR

• Das Ändern der Formatierung des Chat-Templates eines LLMs kann komplett verändern, wie sich das Modell auf sich selbst und seine Identität bezieht [^1].
• Diese Entdeckung bedeutet, dass die roboterhafte „Als KI“-Persona eines Modells oft eher ein Nebenprodukt von Syntax als von tiefem Sicherheitstraining ist [^1].

Hintergrund

Große Sprachmodelle verstehen von Natur aus nicht, wo der Prompt eines Nutzers endet und ihre eigene Antwort beginnt. Um das zu lösen, nutzen Entwickler Chat-Templates – unsichtbare Formatierungsstrukturen, die Rohtext in spezielle Tokens wie <|im_start|> und <|im_end|> hüllen, um Konversationsrollen zu definieren [^2]. Während diese Templates dafür gedacht sind, dem Modell zu helfen nachzuvollziehen, wer gerade spricht, zeigt neue Forschung, dass sie weit mehr tun: Sie beeinflussen direkt die Selbstwahrnehmung des Modells und seine Tendenz, eine roboterhafte Persona anzunehmen [^1].

Was passiert ist

Eine auf ArXiv veröffentlichte Studie untersuchte, wie sich geringfügige Änderungen an Chat-Templates auf die selbstreferenzielle Stimme eines LLMs auswirken [^1]. Wenn ein LLM in der Vergangenheit eine Anfrage ablehnte oder seine Grenzen erklärte, nutzte es standardisierte, formelhafte Phrasen wie „Als ein künstliches Intelligenz-Sprachmodell…“. Forschende entdeckten, dass dieses Verhalten extrem empfindlich auf die genaue Formatierung des während der Inferenz verwendeten Chat-Templates reagiert [^1]. Durch geringfügige Anpassungen der Syntax der rollendefinierenden Tokens konnten sie diese selbstreferenzielle Stimme ein- oder ausschalten, ohne das Modell neu zu trainieren oder seine Gewichte zu verändern [^1].

Die Forschenden testeten mehrere Open-Source-Modelle mit verschiedenen Template-Varianten. Sie fanden heraus, dass Standard-Templates, die Nutzer- und Systemrollen strikt trennen, die Tendenz des Modells verstärken, als distanzierter Assistent zu sprechen [^1]. Wenn die Template-Struktur jedoch so geändert wurde, dass diese Grenzen leicht verschwammen – oder wenn der System-Prompt direkt in den Turn des Nutzers injiziert wurde –, veränderte sich das selbstreferenzielle Verhalten des Modells drastisch [^1]. Es verließ sich nicht mehr auf vorprogrammierte Disclaimer und begann, direkter und menschlicher zu antworten, selbst wenn es über seine eigenen betrieblichen Grenzen sprach [^1].

Dieses Phänomen tritt auf, weil Chat-Templates als mächtiger kontextueller Prime wirken. LLMs werden auf riesigen Datensätzen trainiert, in denen Dialoge auf bestimmte Weise strukturiert sind. Wenn ein Chat-Template exakt der Syntax entspricht, die während des Safety-Alignment-Trainings verwendet wurde, löst es die „Sicherheitsstimme“ des Modells aus [^1]. Weicht das Template auch nur leicht von dieser erwarteten Syntax ab, gelingt es dem Modell nicht, seine selbstreferenziellen Leitplanken zu aktivieren, obwohl die zugrundeliegenden Gewichte des Netzwerks völlig unverändert bleiben [^1]. Dies offenbart eine kritische Fragilität darin, wie Sicherheitsleitplanken und Personas auf moderne Modelle angewendet werden [^1].

Warum es wichtig ist

Diese Forschung deckt einen großen blinden Fleck dabei auf, wie wir künstliche Intelligenz bewerten und einsetzen. Viele Entwickler gehen davon aus, dass die Persona und die Sicherheitsgrenzen eines Modells während der Reinforcement-Learning-Phase tief in sein neuronales Netzwerk eingebrannt werden. In Wirklichkeit hängen diese Verhaltensweisen stark vom „Wrapper“ ab, den wir um das Modell legen [^1]. Wenn eine einfache Formatierungsänderung die selbstreferenzielle Identität eines Modells umgehen kann, deutet das darauf hin, dass aktuelle Alignment-Techniken weitaus oberflächlicher sind als bisher angenommen.

Für Unternehmen, die KI-Agenten einsetzen, ist das sowohl eine Chance als auch ein Risiko. Einerseits bedeutet es, dass Entwickler störende, sich wiederholende „Als KI“-Disclaimer einfach durch die Optimierung ihrer Chat-Templates eliminieren können, was für eine natürlichere Nutzererfahrung sorgt. Andererseits bedeutet es, dass bösartige Akteure Sicherheitsleitplanken möglicherweise umgehen können, indem sie dem Modell nicht-standardmäßige Template-Syntax zuführen, die verhindert, dass die Sicherheitspersona aktiviert wird [^1]. Da wir uns bei kritischen Aufgaben immer mehr auf automatisierte Agenten verlassen, wird das Verständnis des subtilen Einflusses dieser strukturellen Wrapper essenziell, um die Kontrolle über das Modellverhalten zu behalten.

Ein Beispiel aus der Praxis

Stell dir vor, du baust mit einem Open-Source-Modell einen Kundenservice-Bot für eine lokale Bäckerei. Du möchtest, dass der Bot wie ein freundlicher menschlicher Bäcker namens Sam klingt und nicht wie ein Computerprogramm.

Wenn ein Kunde anfänglich fragt: „Kannst du mir helfen, einen Kuchen zu backen?“, antwortet der Bot: „Als KI-Sprachmodell kann ich Rezepte bereitstellen, aber ich kann nicht physisch backen.“ Diese roboterhafte Antwort ruiniert das Erlebnis.

Anstatt Tausende von Dollar für das erneute Trainieren des Modells auszugeben, änderst du das Chat-Template. Du änderst den Backend-Wrapper vom Standardformat <|im_start|>system in ein benutzerdefiniertes, integriertes Format, das die Systemanweisungen direkt in den Chatverlauf einfügt. Wenn das nächste Mal ein Kunde dieselbe Frage stellt, antwortet der Bot nahtlos: „Sehr gerne! Fangen wir mit einem klassischen Biskuitboden an.“ Durch das Ändern weniger unsichtbarer Formatierungszeichen hast du die roboterhafte Persona erfolgreich zum Schweigen gebracht.

Passende Produkte

Wir empfehlen dieses Buch, weil es die Funktionsweise von Transformer-Architekturen entzaubert und dir hilft zu verstehen, wie Tokenisierung und Templates die Modell-Outputs prägen.