inferwire
/
KI·4 Min. Lesezeit

Warum dein lokales LLM dümmer wirkt: Präzisionstests mit Qwen3.6-27B

Tests mit Qwen3.6-27B zeigen: Attention-Backend, quantisierter KV-Cache und 4-Bit-Gewichte verändern die Ausgaben eines lokalen Modells, und manche Setups scheiterten an Tool-Aufrufen.

TL;DR

  • In einem Beitrag im Level1Techs-Forum zeigte Nutzer thr3e: Schon ein anderes Attention-Backend ließ Qwen3.6-27B spät in langen Prompts andere nächste Tokens wählen [^1].
  • Ein auf int4 quantisierter KV-Cache oder 4-Bit-Gewichte führten bei einer Agentenaufgabe mit 100.000 Tokens zu fehlgeschlagenen Tool-Aufrufen, während die 8-Bit-Setups die Aufrufe richtig ausführten [^1].

Hintergrund

Offene Modelle laufen zu Hause oft quantisiert, also mit Gewichten oder Caches in geringerer Präzision, um Speicher zu sparen. Enttäuscht so ein Setup, liegt es nicht unbedingt am Modell. Jede Kombination aus Hardware und Software berechnet das nächste Token ein wenig anders, selbst mit denselben Gewichten; der nächtliche vLLM-Container für diese Tests enthielt 734 Pakete [^1]. Messen lässt sich der Unterschied, indem man die Logits, also die Werte, die ein Modell jedem möglichen nächsten Token gibt, mit einer Referenz vergleicht.

Was passiert ist

Die Tests liefen mit dem offiziellen BF16-Checkpoint von Qwen3.6-27B auf einer RTX PRO 6000 Blackwell mit einem festgelegten Nightly-Build von vLLM [^1]. Als Arbeitslast diente „Prompt 2“, ein Kontext von rund 100.000 Tokens aus einem echten Laborprojekt mit mehreren Tool-Aufrufen, der in keinem Benchmark und keinem Trainingsdatensatz vorkommt. Alle 32 Prompt-Tokens wurden die Logits aufgezeichnet [^1]. Der Beitrag nutzt zwei Maße: die KL-Divergenz, die angibt, wie weit sich die Wahrscheinlichkeitsverteilung von der Referenz entfernt hat, und die Top-1-Übereinstimmung, also ob das Token mit dem höchsten Wert dasselbe ist. Eine geringere Divergenz heißt näher an der Referenz, nicht automatisch klüger [^1].

Im ersten Test änderte sich nur das Attention-Backend: FlashAttention 2, FlashInfer oder Triton [^1]. In den ersten paar Tausend Tokens waren sich alle drei bei jedem nächsten Token einig; später im Prompt wichen sie voneinander ab. Wiederholte Läufe mit demselben Backend lieferten bitgenau identische Logits, die Unterschiede kamen also aus der Arithmetik der Backends, nicht aus Zufallsrauschen [^1]. Die Abweichungen traten gehäuft auf und hingen vom Inhalt des Prompts ab, statt gleichmäßig mit seiner Länge zuzunehmen [^1].

Der zweite Test ließ die Gewichte bei BF16 und quantisierte nur den KV-Cache. Das führte zu einem reproduzierbaren Fehler bei Tool-Aufrufen: Mit BF16-Cache lief alles, mit int8 fing sich das Modell irgendwann wieder, mit int4 nicht [^1]. Der dritte Test verglich vier quantisierte Versionen der Gewichte mit der BF16-Referenz. Eine INT8-W8A16-Version aus der Community lag am nächsten an der Referenz, vor Qwens offizieller FP8-Version. NVIDIAs NVFP4-Version landete auf dem letzten Platz, mit etwa 50 Prozent abweichenden nächsten Tokens bei 88.000 Tokens Kontext, allerdings lief sie in diesem Setup über einen reinen Gewichts-Fallback statt mit nativer FP4-Arithmetik [^1]. Die NVFP4- und die AWQ-4-Bit-Version schlossen ihre Tool-Aufrufe nicht richtig ab und führten den falschen Cisco-Befehl aus, „show run“ statt „show arp“; die FP8- und die INT8-Version setzten die richtigen Aufrufe ab [^1].

Warum es wichtig ist

Ein Modell, das zu Hause schlechter wirkt als in den Benchmarks seines Herstellers, führt womöglich eine andere Berechnung aus, statt ein schlechteres Modell zu sein [^1]. In diesen Tests zeigten sich die Effekte spät in langen Kontexten und bei Tool-Aufrufen, also genau dort, wo lokale Agenten ihre Zeit verbringen, und schnelle Tests übersehen sie: Der Beitrag warnt davor, die Temperatur auf null zu setzen, drei Testprompts einzufügen und das Modell danach für gut oder schlecht zu erklären [^1]. Er rät auch zur Vorsicht bei unglaublich niedrigen Divergenzwerten auf Modellkarten quantisierter Versionen, die wenig aussagen, solange der Autor nicht Referenz-Checkpoint, Evaluierungstext, Kontextlängen und die Art der Auswertung offenlegt [^1].

Für das INT8-Ergebnis gibt es eine teilweise Erklärung: Diese Version hält die Aktivierungen bei 16 Bit und lässt die Linear-Attention-Projektionen des Modells unquantisiert [^1]. Der Beitrag ist der erste Teil einer Serie, weitere Experimente sind geplant [^1].

Ein Beispiel aus der Praxis

Angenommen, du nutzt Qwen3.6-27B lokal als Coding-Agenten, und tief in langen Sessions verstümmelt er plötzlich Tool-Aufrufe. Bevor du dem Modell die Schuld gibst, prüfst du die Sampler-Einstellungen und das Chat-Template auf der Modellkarte, denn eine zu niedrige Temperatur kann Qwen in seiner Denkausgabe in Schleifen festhalten [^1]. Danach prüfst du, ob dein KV-Cache auf 4 Bit quantisiert ist und welche quantisierten Gewichte du heruntergeladen hast. In diesen Tests waren ein BF16- oder int8-Cache und 8-Bit-Gewichte die Setups, die die Tool-Aufrufe richtig ausführten [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es die genauen internen Mechanismen von Tokenizern, Kontextfenstern und Sampling-Parametern erklärt, die die Leistung lokaler Modelle bestimmen.

WerbungAmazon

Build a Large Language Model (From Scratch)

Quellen

  1. [1]Level1Techs Forums — Why your local LLM feels dumber than it is
  2. [2]Hacker News — Why your local LLM feels dumber than it is