inferwire
/
KI·2 Min. Lesezeit

JustFit bringt ein 27B-Modell mit 200K Kontext auf einen 24-GB-Mac

Eine MLX-Laufzeit namens JustFit hat den Einzelanfrage-Kontext für Qwen3.8-27B auf einem MacBook mit 24 GiB von 30.720 auf 212.992 Positionen erweitert, durch Speicherverwaltung im richtigen Moment.

TL;DR

  • JustFit, eine Inferenz-Laufzeit für Apples Framework MLX, ließ ein MacBook mit M4 Pro und 24 GiB Qwen3.8-27B mit 196.608 Input- plus 16.384 Output-Tokens ausführen [^1].
  • Damit stieg die längste abgeschlossene Einzelanfrage von 30.720 Positionen mit der Vergleichs-Laufzeit mlx-vlm auf 212.992, das 6,93-Fache [^1].

Hintergrund

Leistungsfähige Modelle mit offenen Gewichten machen es attraktiv, Coding- und Reasoning-Assistenten lokal zu betreiben, doch lange Kontexte und Ausführungszustand erschöpfen den Speicher eines Laptops schnell [^1]. Beim Programmieren auf Repository-Ebene sammeln sich Quelldateien, Tool-Ergebnisse und frühere Versuche über viele Aufrufe an; sie zu verdichten, kann Details verlieren, die spätere Änderungen brauchen [^1]. Der Engpass ist nicht mehr nur, ob die Gewichte des Modells passen, sondern ob Kontext und Arbeitszustand daneben Platz finden [^1].

Was passiert ist

In einem Paper von Yuhua Chen kombiniert JustFit drei Mechanismen: KVExec für das Rechnen auf einem komprimierten Key-Value-Cache, PhaseSwap für die Steuerung, welche Komponenten im Speicher liegen, und StateTrans für den Erhalt des Zustands bei Übergängen im Betrieb [^1]. Zusammen erzeugen sie Daten genau dann, wenn sie gebraucht werden, und geben sie wieder frei, sobald sie überflüssig sind, unabhängig davon, wie die Modellgewichte quantisiert sind [^1].

Auf einem MacBook mit M4 Pro und 24 GiB, auf dem Qwen3.8-27B im Format MXFP4 lief, schlossen drei unabhängige Läufe 196.608 Input- und 16.384 Output-Tokens ab [^1]. Ein separater Lauf mit zwei gleichzeitigen Anfragen hielt insgesamt 229.376 Positionen [^1]. In Leistungstests erzeugte ein Prompt mit 32K Tokens 19,11 Tokens pro Sekunde, und eine wiederholte Last aus 32K plus 6K erreichte einen mittleren Spitzenverbrauch von 16.374 MiB [^1]. Die Laufzeit löste 29 von 30 Aufgaben aus AIME 2026 richtig [^1].

Warum es wichtig ist

Ein starkes Modell lokal zu betreiben, hält privaten Code und Arbeitszustand auf dem eigenen Rechner statt auf einem Server [^1]. Das Paper verweist darauf, dass Qwen3.8-27B bei Reasoning und Coding Benchmark-Werte nahe an Frontier-Modellen meldet; der begrenzende Faktor für nützliche lokale Assistenten ist also zunehmend die Speicherverwaltung, nicht die Modellqualität [^1].

Ein Beispiel aus der Praxis

Angenommen, ein Assistent soll auf einem Laptop mit 24 GB Speicher eine große Codebasis durcharbeiten. Mit einem Standard-Setup auf MLX war in den Tests bei einer Einzelanfrage nach 30.720 Positionen Schluss [^1]. Mit dem Ansatz von JustFit hielt derselbe Rechner 212.992 Positionen in einer Anfrage, genug, um weit mehr vom Repository und seinem Verlauf gleichzeitig vorzuhalten [^1].

Quellen

  1. [1]arXiv — JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management