inferwire
/
KI·3 Min. Lesezeit

Vier Intel-AI-PCs teilen sich Llama 3.1 70B

Ein Paper mit Intel-Beteiligung verteilt LLMs schichtweise auf ungenutzte AI-PCs. Vier Lunar-Lake-Rechner schafften mit Llama 3.1 70B 5,42 Tokens pro Sekunde, genau an der Schwelle für flüssigen Chat.

TL;DR

  • Ein Paper von Tate Berenbaum von Not Community Labs und Muthaiah Venkatachalam von Intel verteilt ein Sprachmodell schichtweise auf mehrere Intel-AI-PCs [^1].
  • Vier Lunar-Lake-Rechner betrieben Llama 3.1 70B mit 5,42 Tokens pro Sekunde für einen Nutzer, genau an der Schwelle der Autoren für interaktiven Chat [^1].

Hintergrund

Intel-AI-PCs haben integrierte GPUs, NPUs und 16 GB oder mehr gemeinsamen Speicher und stehen oft ungenutzt herum [^1]. Für Llama 3.1 70B reicht das nicht, denn es braucht auf 4 Bit quantisiert etwa 36 GB [^1]. Pipeline-Parallelität gibt jedem Rechner einen Ausschnitt der Modellschichten. Petals betrieb BLOOM-176B bereits über das Internet verteilt auf Consumer-GPUs mit etwa einem Schritt pro Sekunde [^2]. Auf Consumer-Hardware ist das Netzwerk das Problem, da jedes Token nacheinander durch alle Rechner muss [^1].

Was passiert ist

Das System kompiliert jeden Ausschnitt vorab in einen INT4-OpenVINO-Graphen und stützt sich auf drei Techniken [^1]. Erstens lief ein naiver Export pro Ausschnitt 13 bis 23 Prozent langsamer als das ungeteilte Modell, weil eine Optimierung des OpenVINO-GPU-Plugins nicht griff; eine zusätzlich eingefügte beam_idx-Gather-Operation in jedem Teil löste diese Optimierung aus und brachte die Teile bis auf 4 Prozent an das ungeteilte Modell heran [^1]. Zweitens macht es spekulatives Dekodieren nutzbar, bei dem ein kleines Entwurfsmodell mehrere Tokens vorschlägt und das große Modell sie in einem Durchgang prüft. Statt abgelehnte Entwurfstokens physisch aus dem Cache zu löschen, was etwa 48 Millisekunden pro Aufruf kostete, blendet es sie per Maske aus, mit bitgenau gleichen Ergebnissen und praktisch ohne Kosten [^1]. Drittens verschränkt es Anfragen mehrerer Nutzer über die Stufen hinweg, jede mit eigenem Cache [^1].

Auf drei per WLAN verbundenen Laptops, zwei ASUS Zenbook S 14 mit Lunar Lake und einem HP OmniBook X 16 mit Panther Lake, bediente eine Pipeline aus zwei Rechnern mit Llama 3.1 8B zwei Nutzer mit zusammen 43,97 Tokens pro Sekunde, dem 1,79-Fachen der Einzelnutzer-Geschwindigkeit des ungeteilten Modells auf derselben Hardware [^1]. Für das große Modell teilten die Autoren Llama 3.1 70B in vier Teile von je etwa 9 GB und ließen sie auf vier AI-PC-Instanzen in Intels Tiber Cloud laufen, verbunden über die Relay-Server von Tailscale [^1]. Ohne spekulatives Dekodieren schaffte die Pipeline 1,74 Tokens pro Sekunde, mit 5,42 Tokens pro Sekunde für einen Nutzer, bei identischen Tokens [^1]. Mit einem Panther-Lake-Koordinator und zwei Nutzern erreichte der Gesamtdurchsatz 6,43 Tokens pro Sekunde, also 3,21 pro Nutzer [^1].

Warum es wichtig ist

Der Reiz liegt in Kosten und Datenhoheit: Eine ohnehin vorhandene Flotte von Büro-PCs könnte ein Modell ohne Cloud-Abhängigkeit und ohne Zusatzkosten bereitstellen [^1]. Die Zahlen zeigen, wie knapp das ist. Die Autoren setzen die Untergrenze für interaktiven Chat bei 5 Tokens pro Sekunde an; eine 70B-Flotte aus vier Rechnern liegt für einen Nutzer also genau an der Grenze und fällt bei zwei Nutzern darunter [^1]. Spekulatives Dekodieren hilft dort am meisten, wo das Netzwerk der Engpass ist: Innerhalb eines Prozesses brachte es das 1,24- bis 1,44-Fache, über die Relay-Verbindung das 3,11-Fache, weil jede Prüfung mehrere Tokens pro Netzwerk-Umlauf abdeckt [^1]. Code, Benchmark-Rohdaten und Skripte zum Nachvollziehen sind veröffentlicht [^1].

Ein Beispiel aus der Praxis

Angenommen, in deinem Büro stehen vier Lunar-Lake-Laptops mit je 32 GB Speicher, die nach Feierabend ungenutzt sind, und du willst ein 70B-Modell betreiben, ohne Daten an einen Cloud-Dienst zu schicken. Nach diesem Paper würdest du das Modell in vier INT4-Teile von je etwa 9 GB zerlegen, auf jeden Rechner einen legen und auf dem koordinierenden Rechner ein kleines Entwurfsmodell wie Llama 3.2 1B laufen lassen [^1]. Du könntest mit etwa fünf Tokens pro Sekunde für einen einzelnen Nutzer rechnen, genug für einen gemächlichen Chat, aber nicht für mehrere Leute gleichzeitig [^1].

Passende Produkte

Wir empfehlen dieses Buch, weil es die grundlegenden Prinzipien von Netzwerkarchitekturen, Pipeline-Koordination und fehlertolerantem verteiltem Rechnen vermittelt.

WerbungAmazon

Distributed Systems: Principles and Paradigms

Quellen

  1. [1]arXiv — Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets
  2. [2]arXiv — Petals: Collaborative Inference and Fine-tuning of Large Models