Intel AI-PC-Flotten führen 70B-Modelle per Pipeline-Sharding aus

TL;DR

• Forschende stellten ein Framework vor, das große Sprachmodelle in vorkompilierte Pipeline-Shards aufteilt und über normale Büronetzwerke auf ungenutzte Intel AI-PCs verteilt.
• Das System ermöglicht lokalen Workstation-Flotten, KI-Modelle mit 70 Milliarden Parametern ohne dedizierte Server-Hardware oder Cloud-API-Gebühren auszuführen.

Hintergrund

Moderne Desktop- und Laptop-Computer mit integrierten Grafikchips und Neural Processing Units liegen bei alltäglichen Büroaufgaben oft brach. Obwohl einzelne Consumer-PCs über Unified-Memory-Architekturen verfügen, die kompakte Modelle ausführen können, übersteigen große neuronale Netze mit 70 Milliarden Parametern die physische Speicherkapazität einer einzelnen Workstation bei Weitem. Unternehmen setzen gewöhnlich auf teure Rechenzentrum-Grafikkarten oder zahlen laufende Cloud-Computing-Gebühren, um diese größeren Basismodelle auszuführen.

Was passiert ist

Ein Forschungsteam aus der Informatik hat ein verteiltes Inferenzsystem vorgestellt, das die Rechenkapazität aus Flotten von Consumer-Intel-AI-PCs nutzt [^1]. Anstatt zu versuchen, ein riesiges 70-Milliarden-Parameter-Modell auf ein einzelnes System zu zwängen, teilt die Architektur das neuronale Netz mittels Pipeline-Parallelismus Schicht für Schicht über mehrere vernetzte Desktop-Computer auf [^1]. Jede beteiligte Workstation führt einen sequentiellen Shard der Modellschichten aus und übergibt zwischenzeitliche Tensor-Aktivierungen über normales WLAN oder lokale Ethernet-Netzwerke an den nächsten Rechner [^1].

Um typische Engpässe bei der Netzwerkübertragung in lokalen Netzwerken zu überwinden, vorkompiliert das Framework neuronale Ausführungsgraphen speziell für integrierte Grafikprozessoren und Neural Processing Units [^1]. Die statische Kompilierung eliminiert den Übersetzungsoverhead zur Laufzeit und sorgt vor Beginn der Ausführung für deterministische Speicherzuweisungen über Unified-Memory-Pools hinweg [^1]. Das Framework kombiniert diese Vorkompilierung mit einem optimierten Ausführungs-Scheduling. So überschneidet sich der Datentransfer über lokale Netzwerke direkt mit aktiven Tensor-Berechnungen auf benachbarten Knoten [^1].

Experimentelle Auswertungen auf echter Büro-Hardware zeigten, dass vier bis sechs Consumer-Laptops im Verbund 70-Milliarden-Parameter-Modelle mit flüssigen, interaktiven Generierungsgeschwindigkeiten bereitstellen können [^1]. Die Architektur baut auf grundlegenden dezentralen Konzepten wie Petals auf, das die kollaborative Modellausführung über Weitverkehrsnetze demonstrierte, und passt Pipeline-Sharding an latenzarme lokale Hardware-Beschleuniger an [^2].

Warum es wichtig ist

Diese Architektur verändert die Kosten- und Bereitstellungsdynamik für IT-Abteilungen in Unternehmen. Statt teure Server-Beschleuniger für zehntausende Dollar zu kaufen oder laufende Kosten für Cloud-APIs zu tragen, können Organisationen auf bereits vorhandene Rechenressourcen zugreifen. Typische Büroflotten in Unternehmen verfügen über hunderte Gigabyte an kumuliertem Unified Memory, verteilt auf ungenutzte Desktop-Rechner. Das Erschließen dieser ungenutzten Kapazität ermöglicht es Unternehmen, leistungsfähige KI-Modelle vollständig innerhalb ihres internen lokalen Netzwerks zu betreiben.

Für datenschutzsensible Branchen löst das Ausführen großer Modelle auf verteilten lokalen Flotten langjährige Herausforderungen beim Datenschutz und bei der Compliance. Finanzinstitute, Anwaltskanzleien und Gesundheitsdienstleister unterliegen oft strengen Vorgaben, die das Senden vertraulicher Dokumente an externe Cloud-Anbieter untersagen. Pipeline-Sharding über lokale Hardware-Flotten liefert die Analyseleistung riesiger Modelle und stellt gleichzeitig sicher, dass sensible Betriebsdaten die Unternehmens-Firewall niemals verlassen.

Aus Sicht des Hardware-Lebenszyklus verlängert die verteilte lokale Inferenz die Nutzbarkeit von Workstation-Investitionen. Wenn die Software-Anforderungen steigen, veralten Unternehmenssysteme meist vorzeitig, weil einzelnen Geräten die nötige Speicherkapazität für moderne Workloads fehlt. Das Verwandeln isolierter Consumer-Geräte in ein einheitliches Rechennetzwerk ermöglicht es Organisationen, ihre lokale Inferenzkapazität schrittweise zu skalieren – einfach durch das Hinzufügen weiterer Workstations zum lokalen Netzwerk-Pool.

Schließlich adressiert dieser Ansatz umfassendere Herausforderungen bei der Energie- und Bandbreiteneffizienz in Unternehmensnetzwerken. Die Datenverarbeitung direkt am lokalen Edge vermeidet die Latenz und den ständigen Bandbreiten-Overhead, der beim Streamen großer Kontextfenster an entfernte Rechenzentren entsteht. Systemadministratoren erhalten eine feingranulare Kontrolle über die Rechenzeitverteilung: Sie können Hintergrundaufgaben an ungenutzte Rechner leiten und gleichzeitig die volle Reaktionsfähigkeit der Systeme für aktive Nutzer erhalten.

Ein Beispiel aus der Praxis

Stell dir eine Anwaltskanzlei vor, in der an einem Dienstagmorgen sechs Mitarbeiter-Laptops mit dem Büronetzwerk verbunden sind. Keiner dieser Laptops kann für sich allein ein 70-Milliarden-Parameter-Modell zur Rechtsanalyse laden, das über 140 Gigabyte Unified Memory benötigt, um flüssig zu laufen.

Wenn ein Anwalt einen komplexen, 80-seitigen Vertrag zur Prüfung einreicht, teilt die lokale Dispatch-Software das Modell auf vier ungenutzte Laptops im Netzwerk auf. Laptop A verarbeitet die ersten 20 Modellschichten auf seiner integrierten Neural Processing Unit und übergibt den resultierenden Daten-Tensor an Laptop B. Laptop B führt die nächsten 20 Schichten aus und leitet seine Ausgabe an Laptop C weiter, der die Kette fortsetzt.

Die vollständige Dokumentenanalyse ist in unter drei Sekunden direkt im lokalen Netzwerk der Kanzlei abgeschlossen. Keine vertraulichen Kundendaten verlassen das Büro, es werden keine Cloud-API-Tokens abgerechnet und die Kanzlei erzielt Enterprise-Performance mit vorhandenen Desktop-Computern.

Passende Produkte

Wir empfehlen dieses Buch, weil es die grundlegenden Prinzipien von Netzwerkarchitekturen, Pipeline-Koordination und fehlertolerantem verteiltem Rechnen vermittelt.