Microsoft hat eine Entwickler-Vorabversion von RDMA über USB4 angekündigt, eine Technologie, die es ermöglicht, die Ausführung eines KI-Modells zwischen mehreren Windows-PCs zu verteilen. Der Vorschlag nutzt direkte USB4-Verbindungen, damit kompatible Software den Speicher und die Grafikleistung der beteiligten Geräte verwenden kann.
Die Ankündigung umfasst Demonstrationen auf Plattformen von AMD und Intel. Der Code der Komponenten ist bereits verfügbar, allerdings fehlt noch die Windows-Kompatibilität, die das Testen ermöglichen wird. Microsoft plant, sie in Kürze über den Experimental-Kanal innerhalb des Future Platforms-Zweigs des Windows-Insider-Programms zu verteilen.
Modelle, die nicht in einen einzelnen Computer passen
Der Hauptanwendungsfall besteht in Modellen, deren Größe den in einem Computer verfügbaren Speicher überschreitet. Die Verteilung auf mehrere Computer ermöglicht es, Teile desselben Modells auf verschiedenen Maschinen zu speichern und zu verarbeiten, wobei die Ausführung lokal bleibt.
Dies erfordert ein Programm, das die Arbeit aufteilen kann. Die Verbindung zwischen den PCs macht ihre Speichersektoren nicht automatisch zu einer Erweiterung, die von jeder Windows-Anwendung genutzt werden kann. Microsoft hat eine Variante von llama.cpp veröffentlicht, mit Änderungen, um über NetworkDirect zu arbeiten, die Windows-Schnittstelle für RDMA-Kommunikation.
Der Repository identifiziert spezifische Funktionen für verteilte Ausführung, Rechenoptimierungen und Optionen für Tensor-Parallele. Auch wird klargestellt, dass diese Ergänzungen eine Kompilierung dieser Variante erfordern: Die Installationsprogramme und die üblichen Versionen des ursprünglichen Projekts enthalten die Änderungen nicht automatisch.
Geringere Latenz über dieselbe USB4-Verbindung
RDMA bedeutet direkten Zugriff auf entfernten Speicher. Es ermöglicht den Datentransfer zwischen Speichersektoren verschiedener Systeme, reduziert den Weg durch die herkömmliche Netzschicht und vermeidet zusätzliche Softwareduplikate. Windows verfügt diese Technologie bereits für spezialisierte Adapter; neu ist, sie auf USB4-Verbindungen zwischen kompatiblen PCs zu übertragen.
Microsoft hat Round-Trip-Zeiten von 28 bis 50 Mikrosekunden für kleine Nachrichten gemessen. Sein Vergleich verwendet Ethernet über UDP über dieselbe USB4-Verbindung und setzt die Latenz von RDMA etwa auf ein Viertel.
Die veröffentlichte Grafik präzisiert 28 Mikrosekunden im Vergleich zu 128 für Nachrichten von 64 Byte, und 50 gegenüber 194 für Nachrichten von 16 KiB. Die Verbesserung hängt von der Größe der Nachricht ab und beschreibt die Kommunikation zwischen Maschinen, ohne die Generierungsrate des Modells tatsächlich um das Vierfache zu erhöhen.
Die Implementierung sieht Verbindungen von 40 und 80 Gbit/s vor. Microsoft weist darauf hin, dass beide eine geringere Latenz erreichen, während 80 Gbit/s das doppelte nominale Bandbreite bereitstellen. Dieser Unterschied kann bei Lasten nützlich sein, die mehr Daten übertragen, wie die Verarbeitung von Eingaben mit langen Kontexten.
Drei AMD-PCs für Qwen3 und bis zu vier Intel-Systeme für GPT-OSS
Eine Demonstration verwendet drei Mini-PCs mit Ryzen AI Max+ 395, Radeon-Grafiken 8060S und 128 GB gemeinsamem Speichersystem pro Gerät. Zusammen ergeben sie 384 GB physischer Speicher, wobei ein Teil dieses Speichers dem Betriebssystem und der Software selbst zu Gute kommt. Verbunden über USB4 mit 40 Gbit/s führen sie Qwen3-235B-A22B mit Vier-Bit-Quantisierung aus.
Microsoft meldet in ihrem Labor ungefähr 18,5 Token pro Sekunde. AMD verzeichnet bei eigener Konfiguration 21,98 Token pro Sekunde.
Intel hat seinerseits GPT-OSS-120B mit Geräten der Core Ultra Series 3, Thunderbolt-4-Verbindungen und 64 GB Speicher pro Computer getestet. Bei einem Kontext von 1.000 Token erzielt es 49,4 Token pro Sekunde mit drei PCs und 54,2 mit vier.
Die Tabelle zeigt außerdem eine Zeit bis zum ersten Token von 1,1 Sekunden bei drei Geräten und 1,2 Sekunden bei vier in diesem Test. Das Hinzufügen einer Maschine erhöht die verfügbare Kapazität, aber diese Ergebnisse zeigen, dass nicht alle Messwerte im gleichen Tempo besser werden.

Jeder Computer benötigt eine direkte Verbindung zu den anderen
Die Verbindung der Geräte in einer Kette reduziert die Leistung erheblich, warnte das Unternehmen. Außerdem müssen sie dieselbe kompatible Windows-Build verwenden und passende Versionen der Testkomponenten einsetzen. Der NetworkDirect-Anbieter enthält Werkzeuge zur Überprüfung der Verbindungen und erfordert eine korrekte Konfiguration der Netzwerkschnittstellen.
Die Vorphase erfordert das Aktivieren der Testsignierung und das Deaktivieren von Secure Boot, weshalb Microsoft sie für Testgeräte vorsieht. Außerdem muss die Anwendung die Verbindung wiederherstellen, falls sie unterbrochen wird, da der Transport nicht automatisch versucht, die Verbindung erneut herzustellen.
Es gibt noch kein Datum, RDMA über USB4 in eine stabile Windows-Version zu integrieren. Die nächste Phase wird darin bestehen, die erforderliche Insider-Build zu veröffentlichen, damit Entwickler das Paket testen können.