OpenAI und Partner veröffentlichen MRC zur Härtung von KI-Trainingsnetzwerken

Eine neue Netzwerkschicht für größere KI-Cluster

OpenAI hat Multipath Reliable Connection, kurz MRC, vorgestellt, ein Netzwerkprotokoll für KI-Trainingssysteme im großen Maßstab, bei denen Verzögerungen zwischen GPUs einen gesamten Job ausbremsen können. Das Unternehmen sagte, es habe das Protokoll gemeinsam mit AMD, Broadcom, Intel, Microsoft und NVIDIA entwickelt und die Spezifikation dann über das Open Compute Project veröffentlicht, damit andere Betreiber sie übernehmen können.

Der Schritt zielt auf einen der weniger sichtbaren Engpässe in der Entwicklung von Frontier-Modellen. Trainingsläufe hängen von riesigen Datenmengen ab, die zwischen Beschleunigern bewegt werden, und schon eine verspätete Übertragung kann teure Hardware untätig warten lassen. OpenAI argumentiert, dass mit dem Wachstum der Cluster Staus, Link-Ausfälle und Routing-Probleme so häufig werden, dass das Netzwerkdesign selbst zu einem zentralen Faktor für Trainingsgeschwindigkeit und Zuverlässigkeit wird.

Was MRC beheben soll

In seiner Beschreibung des Systems sagte OpenAI, das Protokoll beruhe auf drei Ideen: mehrstufige Hochgeschwindigkeitsnetzwerke für Redundanz, adaptives Packet Spraying zur Verringerung von Staus im Kern und statisches Source Routing, um Ausfälle zu umgehen. Das Unternehmen stellte diese Entscheidungen als einen Weg dar, Komplexität zu reduzieren und gleichzeitig die Resilienz zu verbessern.

Das grundlegende Problem ist die Größenordnung. Ein moderner Trainingsschritt kann Millionen von Datentransfers über ein Supercomputer-Fabric erfordern. Wenn ein Netzwerkpfad verstopft oder ein Gerät ausfällt, kann sich diese Störung ausbreiten und synchronisierte Arbeit über viele GPUs hinweg zum Stillstand bringen. OpenAI sagte, MRC solle genau verhindern, dass sich solche Probleme ausbreiten, indem Verkehr effektiver verteilt und Ausfälle umgangen werden können, ohne sich auf fragilere Routing-Verhalten verlassen zu müssen.

Drei zentrale Designentscheidungen

• Multi-Plane-Netzwerke sollen Redundanz bieten und dabei weniger Komponenten und weniger Energie verbrauchen als einige Alternativen.
• Adaptives Packet Spraying verteilt den Verkehr auf verschiedene Pfade, um Hotspots im Netzwerkkern zu reduzieren.
• Statisches Source Routing wird im Einsatz verwendet, um Ausfälle zu umgehen und bestimmte Klassen von Routing-Fehlern ganz zu vermeiden.

Warum das über ein einzelnes Unternehmen hinaus wichtig ist

OpenAI verknüpfte die Veröffentlichung mit seiner breiteren Rechenstrategie und den Anforderungen einer Infrastruktur in Stargate-Größe. Das Unternehmen sagte, gemeinsame Standards auf wichtigen Infrastrukturebenen könnten KI-Systemen helfen, sich über ein breiteres Partner-Ökosystem effizienter zu skalieren. Die Veröffentlichung der Spezifikation über OCP signalisiert außerdem, dass das Netzwerkdesign für KI-Cluster zunehmend als gemeinsames Branchenproblem und nicht als privates Implementierungsdetail behandelt wird.

Das ist wichtig, weil die Wirtschaftlichkeit des Modelltrainings nicht nur von Chips und Strom abhängt, sondern auch davon, wie effektiv Betreiber Cluster ausgelastet halten können. Ein Protokoll, das Jitter reduziert und das Umgehen von Ausfällen erleichtert, könnte die Auslastung großer Deployments verbessern, was wiederum beeinflusst, wie schnell neue Modelle trainiert werden können und wie viel Infrastruktur gebaut werden muss, um ein bestimmtes Ziel zu erreichen.

Die Partnerliste unterstreicht auch, wie breit das Problem geworden ist. Da Halbleiterhersteller, Cloud-Infrastrukturbetreiber und Systembauer beteiligt sind, deutet die Veröffentlichung darauf hin, dass KI-Netzwerke zu einer eigenen wichtigen Wettbewerbsschicht werden. Dass OpenAI sich für eine offene Spezifikation statt eines rein proprietären Ansatzes entschieden hat, zeigt die Wette, dass Interoperabilität und Ökosystem-Adoption inzwischen wertvoller sind, als diesen Teil des Stacks geschlossen zu halten.

Das größere Infrastruktursignal

Die Ankündigung ist weniger wegen einer einzelnen Protokollfunktion bemerkenswert als vielmehr deshalb, weil sie zeigt, wo sich der Druck in der KI-Infrastruktur aufbaut. Seit Jahren konzentriert sich die öffentliche Debatte über Modellskalierung auf GPUs. MRC hebt die nächste Begrenzung hervor: Sobald die Zahl der Beschleuniger riesig wird, kann das Netzwerk zwischen ihnen entscheiden, ob theoretische Rechenleistung tatsächlich in nützliche Arbeit umgesetzt wird.

OpenAI argumentiert im Kern, dass der Weg zu größeren und zuverlässigeren Trainingssystemen über einfachere, ausfallsicherere Netzwerk-Fabrics führt. Wenn MRC in realen Deployments wie beschrieben funktioniert, könnte es dazu beitragen, Erwartungen daran zu setzen, wie künftige Hyperscale-KI-Cluster gebaut werden. Mindestens markiert es einen weiteren Schritt in der Industrialisierung der KI-Infrastruktur, bei der Fortschritte zunehmend ebenso sehr aus Systemengineering wie aus Modellarchitektur entstehen.

Dieser Artikel basiert auf Berichterstattung von OpenAI. Den Originalartikel lesen.