OpenAI et ses partenaires lancent MRC pour renforcer les réseaux d’entraînement de l’IA

Une nouvelle couche réseau pour des clusters d’IA plus grands

OpenAI a présenté Multipath Reliable Connection, ou MRC, un protocole réseau conçu pour les systèmes d’entraînement de l’IA à grande échelle, où les retards entre GPU peuvent ralentir toute une tâche. L’entreprise a indiqué avoir développé ce protocole avec AMD, Broadcom, Intel, Microsoft et NVIDIA, puis publié la spécification via l’Open Compute Project afin que d’autres opérateurs puissent l’adopter.

Cette initiative vise l’un des goulets d’étranglement les moins visibles du développement des modèles de pointe. Les entraînements reposent sur d’énormes volumes de données circulant entre les accélérateurs, et un seul transfert tardif peut laisser du matériel coûteux en attente, inutilisé. OpenAI affirme qu’à mesure que les clusters grandissent, la congestion, les pannes de liaison et les problèmes de routage deviennent suffisamment fréquents pour que la conception du réseau elle-même soit un déterminant essentiel de la vitesse et de la fiabilité de l’entraînement.

Ce que MRC doit corriger

Dans sa description du système, OpenAI a expliqué que le protocole repose sur trois idées : des réseaux haute vitesse multi-planes pour la redondance, un « packet spraying » adaptatif pour réduire la congestion au cœur du réseau, et un routage source statique pour contourner les pannes. L’entreprise a présenté ces choix comme un moyen de réduire la complexité tout en améliorant la résilience.

Le problème fondamental est celui de l’échelle. Une étape d’entraînement moderne peut nécessiter des millions de transferts de données à travers le tissu d’un supercalculateur. Si un chemin réseau se congestionne ou si un appareil tombe en panne, cette perturbation peut se propager et bloquer le travail synchronisé sur de nombreuses GPU. OpenAI a indiqué que MRC vise à empêcher ces problèmes de se propager en répartissant le trafic plus efficacement et en permettant de contourner les pannes sans s’appuyer sur un comportement de routage plus fragile.

Trois choix de conception essentiels

• Le réseau multi-plane est conçu pour offrir de la redondance tout en utilisant moins de composants et moins d’énergie que certaines alternatives.
• Le « packet spraying » adaptatif répartit le trafic sur plusieurs chemins afin de réduire les points chauds dans le cœur du réseau.
• Le routage source statique est utilisé en déploiement pour contourner les pannes et éviter entièrement certaines classes de défaillances de routage.

Pourquoi cela compte au-delà d’une seule entreprise

OpenAI a relié cette publication à sa stratégie de calcul plus large et aux besoins d’une infrastructure à l’échelle de Stargate. L’entreprise a indiqué que des normes partagées aux couches d’infrastructure clés peuvent aider les systèmes d’IA à monter en charge plus efficacement dans un écosystème élargi de partenaires. La publication de la spécification via l’OCP montre aussi que la conception réseau des clusters d’IA commence à être considérée comme un problème industriel partagé plutôt que comme un simple détail d’implémentation privé.

Cela compte, car l’économie de l’entraînement des modèles ne dépend pas seulement des puces et de l’énergie, mais aussi de la capacité des opérateurs à maintenir les clusters occupés efficacement. Un protocole qui réduit la variabilité et facilite le contournement des pannes pourrait améliorer l’utilisation à grande échelle, ce qui influe à son tour sur la vitesse à laquelle de nouveaux modèles peuvent être entraînés et sur le niveau d’infrastructure à construire pour atteindre un objectif donné.

La liste des partenaires souligne également l’ampleur prise par le problème. Avec des fournisseurs de semi-conducteurs, des opérateurs d’infrastructure cloud et des constructeurs de systèmes impliqués, cette publication suggère que le réseau IA devient une couche concurrentielle à part entière. Le fait qu’OpenAI ait choisi une spécification ouverte plutôt qu’une approche purement propriétaire laisse penser qu’elle parie désormais davantage sur l’interopérabilité et l’adoption par l’écosystème que sur le maintien fermé de cette partie de la pile.

Le signal infrastructurel plus large

L’annonce est notable moins pour une fonctionnalité précise du protocole que parce qu’elle montre où se concentre la pression sur l’infrastructure IA. Pendant des années, la conversation publique sur la montée en échelle des modèles s’est focalisée sur les GPU. MRC met en évidence la contrainte suivante : une fois que le nombre d’accélérateurs devient massif, le réseau qui les relie peut décider si la puissance de calcul théorique se transforme réellement en travail utile.

OpenAI soutient en pratique que la voie vers des systèmes d’entraînement plus grands et plus fiables passe par des tissus réseau plus simples et plus tolérants aux pannes. Si MRC tient ses promesses dans des déploiements réels, il pourrait contribuer à fixer les attentes quant à la manière dont seront construits les futurs clusters d’IA à l’échelle hyperscale. Au minimum, cela marque une nouvelle étape dans l’industrialisation de l’infrastructure IA, où les progrès viennent de plus en plus autant de l’ingénierie système que de l’architecture des modèles.

Cet article est basé sur un reportage d’OpenAI. Lire l’article original.