より大規模なAIクラスター向けの新しいネットワーク層
OpenAIはMultipath Reliable Connection、略してMRCを導入した。これは、GPU間の遅延がワーク全体を遅らせる可能性のある大規模AI学習システム向けに設計されたネットワークプロトコルだ。同社はAMD、Broadcom、Intel、Microsoft、NVIDIAと共同でこのプロトコルを開発し、その仕様をOpen Compute Project経由で公開したため、他の運用者も採用できる。
この動きは、フロンティアモデル開発におけるあまり目に見えないボトルネックの1つを狙っている。学習処理はアクセラレータ間で膨大なデータをやり取りすることに依存しており、たった1回の遅延した転送でも高価なハードウェアを待機状態にしてしまう。OpenAIは、クラスターが大きくなるにつれて、混雑、リンク障害、ルーティングの問題が十分に頻発し、ネットワーク設計そのものが学習速度と信頼性を左右する主要因になると主張している。
MRCが解決しようとしているもの
OpenAIによるシステム説明では、このプロトコルは3つの考え方を軸にしているという。冗長性のためのマルチプレーン高速ネットワーク、コアの混雑を減らすための適応的パケットスプレー、そして障害を回避するための静的ソースルーティングだ。同社は、これらの選択を複雑さを減らしつつ耐障害性を高める方法として位置づけている。
基本的な問題は規模だ。現代の学習ステップでは、スーパーコンピュータのファブリック全体で数百万回のデータ転送が必要になることがある。ネットワーク経路が混雑したり、デバイスが故障したりすると、その乱れは波及し、多数のGPUにまたがる同期処理を停止させる可能性がある。OpenAIによれば、MRCはトラフィックをより効果的に分散し、より脆弱なルーティング動作に頼らずに障害を迂回できるようにすることで、こうした問題の拡大を防ぐことを目的としている。
3つの中核的な設計選択
- マルチプレーンネットワークは、いくつかの代替案より少ない部品と少ない電力で冗長性を提供することを意図している。
- 適応的パケットスプレーは、ネットワークコア内のホットスポットを減らすためにトラフィックを経路全体に分散する。
- 静的ソースルーティングは、障害を回避し、特定の種類のルーティング障害そのものを避けるために導入時に使われる。
なぜこれが1社を超えて重要なのか
OpenAIは今回の公開を、自社のより広い計算戦略とStargate規模のインフラ需要に結び付けた。同社は、重要なインフラ層における共通標準が、より広いパートナーエコシステム全体でAIシステムのスケールをより効率的にする助けになると述べている。OCP経由で仕様を公開したことは、AIクラスターのネットワーク設計が私的な実装詳細ではなく、業界全体で共有される問題として扱われ始めていることも示している。
これは、モデル学習の経済性がチップや電力だけでなく、運用者がクラスターをどれだけ効率よく稼働させ続けられるかにも左右されるからだ。ジッターを減らし、障害の迂回を容易にするプロトコルは、大規模展開での利用率を高め、その結果、新しいモデルをどれだけ速く学習できるか、そして所定の目標に到達するためにどれだけのインフラを構築しなければならないかに影響する可能性がある。
パートナーの顔ぶれは、この問題がいかに広範になったかも示している。半導体ベンダー、クラウドインフラ事業者、システムビルダーがすべて関わる今回の公開は、AIネットワークがそれ自体で重要な競争層になりつつあることを示唆している。OpenAIが純粋な独自方式ではなく公開仕様を選んだことは、このスタックの一部を閉じたままにしておくことよりも、相互運用性とエコシステムの採用の方が今は価値が高いという判断を示している。
より大きなインフラシグナル
この発表が注目されるのは、単一のプロトコル機能そのものというより、AIインフラへの圧力がどこに蓄積しているかを示しているからだ。長年、モデル拡張をめぐる公開の議論はGPUに集中してきた。MRCは次の制約を浮き彫りにしている。アクセラレータ数が巨大になると、それらをつなぐネットワークが、理論上の計算能力が実際に有用な作業へ変換されるかどうかを左右するのだ。
OpenAIは実質的に、より大きく、より信頼性の高い学習システムへの道は、よりシンプルで障害に強いネットワークファブリックを通ると主張している。MRCが実運用で説明どおりの性能を発揮すれば、今後のハイパースケールAIクラスターの構築方法に関する前提を形作る助けになるかもしれない。少なくともこれは、AIインフラの工業化におけるもう1つの段階であり、進歩がますますモデルアーキテクチャだけでなくシステムエンジニアリングからも生まれていることを示している。
この記事はOpenAIによる報道に基づいています。元の記事を読む。
Originally published on openai.com
