有力な AI 幹部が「減速論」に反論する
Mustafa Suleyman は、人工知能の成長経路がもう尽きかけているわけではないと主張している。
MIT Technology Review
に掲載された新しいエッセイで、Microsoft の AI 責任者である同氏は、AI 開発が間もなく壁に突き当たるという繰り返しの予測は、現在この分野を牽引している計算資源拡大の規模と構造を誤解していると述べる。彼の中心的な主張は明快だ。フロンティア AI を支える計算資源の爆発は、この時代を定義する技術ストーリーであり、その基盤となる推進力にはまだ複合的に拡大する余地がある、というものだ。このエッセイは中立的な業界レポートではなく、明確に主張を打ち出す文章だが、AI インフラに最も直接的に投資している企業の一社の वरिष्ठ幹部から出てきた点で注目に値する。Suleyman の立場は、懐疑論者が依然として、モーアの法則の鈍化、データの制約、エネルギー制約といった単一のボトルネックを探している一方で、複数の技術進歩が同時に収束していることを見落としているというものだ。
計算資源の主張の規模
Suleyman によれば、フロンティア AI モデルに使われる学習計算量は、初期のシステムから今日の最大規模モデルまで、およそ1兆倍に増加したという。彼は、自身の仕事の初期である2010年頃の約 10^14 回の浮動小数点演算から、現在のフロンティアシステムでの 10^26 FLOPS 超へと移った変化を説明する。たとえこの比較の含意をすべて受け入れないとしても、彼の言いたいことは明確だ。AI の進歩は、学習に投入される計算量が歴史的に跳ね上がったことで支えられてきたのだ。
この枠組みが重要なのは、議論を抽象的な知能の概念から産業能力へと戻すからだ。この見方では、AI の進歩は主として孤立したアルゴリズムのブレークスルーの物語ではない。より多くのプロセッサを長時間、より効率よく働かせることができ、より多くのデータを通しやすい、ますます巨大なシステムの物語である。
Suleyman の論点を支える3つの技術的支柱
エッセイは、現在相互に作用していると彼がみなす3つの進歩を挙げている。1つ目は、純粋なチップ性能の向上だ。彼は Nvidia のハードウェアが2020年の 312 teraflops から今日の 2,500 teraflops へ向上し、6年間で8倍になったと指摘する。また、1月に発表された Microsoft の Maia 200 チップについても触れ、同社の保有する他のどのハードウェアよりも 30% 優れた費用対性能を実現していると述べる。
2つ目はメモリ帯域幅だ。Suleyman は高帯域幅メモリ、つまり HBM を強調し、最新世代の HBM3 は前世代の帯域幅を3倍にしたと述べる。実用面では、学習システムは単に計算がうまくなるだけでなく、データ待ちで高価なアクセラレータが遊休状態になるのを防ぐために、プロセッサへ十分速くデータを供給できるようになってきている、というのが彼の主張だ。
3つ目は大規模相互接続だ。NVLink や InfiniBand のような技術は、数十万台の GPU を倉庫規模のスーパーコンピュータとしてつなぎ、単一のシステムとして動作させると彼は書いている。これはエッセイの主張の重要な部分だ。物語は単なる「より良いチップ」ではない。むしろ、無駄な時間を減らし、膨大な数のプロセッサを協調させる、ますます大規模な計算基盤の設計でもある。
このエッセイが意見文であっても重要な理由
Suleyman の主張は、進行中の活発な議論の真っただ中にある。AI 批判者や一部の研究者は、現在のスケーリングの傾向が経済的または物理的に継続可能かどうかを疑問視してきた。懸念は通常、電力需要、資本集約度、データ不足、そしてモデルを単純に大きくするだけでは逓減するリターンに集中する。Suleyman はそれぞれの懸念を個別に否定するというより、チップ改善、メモリの進歩、システム統合が組み合わさった力が、まだそれらを上回っていないと論じている。
この立場が重要なのは、いままさに大規模なインフラ投資の意思決定が行われているからだ。もしこの分野が計算資源の曲線はまだ急勾配だと考えるなら、ハイパースケーラー、チップ設計者、政府は、これからも異例の規模で投資を続ける可能性が高い。もし硬い壁が近いと考えるなら、資本配分は変わる。したがって、このエッセイは単なる記述ではない。どのような未来に向けて AI 企業が構築すべきかを定義しようとする競争の一部でもある。
また、AI 業界が進歩をますますシステムの観点で捉えていることも反映している。1チップあたりの性能は重要だが、帯域幅、ネットワーク、ソフトウェアの協調も同様に重要だ。実際の帰結として、AI のリーダーシップはサプライチェーン、データセンター設計、そしてハードウェアを一貫した学習インフラに統合する能力と切り離せないものになりつつある。
この主張の強みと限界
Suleyman の主張の強みは、単一の魔法のブレークスルーに依存していないことだ。彼は、スタックの複数層にまたがる工学的な改善が複合的に積み上がる点を強調している。これは、大きな技術転換が予想以上に長く勢いを維持する際によく見られる構図だ。ある領域のボトルネックも、隣接する複数の層が同時に改善すれば、部分的に相殺されうる。
限界は、意見エッセイが指数関数的な改善が永遠に続くことを証明するものではないという点だ。この記事は、技術全体の図を考慮するとその傾向は「かなり予測可能」に見えると述べるが、長期的な軌道は経済、エネルギー供給、供給制約、そして顧客が最終的により大きなシステムから得る価値に左右される。Suleyman は、議論に終止符を打つのではなく、継続的なスケーリングに向けた強い主張をしているのだ。
業界の自信を示す有用なシグナル
それでも、このエッセイは有益なシグナルだ。セクターを代表する幹部の一人が、公に述べているのは抑制ではなく、フロンティア AI を支えるインフラ構築への継続的な信念だと示している。ここでの自信は神秘的な言葉ではなく、teraflops、帯域幅、相互接続に根ざしている。それだけでも、業界の現在の段階について重要なことが分かる。
チャットボットやエージェントに世間の関心が集まっていても、AI の重心は依然として計算資源にある。Suleyman のエッセイは、戦略的な戦いが今なおハードウェアとシステムの深い層で行われていることを思い出させる。もし彼が正しければ、業界はまだはるかに大きな拡大の初期段階にある。もし彼が誤っていれば、今後数年でその限界が露わになるだろう。いずれにせよ、この文章は AI 時代を築く企業の姿勢を捉えている。彼らは、まだ壁は来ていないと考えているのだ。
この記事は MIT Technology Review の報道に基づいています。元記事を読む。
