AIベンチマークは進歩を見えるようにするためのものだ。モデルが標準化された試験を受け、スコアによって性能を比較できる。しかし、その単純さは問題を隠す可能性がある。ベンチマークは測定対象の分野そのものを形作り得る。
Max Planck Institute for Intelligent SystemsのMoritz Hardtは、現代のAIベンチマークは根本的に壊れていると主張する。スコアは知能、能力、現実世界での信頼性の証拠として扱われやすい。
スコアが目標になるとき
指標が目標になると、人々は指標そのものを最適化する。機械学習では、固定データセットやランキングでは高性能でも、測定したかった広い能力を獲得しないシステムが生まれ得る。
Hardtは、機械学習システムが「知的なことを何もせずに」ランキングを上げられると警告した。高いスコアは本当の進歩かもしれないが、試験の特殊性への適合を反映しているだけかもしれない。
大規模言語モデル向けテストの増加により問題は明確になった。新しいベンチマークを作り、そこに合わせて訓練し、前のスコアを超えて次へ進むという狭い競争が生じている。
過大な影響力の歴史
ベンチマークはAI研究の軌道を何度も変えてきた。1987年のDARPA音声認識ベンチマークは、最先端システムが比較的単純な統計手法を上回らないことを示し、関心と資金の低下に寄与した。
2012年のImageNetは逆の効果を生み、8層ニューラルネットワークの性能を示して深層学習革命を後押しした。ベンチマークは技術成果を要約するだけでなく、進歩の定義も変え得る。
Hardtは2026年の著書The Emerging Science of Machine Learning Benchmarksで、ベンチマークを「機械学習を生んだ間違い」と呼ぶ一方、正当な進歩にも貢献したと述べる。
より良い評価に必要なこと
ベンチマークをより厳密な科学にするには、評価を最終試験ではなく継続的な研究課題として扱う必要がある。何を測るのか、実際の用途にどれほど近いのか、モデルが特別に適応していないかを問うべきだ。
複雑な能力を一つの数字に圧縮する誘惑にも抵抗すべきだ。モデルはある質問には強く、別の質問には弱いかもしれない。実用上重要なのは最高性能だけでなく、限界を知ることだ。
標準化評価を捨てるのではなく、限界を透明にし、表面的な最適化に弱くない評価を築くことが目標となる。
AI導入が進むほど高まる影響
ベンチマークの主張は購入、投資、システムの適性判断に影響する。スコアは科学的結果であるだけでなく、経済的・社会的なシグナルにもなる。
ランキング上昇が必ずしも深い知能を意味するわけではない。スコアは証拠であって判決ではない。
この記事はQuanta Magazineの報道に基づく。原記事を読む。
Originally published on quantamagazine.org
