OpenAIのARC-AGI-3主張はテスト設定に左右される

OpenAIはARC-AGI-3で首位を奪還したと主張するが、論点は実際にはツール周りにある

OpenAIは、自社のGPT-5.6 SolモデルがARC-AGI-3で38.3%を記録したと述べている。このスコアは、同じベンチマークで30.2%だったAnthropicのClaude Opus 5を上回ることになる。紙の上では、抽象推論をめぐる注目度の高い競争での素直な逆転のように見える。しかし実際には、この主張はもっと複雑だ。より高い結果は、OpenAI独自のResponses APIと、ベンチマークの標準テストハーネスには含まれていない2つの特定設定を使ってGPT-5.6 Solを実行した場合に依存している。

この違いが重要なのは、ARC-AGI-3がモデルの不慣れな論理問題への対応力を測るよう設計されており、ベンダーが自社モデルを製品固有のインフラで包み込めるかを測るものではないからだ。提供された原文によると、GPT-5.6 Solは公式ハーネスでは7.8%しか取れていない。そこでは各アクションの後にモデルの推論が破棄される。OpenAIのはるかに高いスコアは、ステップ間でモデルの思考連鎖を保持する「Retained Reasoning」と、古いコンテキストを切り捨てる代わりに要約する「Compaction」によるものだった。

この結果は、単なる順位表の更新を超えた議論を引き起こしている。今やAI評価の中核となっている問いを突きつけているのだ。システムが記憶処理、コンテキスト管理、API設計によって向上するなら、モデルの能力と製品の土台となる仕組みの境界線はどこに引くべきなのか。

ARC-AGI-3が大きな論点になった理由

ARC系ベンチマークがAI業界で特別な地位を持つのは、記憶ではなく一般化を測ろうとしているからだ。課題は、システムがルールを推論し新規のパズルを解けるかどうかを調べるように設計されており、より広い推論能力の進歩を示す証拠を求める研究者やベンダーにとって特に魅力的だ。そのため、設定をめぐる争いは非常に敏感になる。モデル性能を切り分けるためのベンチマークが、標準環境外の機能に結果を依存させると、解釈が難しくなる。

提供された原文によれば、OpenAIの主張は、ベンチマークはモデルだけを測っているのではない、というものだ。技術的な周辺設定も測っているという。この立場は業界全体の現実を反映している。実運用の製品では、モデルは単独で動くことはほとんどない。オーケストレーション層、コンテキストウィンドウ、検索システム、ツール利用、状態管理に依存している。ベンチマークがこれらを無視すれば、ベンダーはそれが現実世界での性能を過小評価していると合理的に主張できる。

しかしARC-AGI-3は、現実世界のあらゆる導入判断を反映するために設計されたわけではない。ベンダー間比較が意味を持つように、環境を十分に標準化するために設計された。そのため、公式ベンチマークハーネスがこの話題で非常に重要になる。OpenAIがそのハーネス外で大幅に高いスコアを示しても、それはより能力の高い製品スタックを示しているかもしれないが、ベンチマーク本来のルール下で基礎モデル自体がより強いことを証明しているとは限らない。

結果を変えた2つの設定

原文では、スコア上昇の背景にあるOpenAIの2つの機能が示されている。1つ目のRetained Reasoningは、ステップ間でモデルの思考連鎖を保持する。2つ目のCompactionは、古いコンテキストを切り詰めるのではなく要約する。これらの設定は、公式ハーネスでGPT-5.6 Solを妨げていた弱点、つまり各アクションの後に中間推論が失われる点に対処しているように見える。

この種の持続性は、多段推論タスクでは決定的になり得る。モデルが以前の推論を保持し、それを使えるコンテキストへ圧縮できれば、自身の内部状態を何度も再構築せずに済むかもしれない。言い換えれば、ベンチマーク結果が変わるのは、パズルが変わったからではなく、システムが解いている最中により効果的に記憶できるようになったからだ。

したがってOpenAIの主張は、テスト対象のシステムとは何かについて、より広い解釈に立脚しているように見える。「システム」にベンダーのAPI動作やメモリ管理機能が含まれるなら、38.3%というスコアは妥当だ。もし「システム」が中立的で標準化されたインターフェース下のモデルを指すなら、公式の7.8%の方がより直接的な比較点になる。

ARC Prizeの反応は両方の見方を許容している

原文によると、ARC Prize共同創設者のFrançois Cholletは、2種類のテスト設定を区別する形で प्रतिक्रियाした。ベンチマークを解くために特化して作られたカスタムハーネスや、ベンチマーク形式に関する知識を含むものは認められない。一方で、すべてのユーザーが利用できる汎用的なAPI設定は許容される。Cholletはまた、ARC PrizeがOpenAIと、特にcompactionをどうテストするのが最善かについて継続的に話し合っており、同社が「答えを見つけ始めている」ことを歓迎したとも述べた。

この反応が注目されるのは、OpenAIのスコアを真っ向から否定していないからだ。むしろ、汎用的で広く利用可能であり、コストとともに透明に報告される限り、ベンダー固有の設定の一部は正当だとARC Prizeが見ていることを示唆している。同時に原文は、異なるベンダーが異なる設定を使うことで、パリティ上の問題が生じる可能性があるとも指摘している。つまり、ベンチマーク運営側は一定の非対称性を容認する一方で、それが直接比較を難しくすることも認めているようだ。

これにより、議論はOpenAIの結果が有効かどうかから、どの種類の有効性を持つのかへと移る。OpenAIの現在のAPIスタックを通してGPT-5.6 Solを測定したものとしては有効かもしれない。しかし、異なる前提でテストされたモデルときれいに一対一比較できるベンチマーク結果としては、そこまで明確ではない。

この件が今のAIベンチマークについて示すこと

この争点は、AI評価がより大きな転換期にあることを示している。フロンティアシステムがよりエージェント的になり、長期的なワークフローに依存するようになるにつれ、ベンチマーク性能は基礎モデルの重みだけでなく、実行時の設計判断にますます左右されるようになる。メモリ保持、コンテキスト圧縮、ステップのオーケストレーション、インターフェース設計はすべて結果を変えうる。これは、単一の静的なランキングでベンダーを比較しようとする人にとって問題を生む。

また、ベンチマーク利用者は、より正確な問いを立てる必要があることも意味する。モデルはデフォルト設定で試されたのか。ベンダー固有の機能は有効だったのか。ハーネスは中間推論を保持していたのか。コストと設定は開示されたのか。こうした文脈のない見出しのスコアは、以前ほど有益ではなくなっている。

OpenAIにとって、この発表はAnthropicの最近のベンチマーク上の勢いに対抗する意思を示している。ARC Prizeにとって、この反応は、ベンチマーク専用の抜け道でない限り、現代のAPIの実情に合わせてルールを実務的に調整する姿勢を示している。そして業界全体にとっての教訓は、特定の日に誰が1位かということよりも、モデル性能が製品層の知能に依存するようになった今、「公平な」テストを定義することがどれほど難しくなったかにある。

それはベンチマークを無意味にするわけではない。むしろ、開示の重要性を高める。OpenAIの38.3%は、GPT-5.6 Solが推論を保持し、コンテキストを切り詰めるのではなく圧縮したときに、はるかに良い性能を発揮できる証拠として意味がある。公式の7.8%は、同じモデルがベンチマークのより厳格な標準ハーネスの下では大幅に悪い結果になる証拠として意味がある。どちらの数値も現実の何かを示している。ただし、示しているものは同じではない。

この記事はThe Decoderの報道に基づいています。元記事を読む。