新しいベンチマーク結果が、AI安全性の語りと実測性能の差を縮める

英国のAIセキュリティ研究所による最新のサイバーセキュリティ試験は、最前線のAIをめぐる最近の大きな物語のひとつに疑問を投げかけている。それは、AnthropicのMythos Previewが特異的に高いサイバー脅威を示すという見方だ。新しい結果によれば、OpenAIのGPT-5.5は同研究所のサイバー評価で同程度の性能に達しており、Mythosは単独の飛躍というより、より広範なモデル進歩の兆候である可能性が示されている。

これは、Ars TechnicaがAISIの結果をもとに報じた中心的な結論である。Anthropicは以前、Mythos Previewの異例なサイバーセキュリティ上のリスクを強調し、初期公開を重要な産業パートナーに限定していたため、この点は重要だ。今回の比較は、それらのリスクが架空だと言っているのではない。むしろ、長期的な自律性、推論、コーディングの向上とともに、同等の能力がすでに複数の上位モデルで現れ始めている可能性を示している。

テストは何を測ったのか

2023年以降、AISIは最前線のAIシステムに対し、リバースエンジニアリング、Webエクスプロイト、暗号技術などの分野におけるサイバー能力を検証する95件のCapture the Flag課題を実施してきた。これは、モデルの能力に関する曖昧な印象ではない。具体的な攻撃的サイバー作業で、システムがどこまで到達できるかを明らかにするための、タスクベースの評価だ。

最上位の「Expert」課題では、GPT-5.5の平均成功率は71.4%で、Mythos Previewの68.6%をわずかに上回ったが、誤差の範囲内だった。この位置づけは重要だ。結果は決定的な勝者を示してはいない。むしろ、1つのモデルだけが新たなリスク区分に踏み込んだという見方を揺るがすのに十分な高い水準での同等性を示している。

ますます実用的に見える性能

報道の中でも特に印象的だったのは、Rustのバイナリを解読するための逆アセンブラを作成するという難しい課題だ。AISIによれば、GPT-5.5は人間の支援なしに10分22秒でこの課題を解き、APIコストは1.73ドルだった。これは小さなデータ点だが、多くを物語っている。速度、自律性、低い限界コストが、注意深く見守るべき方向へ進んでいることを示している。

同研究所はまた、「The Last Ones」と呼ばれる、企業ネットワークに対する32段階のシミュレーション型データ抽出攻撃でもモデルを評価した。GPT-5.5は10回中3回成功し、Mythos Previewは10回中2回だった。Ars Technicaは、これまでこのテストで1回でも成功したモデルはなかったと指摘している。これは、これらのシステムが制御されていない現実環境でそのような攻撃を確実に実行できるという意味ではない。しかし、深刻なサイバー作戦を模した構造化環境では、最前線モデルが以前の世代には到底届かなかった結果を出し始めていることを意味する。

限界は依然として重要

今回の結果は、制限のないAIサイバー支配を示す物語ではない。GPT-5.5は、発電所制御ソフトウェアへの妨害を試みるシナリオをモデル化した、AISIのより難しい「Cooling Tower」シミュレーションにも失敗している。これまでに試されたすべてのモデルもこのベンチマークに失敗している。この未解決の限界は重要だ。能力の向上が現実である一方、均一ではないことを示しているからだ。モデルは一部の攻撃的タスクで大幅に強力になっていても、最も極端な主張を正当化するほどの能力全体はまだ示していない。

言い換えれば、新しい結果は、油断にも煽動にも同時に歯止めをかける。サイバー能力がモデル群全体で急速に進化していることは示唆するが、今日のシステムが重要インフラ攻撃シミュレーションのあらゆる難題をすでに解決したとは支持していない。

企業がリスクをどう語るかをめぐる議論

今回のベンチマーク比較は、AIのコミュニケーション戦略をめぐる別の議論にも火をつける。Ars Technicaは、OpenAI CEOのSam Altmanが、一部モデルの限定公開をめぐる「恐怖ベースのマーケティング」と呼んだものを批判したことを取り上げた。AISI自身の解釈も同じ方向に向かっているようで、Mythos Previewはおそらく「単一モデル固有のブレークスルー」ではなく、自律性、推論、コーディングのより一般的な改善の副産物だと述べている。

だからといって、モデル開発者がサイバーリスクへの警告をやめるべきだという意味ではない。むしろ、より広い含意は逆かもしれない。似た能力が複数の最前線システムで現れているなら、政策議論は孤立したモデル公開を例外的な出来事として扱うのをやめ、より体系的な傾向として理解する方向に移るべきだ。基礎となる性能曲線が共有されているなら、リスクはある企業のプレビュー版に限定されない。

なぜ今重要なのか

GPT-5.5の結果の本当の意味は、単なる自慢ではない。高度なサイバー能力が、主要モデルの間でより広く分散しつつあることの証拠だという点にある。これは、研究機関、規制当局、企業ユーザーが、評価、アクセス制御、レッドチーミング、インシデント準備をどう考えるべきかを変える。また、経験的な安全性議論のハードルも引き上げる。企業はモデルの独自性について劇的な主張を行えるが、比較テストはそうした物語に対する検証としてますます機能している。

現時点では、利用可能な証拠はより狭いが、それでも重要な結論を支持している。GPT-5.5はAISIのサイバー評価でMythos Previewとほぼ同じ水準の性能を示し、一部指標ではわずかに上回り、継続的な技術課題に対する最前線モデルの能力向上という広い傾向とも一致している。誇張との差は縮まりつつあるのかもしれない。しかし、能力曲線は依然として上向きに見える。

この記事は Ars Technica の報道に基づいています。元記事を読む

Originally published on arstechnica.com