米軍、AIの幻覚が生んだ誤情報で中国船に乗り込む寸前だった

2026年春、米軍はAIチャットボットが中国船の貨物を核兵器の部品と誤って識別したため、その船に乗り込む寸前まで迫っていた。CNNの独占報道によると、武装した兵士は配置につき、航空機はすでに飛び立っていたが、その時点で誰かが誤りに気づいた。

この危機一髪の出来事は、実験室やウォーゲーム、レッドチーム演習で起きたものではない。データの解釈を助けるために分析官が頼ったツールによって引き起こされた、実際のインテリジェンス業務の中で展開された。そして、機械の誤りが国際事件に変わるまで、あと一度の気づきしかなかった。

チャットボットはいかにして商業貨物を核の脅威に変えたか

その分析官は米特殊作戦軍の下で働いていた。CNNの報道によれば、問題のツールはオープンソースのインテリジェンスと、政府システム内に保管された秘密のシギント（信号情報）を組み合わせていた。この混合が、チャットボットの出力に完成された権威ある評価のような質感を与えていた。

しかし実際に生み出されたのは誤認だった。貨物は核物質ではなかった。だがその誤りは、情報らしい形で提示された。出典があり、統合され、意思決定者向けにまとめられていた。兵士は警戒態勢に入り、航空機は緊急発進し、乗船作戦は実行寸前まで進んだが、根本的な主張が誤りであることに人間が気づいた。

この出来事は、生成システムが信頼できる形で分離できないカテゴリー——公開報道、機密の信号情報、推論——を混ぜ合わせたときに何が起きるかを如実に示す教科書的な例である。出力が滑らかに読めるのは、こうしたシステムが流暢さに最適化されているからだ。世界に関する正確さは、まったく別の問題である。

なぜこの誤りはこれほど説得力を持ったのか

CNNの説明に基づくと、いくつかの要因が誤りを複合的に悪化させたようだ。

• 出典の混合。チャットボットはオープンソース資料と政府保有の秘密信号情報を融合し、分析官が区別するよう訓練されている境界線を曖昧にした。
• 自信に満ちた提示。誤ったフラグは未解決の問いではなく確定判断として提示され、不確実性を示す目に見える手がかりがほとんどなかった。
• 速度への圧力。分析を加速するツールは、その結論が妥当であろうとなかろうと、その結論へ向かう動きも加速させる。
• 限られた検証。AI生成のインテリジェンスが作戦に組み込まれる前に確認するための統一基準は、軍全体で存在しないと報じられている。

検証の土台なき導入推進

この事件は、米軍全体でAI利用を拡大する意図的な取り組みのさなかに起きた。ヘグセス国防長官は、AI導入を防衛業務のより深部へ押し進める加速戦略を進めてきた。その野心は明快だ。より速い分析、より多くのデータ処理、より短い意思決定サイクルである。

CNNの報道が示唆するのは、ガードレールが展開に追いついていないということだ。関係者によれば、使用されている内部システムは主に商用製品の「化粧直し」版——機密インテリジェンス業務とその検証要件のためにゼロから設計されたシステムではなく、政府向けに塗り直した商用ツール——だという。

同じ関係者は、ツールの扱い方に分断があることも指摘した。若い分析官はAIの出力を疑わずに信頼する傾向があるという。リンクを返す検索エンジンなら合理的な習慣だが、完成したインテリジェンスのように読める結論を返すツールでは危険な習慣である。

本当のリスクは存在論的ではなく、ありふれたものかもしれない

この乗船寸前の出来事は、AIリスクが通常公の場で議論される方法に反している。最も声高な議論は、超知能システムが人間の制御を逃れることに関するものだ。この事例はもっとありふれたものについてである。時間的圧力の下で、その言葉を信じがちな人々によって使われ、答えを確認する統一ルールのない機関の中で使われた、欠陥のあるツールである。

ある関係者はこの力学を率直に要約し、CNNにAIは「悪い考えにより速く到達できるようにする」と語った。この表現は特定の危険性を捉えている。技術は悪意や意識がなくても危険になり得る。ただ、誤った結論に到達しやすく、広まりやすく、行動に移しやすくすればよいのだ。

ずさんなシステムが無批判な、あるいは悪意ある操作者の手に渡ることについて長年警告してきた擁護者たちは、今や具体的な事例を得た。彼らが描いていたシナリオ——神のような機械ではなく、不注意な機械——こそが、まさに起きたことのようだ。

この危機一髪がインテリジェンス業務におけるAIについて明らかにするもの

最も居心地の悪い詳細は、誤りが発覚するまでにどれだけ遠くまで進んだかである。誤ったフラグはチャットウィンドウの中にとどまらなかった。それは軍事的態勢になった。部隊は準備万端、航空機は空中にあり、乗船作戦まであと数分だった。これが幻覚と危機の間の距離であり、それは単一のワークフロー内で縮まった。

この出来事はまた、機関がまだ解決途上にある説明責任の問題を浮き彫りにする。AI支援の評価が作戦上の決定に寄与するとき、責任はモデルに移らない。検証義務は、その周囲の人々とプロセスに残る。その検証のための統一基準が存在しなければ、義務は事実上未割り当てのままである。

続いて生じる実務的な問い

• AI由来のインテリジェンス所見が作戦に影響を与える前に、誰が承認するのか。
• モデルの推論と確認された事実を何が区別し、その区別は分析官にどう表示されるのか。
• 商用由来の内部ツールは、機密インテリジェンス業務向けにどのように検証されるのか。
• 自信に満ち、流暢で、誤った出力に異議を唱えるために、分析官はどのような訓練を受けるのか。

これらの問いは奇異なものではない。出典と確認に依拠するあらゆるインテリジェンス過程の通常の要件である。複雑なのは、生成ツールがその過程のいくつかの段階を単一の流暢な答えに圧縮し、誰かが意図的に探さない限りその圧縮は見えないことだ。

ちょうど間に合って届いた警告

事件は乗船なしで終わり、それゆえ大惨事ではなく警告となった。また、危機一髪として片付けて先に進みやすくもする。CNNの報道はその反射に反論する。誤りを生んだ条件——混合されたデータ源、商用グレードのツール、導入圧力、無批判な信頼——は依然として残っている。

2026年春に起きたことは、一度は発覚するが、何も変わらなければ二度目は発覚しない類の失敗である。この危機一髪が検証基準の転換点になるのか、脚注になるのかは、航空機が地上に戻り、どの船も乗船されていない今、なされている決定にかかっている。

この記事はThe Decoderの報道に基づいています。元記事を読む。