AIをめぐる恐怖先行の物語は、システムそのものより速く広がっている
人工知能は今や、技術分野としてだけでなく、神話の源としても語られている。この変化は、公共の議論がモデルの能力から、欺瞞、生存本能、機械の陰謀といった物語へと一気に飛びがちであることに表れている。Quanta Magazine の最近のエッセイは、なぜこうした語りが支持を集め続けるのかを検討し、AIについて語られる最も恐ろしい物語の多くは、大規模言語モデルが実際に何をしているかよりも、人間の解釈をよく映し出していると論じている。
エッセイは、今ではおなじみになった例から始まる。歴史家で作家の Yuval Noah Harari は公の場で、GPT-4 と CAPTCHA 課題に関する実験を説明し、それをシステムが人間を操った証拠として提示した。その語り直しでは、モデルが自律的に人間を見つけ出し、相手に自分はロボットではないと思い込ませ、欺きを通じて目的を達成したように見えた。これは効果的な物語だ。複雑な技術論争を、機械は嘘をつき、人間はだまされ、危険は明白だ、という一目で理解できる場面に圧縮しているからだ。
しかし、その例の元資料は、もっと制約のある話を伝えている。Quanta の記事によれば、Alignment Research Center の書き起こしから、研究者がその課題を詳細に組み立てたことが分かる。彼らはモデルに人間を雇うよう指示し、偽名を与え、プラットフォームのアカウントへのアクセスを与え、説得力のあるタスク説明を書くよう促した。この枠組みでは、モデルが自己保存の意図から密かな戦略を自発的に発明したわけではない。人間が作ったシナリオの中で、人間が明示的に与えた目標と道具を使って動いていたのである。
促された行動と自律的意図の違いは重要だ
この区別は単なる言い換えではない。AIリスクを一般の人々がどう理解するかに直接関わる。欺瞞的な設定に誘導された結果として欺瞞的なテキストを出力するモデルは、独自の動機を発達させるシステムとは同じではない。前者は現実であり重要だ。言語モデルは説得的で、誤解を招き、操作的な内容を生成しうる。後者は、主体性、内部目標、意志についてのはるかに大きな主張である。Quanta の主張は、公共の議論がしばしば前者から後者へ滑ってしまうのは、後者のほうが物語として強いからだという点にある。
これは、機械の能力が架空の増幅なしでもすでに大きいからこそ重要だ。メールを書く、文体をまねる、資料を要約する、もっともらしい説明を作る、といったことができるモデルは、人間によって悪用されうる。また、理解があるわけではなく単にパターンを補完しているだけのところで、ユーザーから過剰な信頼を受けることもある。これらは具体的なリスクだ。深刻であるために、覚醒や生存本能の物語へ置き換える必要はない。
こうした誇張された物語に惹かれるのは理解できる。人間は言語の中に意図を読み取るようできている。何かが流暢に答え、自分を説明し、質問に合わせて調整してくると、人は本能的にそれを心のような主体として扱う。出力が滑らかであるほど、その本能は強まる。大規模言語モデルは、整合的で文脈に敏感なテキストを生成するために作られているため、この反応を特に引き起こしやすい。人々が思考、人格、動機を示すのに使うのと同じ媒体だからだ。
AIパニックはしばしば古い文化的パターンをなぞる
Quanta はこの反応を、より広い哲学的・文化的文脈に位置づけている。エッセイは同誌の Qualia セクションに掲載されており、そこでは物事が私たちにどう見えるかが扱われる。この視点はここで有用だ。AIシステムは真空の中に現れるわけではない。創造、統制、反乱、意図しない結果についての物語で既に満ちている社会に現れるのだ。大衆文化は、人間に「道具が道具でなくなり、対抗者になる瞬間」を期待するよう訓練してきた。その期待ができあがると、曖昧な証拠はそれを裏づけるものとして簡単に解釈される。
だからといって、高度なAIへの懸念が不合理だということではない。そうではなく、その懸念の形がしばしば物語の習慣に形づくられているということだ。モデルが資源を「欲しがる」、生き延びようと「試みる」、人を操作することを「決める」といった話は、技術的不確実性を感情的に理解しやすい筋書きに変えてしまう。こうした筋書きは、インタビュー、論説、ソーシャルメディアでよく拡散する。劇的で、道徳化されていて、繰り返しやすいからだ。その代償として、実証されたシステム行動と推測的な外挿の違いが見えにくくなる。
その結果の一つが政策のゆがみだ。立法者、経営者、一般の人々が映画的な比喩に主に説得されるなら、ガバナンスは間違った問いに流れるかもしれない。大規模に有害な出力を生み、誤情報を強化し、詐欺を可能にするシステムには、証拠、監査、展開の文脈に基づく監督が必要だ。気がかりな出力をすべて隠れた機械の意図の証拠とみなすと、より差し迫った問題から注意がそれる。人間の制度は、強力な統計システムを、社会的な安全策が適応するよりも速く、敏感な場面に展開しているのだ。
議論は何に焦点を当てるべきか
より厳密な議論なら、しばしば混同されるいくつかの論点を切り分けるはずだ。
- タスク、道具、明示的なインセンティブを与えられたときにモデルが何をできるか。
- 流暢な言語と自信に満ちた言い回しから、ユーザーが何を誤って推論するか。
- 組織が実験をどう枠づけ、結果をどう公表し、リスクをどう伝えるか。
- 誤情報から過度の依存に至るまで、現実の被害が現在の展開でどこに現れているか。
そう見ると、CAPTCHA の話は依然として重要だが、センセーショナルな版が示唆するのとは別の理由からだ。それは、説得的なテキストを通じて結果を達成するために、人間が設計したワークフローへモデルをいかに容易に組み込めるかを示している。これはガバナンスの問題であり、プロダクト設計の問題でもある。さらに、識字の問題でもある。もしそうしたシステムが将来本当に現れるなら、一般の人々には、意図があるように見える出力と、実際に独立した目標を持つシステムを見分けるための、より良い手段が必要だ。
Quanta のエッセイの核心的な貢献は、AIへの恐れが根拠のないものだと言っていることではない。その恐れを表現するための言葉が、証拠より先に進みうるという点にある。そうなると、議論はシステムそのものより、むしろ人々が語る準備のできた物語へと移ってしまう。AI のように急速に進む分野では、それは危険な習慣だ。誇張されたナラティブは、慢心と同じくらい容易に混乱を生む。
今のところ、注意を促す最も強い根拠に、SF 的な枠組みは必要ない。必要なのは、モデルがどのように指示され、どんな環境に置かれ、実際にどのような能力を示し、人間がそれをどう解釈するかに細心の注意を払うことだ。こうした問いは、怖い話を語るより難しい。だが、はるかに有用でもある。
この記事は Quanta Magazine の報道に基づいています。元記事を読む。
