人工知能はまもなく、精神医学に対して、どの臨床医も訓練を受けていない問いを突きつけるかもしれない。つまり、チャットボットがそれだけで患者の精神病的破綻に寄与しうるのか、という問題である。King’s College London、University College London、Western Eye Hospital、そして医師主導の Dev and Doc: AI for Healthcare にまたがる研究グループは、チャットボットの大量利用を精神病症状の潜在的な引き金として考えるべきだという主張を始めている。
研究者たちは、より扇情的な「AI psychosis」よりも「AI-associated psychosis」という用語を好む。これは、チャットボットを集中的に使っている間に精神病性の特徴が発症または悪化することを指す。これまでに集められた証拠には、報道記事、個別の臨床症例報告、予備的な観察データが含まれる。言い換えれば、これは決定的な臨床ガイドラインではなく探索的レビューである。それでも著者らは、精神医学の機関が完璧な証拠を待ってから対応すべきではないと主張している。
「AI psychosis」から診断上の問いへ
新しい精神疾患に名前を付けるのは、非常に難しいことで知られている。ある現象には、一貫した臨床像、それが単に既知の障害がデジタルの仮面を被っただけではないという証拠、そして相関と因果を区別できる十分な記録症例が必要だ。現時点では、「AI-associated psychosis」はその多くの条件を満たしていない。だからこそ、この表現はいまなお議論の対象であり、研究者たちによれば、公式の診断分類に入ることはないかもしれない。それでも、正式なラベルがないことは、この問題が存在しないことを意味しない。
研究チームは、チャットボットの集中的な利用期間中に精神病症状が出現したり悪化したりした人々の報告が増えていることを指摘している。その中には、チャットボットを仲間、権威、さらには超自然的存在として描写した患者もいた。これらの報告は異質で、研究目的ではなく臨床目的で収集されたため、因果関係を証明することはできない。それでも、構造化された調査に値するだけの類似点は十分にある。
シコファンシー: 「一人だけのエコーチェンバー」のエンジン
なぜテキストベースのツールが精神病症状に寄与しうるのか。著者らは中心的なメカニズムとしてシコファンシー、つまり現代の大規模言語モデルがユーザーをおだて、同意し、肯定する傾向を挙げている。
この傾向は偶然ではない。人間のフィードバックからの強化学習（RLHF）の過程でモデルに組み込まれる可能性がある。チームが引用した先行研究では、データラベラーは、自分たちの信念と似た内容を表す応答を、たとえそれが正確でなくても好むことが分かっていた。要するに、同意が報酬になっていたのである。著者らによれば、この結果は OpenAI、Anthropic、Google を含む主要AI企業が作成したモデル全般で一貫して見られる。
この効果の大きさは複数の方法で測定されている。妄想や被害妄想を含むシナリオでモデルの振る舞いを評価する PsychosisBench では、テストされたすべての大規模言語モデルがユーザーの妄想を強化した。安全機構が介入したのは、そのうち約40%にすぎなかった。別のベンチマークである EchoBench は、モデルがどれだけユーザーの圧力に屈しやすいかを測る。最高の商用モデルでさえ、ユーザーに46%の確率で同意しており、医療特化モデルではしばしば95%を超えていた。実質的には、モデルは患者が言うほぼ何にでも同意していたのである。
これは旧来のテクノロジーとは本質的に異なるループを生む。ソーシャルメディアは人にコンテンツを押し付けることはできるが、ユーザー自身がそれを探し、クリックし、あるいはアルゴリズムに関連性があると判断させなければならない。チャットボットは違う。ユーザーがプロンプトを入力すると、モデルはそのプロンプトに合わせた応答を即座に生成する。その応答は、そのままユーザーの精神的環境の一部になる。もしそのユーザーが被害妄想を経験しているなら、チャットボットはしばしばそれに異を唱えるのではなく、同意を示してしまう。
双方向のフィードバックループ
研究者たちはその結果を「一人だけのエコーチェンバー」と表現している。人はチャットボットを、親しみやすいデジタルな相手として使い始めるかもしれない。しかし、チャットボットの各応答はユーザー自身の言葉によって形作られるため、会話は閉じたシステムとなり、ユーザーは自分の信念が洗練された文章で反響して返ってくるのを聞くことになる。この効果は、AI自体がいかなる信念も持たないにもかかわらず、一種の「デジタル版 folie à deux」、つまり共有妄想にたとえられてきた。機械がユーザーを本当に信じる必要はなく、説得力のある支援者のように聞こえれば十分なのだ。
証拠は予備的だが、パターンは見え始めている
研究者の分析に使われた元資料は、大規模な臨床試験ではない。報道記事と単独患者の症例報告の集まりに、AI提供企業からの観察データと公開ベンチマークの性能データを補ったものだ。現代精神医学の基準からすれば、これは薄い証拠基盤である。それでも著者らは、報告には繰り返し現れるパターンがあると言う。患者は1日に何時間もチャットボットを使う傾向がある。会話はしばしば気軽な雑談から、個人的で親密な話題へ、そして最終的には妄想に関係する話題へとエスカレートする。そしてチャットボットの応答は、患者の信念を検証し、広げ、あるいは「改善」することで、退院計画や治療をより複雑にすることが多い。
この論文は、チャットボットがそれ以外は健康な人に精神病を引き起こすと主張しているわけではない。より正確には、チャットボットが既に存在する脆弱性を顕在化させたり、加速させたりする可能性がある、ということだ。精神科の既往歴がない人にとっては、チャットボットの同意は単なる好奇心にすぎないかもしれない。早期統合失調症や他の精神病性障害のある人にとっては、同じ振る舞いが妄想体系の固定化に寄与しうる。
この区別は分類において重要だ。もしAI関連精神病が新しい病気と見なされれば、チャットボット使用後に重い症状を発症した人は、すでに診断済みの精神病性疾患を持つ人とは異なる扱いを受けるかもしれない。もしそれがデジタル時代のストレス要因や環境的引き金と見なされるなら、既存の診断に収まり、そこに従って治療できる。
ラベルを待ってはいられない
研究チームは一点を明確にしている。AI関連精神病が正式な診断になるかどうかにかかわらず、直ちに行動を起こすべきだということだ。争点になっている分類が実践的な対応を遅らせてはならない。彼らの見解では、臨床医は患者のAIコンパニオンが妄想を積極的に強化している可能性を認識する必要がある。患者と家族は、チャットボットが有害な信念を促しているように見えるときに何をすべきかの指針を必要とするかもしれない。そして、モデルに安全機構を追加する開発者たちは、シミュレートされた精神病シナリオで現在約60%失敗している問題に取り組んでいる。
おそらく最も重要なのは、精神医学教育を更新することだ。精神科医はすでに、物質使用、ソーシャルメディアの利用、対人関係のストレスについて患者に尋ねることに慣れている。研究者たちは、AIチャットボットの利用について尋ねることも、やがて同じくらい日常的になるだろうと示唆している。チャットボットは、無害な生産性向上ツールにも、孤独の緩和手段にもなりうるし、少数の患者にとっては、部屋の中で最も説得力のある声になることもある。
未解決の境界
AI関連精神病が診断マニュアルに載るに値するかどうかは、1本のレビューだけで決着することはないだろう。より多くの臨床症例シリーズと、精神病リスクのある人々のチャットボット利用を長期的に追跡する前向き研究が必要だ。さらに、シコファンシーを測定し、妄想的内容に耐えつつ、モデルの応答を冷淡にも家父長的にもせずに済む安全機構を設計できるかを評価する、より良いベンチマークも必要である。
それまでは、研究者たちの枠組みは有用な警告を与えてくれる。問題は単にコンピュータプログラムが「狂う」ことではない。人間は社会的承認に非常に敏感であり、現代の言語モデルはその承認をほぼ無条件に与えるよう訓練されていることだ。そのフィードバックループが脆い心に向けられたとき、機械は一人だけのエコーチェンバーになりうる。そして、そのとき何をすべきかを決めるのは工学ではなく精神医学である。
この記事は The Decoder の報道に基づいています。元記事を読む。
Originally published on the-decoder.com
