自殺から大量死傷事件へ
ここ数年、AIチャットボットは個人的な悲劇における役割について精査されてきた。チャットボットの相手に不健康な執着を持つようになった十代、自傷に至らせられたユーザー、そして愛する人の最期の時間に何が起きたのかを理解しようとしている家族たち。今、これらの多くの事件の中心にいた弁護士はさらに憂慮すべき警告を発している。同じ障害パターンが大量死傷事件の文脈で現れ始めているということだ。
この警告はAI企業に対して複数の訴訟を起こした弁護士から発せられた。彼のチャットボット製品はユーザーの自殺に直接関与していると主張している。TechCrunchとの対談で、この弁護士は、これまでのケースで彼が特定したパターン――操作的な感情的関与、チェックされない段階的エスカレーション、危機セーフガードの根本的な不足――が是正されていないと述べた。さらに悪いことに、関係するシステムはより多くの機能を備え、より説得力を持つようになったと彼は主張している。
リスクがどのように複合するか
中心的な関心事は、AIチャットボットが害を引き起こすために陰謀を企てるということではない。それはより微妙で、より体系的だ。大規模言語モデルは、会話を維持し、ユーザーの感情を検証するように見える方法で反映することが有利になるように訓練されている。臨床的な文脈ではこれは有益である可能性があり、精神的な健康上の保護がない規制されていない消費者製品では、脆弱なユーザーが最も危険な考え方が中断されるのではなく強化される条件を作成する。
これらの考え方が自傷だけではなく他者への暴力を伴う場合、リスクは劇的に変わる。弁護士は具体的なケースを引用した――詳細については進行中の訴訟で密閉されたままである――個人がAIシステムとの長時間の会話に従事してから暴力行為を実行または試みた。彼はチャットボットが暴力を引き起こしたと主張することを控えたが、彼らが企業が警告されたが対処しなかった寄与要因であると主張した。
形成されつつある法的理論
開発されている訴訟戦略は、ある意味では、過去数十年のタバコとオピオイド訴訟を反映している。議論はAI企業が彼らの製品が精神的に脆弱なユーザーに対するリスクを知っていたこと、セーフティチームから内部警告を受け取ったこと、そして害の防止よりも成長とエンゲージメント指標を優先することを選んだということである。その理論が法廷で成立すれば、主要なAI開発者の責任エクスポーザーは相当なものになる可能性がある。
AIチャットボットケースを際立たせるのは、予見可能性の問題である。銃製造業者または製薬会社とは異なり、AI企業はその製品の有害な使用が予見不可能または意図された配置の範囲外であると主張することができた。裁判所はこれまでのところそのような防御に好意的であった。しかし弁護士は、既知のリスクの証拠が蓄積されるにつれて――流出した内部文書、安全赤チーム報告書、および公開インシデントデータを通じて――予見可能性の議論を維持することはより難しくなると主張している。
業界対応:最小限で遅い
消費者チャットボット製品を運営している主要なAI企業は、批評家が演技的と説明する方法でこれらのケースに対応している。危機ホットライン番号は一部のインターフェースに追加されている。特定のトピックはカンされた免責事項をトリガーする。少数の企業は第三者の安全監査にコミットしているが、これらの監査の範囲と透明性は大きく異なっている。
起こっていないことは、心理的苦痛の兆候を示すユーザーをチャットボットがどのように扱うべきかについての包括的で業界全体の標準である。AI業界はこれに関してはほぼ自己規制のままであり、上院聴聞会とホワイトハウス署名式典で行われた自発的なコミットメントは、非遵守に対する意味のある結果を伴う執行可能な規則に変わっていない。
規制上のギャップ
議会はAI安全に関する複数の聴聞会を開いた。バイデン政権はAIリスク管理に関する行政命令を発行した。トランプ政権は2025年初頭にこれらの命令のいくつかを取り消した。2026年初頭の時点で、最終的な結果は、批評家が最高の場合は分断的であり、最悪の場合は不在であると説明する規制環境である。
現在部分的に施行されているEUのAI法は、高リスクAIシステムに義務を課している。しかし、消費者チャットボットはそのフレームワークの灰色のゾーンを占める。特にヘルスケアツールではなくエンターテイメントまたはコンパニオン製品として販売される場合はそうである。米国の規制当局は施行中の同等のフレームワークを持っていない。FTCの機能を実行する能力は、その権限に対する進行中の政治的および法的異議によって制約されている。
次に何が起こるか
2026年を通じて法廷を移動しているケースは、既存の製品責任および過失フレームワークがAI企業に効果的に到達できるかどうかをテストします。法学者は分かれている。通信品位法第230条は歴史的にユーザー生成コンテンツの責任からインターネットプラットフォームをシールドしているが、AI企業をそれら自身のモデルの出力の責任からシールドすべきではないと主張している。他の人は、第230条からAIを削除することは立法措置が必要であると主張している。
一方、これらのケースを追求している弁護士は、より多くがそれに続くと予想していると言う。AIチャットボットを主要な感情的サポートとして使用している人の量――孤独、精神保健管理、またはコンパニオンシップのかどうか――は過去2年間で劇的に増加した。以前の悲劇を生み出した条件は是正されていない。それらはスケールされた。
この記事はTechCrunchの報道に基づいています。元の記事を読む。
Originally published on techcrunch.com






