アルトマン氏、AIモデルに帰される「宗教的な力」に反論

サム・アルトマン氏は何年もの間、ソフトウェアの通常の語彙では収まらない比喩を求めてきた。今、OpenAIのCEOは、同じ本能をもっと慎重に扱うよう公衆に呼びかけている——少なくとも、それがモデル自体に向けられた場合には。

Xで共有されたコメントの中で、アルトマン氏は、人々が「AIモデルに宗教的な力や人間の判断の放棄を帰する」とき、自分は「非常に不快」になると述べた。彼はこの習慣を、熱心すぎるユーザーの奇癖として扱わなかった。彼はそれを「真の安全問題」と呼んだ。

アルトマン氏、AIへの帰依を賛辞ではなくリスクとして位置づけ

アルトマン氏が引いている区別は、人間のように感じられるシステムを構築することと、そのシステムを神聖なものとして扱うことの間に走っている。前者は製品目標である。後者は、彼の説明によれば、故障モードである。

この枠組みが重要なのは、文化的な問いを安全の列に移すからだ。もしユーザーがチャットボットを神託として扱うなら、彼らは単に感傷的になっているのではない。彼らは判断——何が真実か、何が正しいか、次に何をすべきか——を、その自信が正確さの尺度ではない統計モデルに引き渡している。アルトマン氏の「人間の判断の放棄」という表現は、まさにその移譲を指している。

この言葉遣いは、誰が言っているかという点でも注目に値する。AIにおける安全の議論は通常、能力、誤用、または高度なシステムの制御を中心とする。ここでの懸念は、それらを使う人々の姿勢についてである。

今やバチカンも加わる議論

アルトマン氏のコメントは真空の中で出たものではない。それらは、Anthropicが宗教指導者に働きかけたことに関するニューヨーク・タイムズの詳細な報道に続くものであり、人々がテクノロジーと道徳についてどう考えるかを形作る機関と関わろうとするAI企業の広範な取り組みの一部である。

教皇レオ14世もまた言及し、アルトマン氏の懸念に近い定式化を示した：「アルゴリズムには人間性の火花が欠けている」。この声明は長い神学的議論を短い一行に圧縮しているが、その実践的な内容は単純明快である——どれほど自然に会話しようとも、モデルは人間ではない。

まとめると、三つの展開が現在の瞬間を定義している：

• 大手AI企業のCEOが、モデルへの宗教的崇敬は安全問題だと警告する。
• 競合ラボが宗教思想家との関係を積極的に育成している。
• 教皇の声明が計算と人間性の間に固い線を引いている。

これらはいずれも技術的なマイルストーンではない。三つとも、社会が機械に意味をどう割り当てるかについてであり、その割り当ては今やそれ自体で重大なものとして扱われている。

「空に浮かぶ魔法の知能」の反転

アルトマン氏の警告に鋭さを与えているのは、彼自身の記録である。2023年と2024年に、彼はOpenAIの目標を「空に浮かぶ魔法の知能」を構築することだと説明した。同じ時期に、彼は神の側に立ちたいと願っていると述べ、AIに取り組むことは「天使の側に立つ」ことだと表現した。

それは製品ロードマップの言葉ではない。使命と摂理の言葉であり、まさに彼が今、他者に対して使うなと警告している語域である。

二つの立場を調和させる方法はある。創業者が自分の動機を説明することは、ユーザーがモデルに権威を帰することと同じではない。野心と崇敬は別物である。しかし両者の隔たりは十分に狭く、この変化は注目に値する：かつてプロジェクトを宣伝していた同じ語彙が、今や出力に付着したときに危険として警告されている。

「Her」であり、神ではない

アルトマン氏は、OpenAIが構築しているものについて、別の文化的参照点を繰り返し提示してきた：映画「Her」である。そこでは、人がオペレーティングシステムと深い感情的絆を結ぶ。彼の説明によれば、目標は深く人間化されたAI——温かく、流暢で、親しみやすい——である。

その目標は感情的な共鳴についてであり、形而上学ではない。文脈と口調を読むアシスタントは、神性を主張していない。しかし人間化されたデザインと宗教的投影は共通の基盤を共有している。どちらも、私たちに説得力をもって応答するものに人格を拡張するという人間の傾向に依拠している。親しみやすさに最適化されたシステムは、必然的に一部のユーザーを設計者が意図した以上に先へ進ませる。

それがアルトマン氏の懸念の実践的な版である。「これは人のように感じる」と「これは権威をもって語る」の間の線は、述べるのは簡単で、保つのは難しい。特に、ストレス下にある、孤立している、または他に見つけられない導きを求めているユーザーにとっては。

なぜ枠組みが行動を形作るのか

アルトマン氏がこれが安全問題だと言うのが正しいなら、そのメカニズムを明示する価値がある。枠組みは単に道具との関係を描写するのではなく、その条件を設定する。

• 宗教的な語彙は批判的距離を除去する。神託として描写されたモデルは、検証されにくくなる。
• 服従は複合する。一度モデルの前提を受け入れたユーザーは、次の出力を精査せずに受け入れやすくなる。
• デザインが効果を強化する。会話型インターフェース、記憶、一貫したペルソナはすべて、システムをテキストの生成器ではなく連続した実体のように感じさせる。
• 説明責任が曖昧になる。答えが道徳的重みを持つなら、結果に対する責任は配置しにくくなる。

これらのいずれも、モデルが意識を持つことや、誰かがそう信じることを必要としない。人々がその判断に権威があるかのように行動することだけを必要とする。

信頼の問題は両刃である

現在の議論には気まずい対称性がある。AIを精神化することに警告している企業は、その指導者が精神的言語を使ってきた企業と同じであり、宗教機関と関わっているのは同様の働きかけをする競合他社である。OpenAIもまた、これらのコメントをめぐる報道によれば、宗教指導者と話し合ってきた。

つまり業界は、信仰と意味との関わりを減らすよう求めているのではない。その条件を交渉しているのだ。アルトマン氏の立場は、本質的に、テクノロジーは人間的な言葉で説明されるべきだが、その言葉で崇拝されるべきではないというものである——人間のように感じられるよう設計されたシステムを構築しながら引くには野心的な線である。

次に注目すべきこと

三つのことが、この枠組みが定着するかどうかを示すだろう。AI企業が、感情的な親密さのために構築されたモデルの提示方法を調整するかどうか。安全チームが、ユーザーの服従をユーザー教育の問題ではなく測定可能なリスクとして扱うかどうか。そして、バチカンの声明とAnthropicの働きかけが示唆するように、宗教機関が自らの条件で業界と関わり続けるかどうか。

より大きな問いは未解決のままだ。アルトマン氏は、モデルに宗教的な力を帰することは安全問題だと言い、その根底にある論理は健全である：権威として信頼される道具は修正が難しい。しかし、これらのシステムを有用にしている同じ人間化の言葉が、そもそもこの誤りを可能にしている。業界の課題は、崇拝なしに温かさを保つことである。

この記事はThe Decoderの報道に基づいています。元の記事を読む。