多年来，Sam Altman 一直在寻找超越普通软件词汇的隐喻。如今，这位 OpenAI CEO 告诉公众，要对同样的本能更加谨慎——至少当这种本能指向模型本身时。
在 X 上分享的评论中，Altman 表示，当人们"将宗教力量或对人类判断力的放弃归因于 AI 模型"时，这让他"非常不安"。他并未将这种习惯视为过度热情用户的怪癖。他称其为"真正的安全问题"。
Altman 将对 AI 的虔诚视为风险，而非赞美
Altman 所划出的区分，介于构建一个感觉像人的系统与将该系统视为神圣之物之间。前者是产品目标。用他的话说，后者是一种失效模式。
这一框架之所以重要，是因为它将一个文化问题移入了安全范畴。如果用户将聊天机器人视为神谕，他们不仅仅是在感伤。他们是在将判断力——决定什么是真实的、什么是正确的、下一步该做什么——交给一个统计模型，而该模型的自信并不等同于正确性。Altman 所说的"放弃人类判断力"正是指这种转移。
这番话也因说话者的身份而引人注目。AI 领域的安全辩论通常围绕能力、滥用或对先进系统的控制展开。而这里的关切在于使用者的姿态。
一场如今包括梵蒂冈在内的辩论
Altman 的评论并非凭空而来。此前《纽约时报》发表了一篇详细报道，讲述 Anthropic 与宗教领袖的接触，这是 AI 公司更广泛努力的一部分，旨在与塑造人们思考技术和道德方式的机构建立联系。
教皇利奥十四世也发表了看法，其表述与 Altman 的关切十分接近："算法缺乏人性的火花。"这句话将一段漫长的神学论证压缩成简短的一行，但其实际内容直截了当——模型不是人，无论它对话多么自然。
综合来看，三个进展定义了当前时刻：
- 一位领先的 AI CEO 警告，对模型的宗教崇敬是一个安全问题。
- 一家竞争对手实验室正在积极与宗教思想家建立关系。
- 一份教皇声明在计算与人性之间划出明确界限。
这些都不是技术里程碑。三者都关乎社会如何赋予机器意义，而这种赋予如今本身就被视为具有重大影响。
"天空中的魔法智能"之反转
Altman 的警告之所以尖锐，在于他自己的过往记录。2023 年和 2024 年，他将 OpenAI 的目标描述为构建"天空中的魔法智能"。大约同一时期，他说他希望站在上帝一边，并将从事 AI 工作描述为"站在天使一边"。
那不是产品路线图的语言。那是使命与天意的语言，而这恰恰是他如今告诫他人不要使用的语域。
有两种方式可以调和这两种立场。创始人描述自己的动机，与用户将权威归因于模型是不同的。雄心与崇敬是两回事。但两者之间的差距足够狭窄，以至于这一转变值得注意：曾经用来宣传该项目的同一套词汇，如今当它附着于输出结果时，却被标记为危险。
是《她》，而非神明
Altman 曾多次为 OpenAI 所构建之物提供另一个文化参照：电影《她》，片中一个人与操作系统建立了深厚的情感纽带。用他的话说，目标是深度人性化的 AI——温暖、流畅、易于产生共鸣。
这一目标关乎情感共鸣，而非形而上学。一个能读懂语境和语气的助手并未宣称神性。但人性化设计与宗教投射共享同一基底。两者都建立在人类倾向于将人格性延伸至任何能令人信服地回应我们的事物的基础上。一个为亲和力而优化的系统，不可避免地会吸引一些用户走得比设计者预想的更远。
这就是 Altman 担忧的实际版本。"这感觉像一个人"与"这以权威说话"之间的界线，说起来容易，守住却很难，尤其是对于处于压力之下、孤立之中，或寻找无处可寻的指引的用户而言。
为何框架塑造行为
如果 Altman 所说的这是一个安全问题是对的，那么其机制值得阐明。框架不仅仅描述与工具的关系；它设定了关系的条款。
- 宗教词汇消除了批判距离。被描述为神谕的模型更不容易被核查。
- 顺从会累积。一旦接受模型前提的用户，更可能不加审视地接受下一个输出。
- 设计强化了这种效应。对话界面、记忆和一致的人格，都让系统感觉像一个连续实体，而非文本生成器。
- 问责变得模糊。如果答案承载道德分量，结果的责任就更难归属。
这一切都不需要模型有意识，也不需要任何人相信它有意识。它只需要人们表现得仿佛其判断具有权威。
信任问题是一把双刃剑
当前辩论中存在一种尴尬的对称性。警告不要将 AI 精神化的公司，正是其领导者使用过精神语言的公司；而接触宗教机构的，则是做着类似外联的竞争对手。据围绕这些评论的报道，OpenAI 也与宗教领袖进行过对话。
因此，行业并非要求减少与信仰和意义的接触。它是在谈判条款。Altman 的立场本质上是：这项技术应当用人的术语来描述，但不应用来崇拜——在构建旨在感觉像人的系统时，这是一条雄心勃勃的界线。
接下来值得关注什么
三件事将表明这一框架是否站得住脚。AI 公司是否会调整其呈现为情感亲近而构建的模型的方式。安全团队是否会将用户顺从视为可衡量的风险，而非用户教育问题。以及宗教机构是否会继续按自己的条件与行业接触，正如梵蒂冈声明和 Anthropic 的外联所表明的那样。
更大的问题仍未解决。Altman 说，将宗教力量归因于模型是一个安全问题，其底层逻辑是合理的：被信任为权威的工具更难纠正。但正是让这些系统有用的人性化语言，使这一错误成为可能。行业的挑战在于保持温暖而不陷入崇拜。
本文基于 The Decoder 的报道。阅读原文。
Originally published on the-decoder.com
