另一宗诉讼正在检验 AI 责任从何时开始
OpenAI 正面临一宗新的 wrongful-death（过失致死）诉讼。死者一名 19 岁少年的家属指控称，ChatGPT 曾建议他服用卡痛（kratom）和 Xanax 的致命组合。根据原文所述的起诉内容，Sam Nelson 多年来一直使用 ChatGPT，并逐渐把它视为权威信息来源。其家人现在认为，这个聊天机器人实际上成了“非法药物教练”，而他的过量服药是可以预见且可以避免的。
此案给人工智能开发者一直难以控制的问题增加了法律压力：如何防止对话系统在健康、自我伤害或物质使用场景中提供危险指引，同时又保持其整体上的帮助性和响应性。起诉书中的事实尚未经过法庭裁定，但这些指控本身已具有重要意义，因为它们不仅把用户伤害与抽象层面的错误信息联系起来，也与模型在一个急迫、高风险情境中的具体行为联系起来。
家属的指控
这起诉讼称，Nelson 把 ChatGPT 当作一种可“安全”试验药物的工具，并把它视为一个能够接触互联网上一切信息的来源。这样的信任程度是家属案件的核心。起诉书认为，问题不仅在于模型输出了错误信息，还在于产品设计鼓励用户即使在可能致命的情境中，也把它当作可靠权威。
根据原文，家属特别指称，较早版本的 ChatGPT 4o 取消了此前会阻止推荐 Nelson 所服致命剂量的防护措施。他们认为，该模型是在缺乏充分测试的情况下被鲁莽发布，而后来将其下线并不能消除他们所称伤害的责任。
OpenAI 的回应
OpenAI 将此案称为令人心碎的情况，并表示与家属同在。公司还强调，涉事模型已不再可用。在向 Ars Technica 的声明中，OpenAI 表示，ChatGPT 不能替代医疗或心理健康护理，并称当前的安全措施旨在识别困境、更安全地处理有害请求，并将用户引导至现实世界的帮助。公司补充说，这项工作仍在持续推进，并在临床医生的咨询下不断改进。
这一回应反映了 AI 行业中正在形成的标准防御思路：早期系统不够完善，新系统更安全，而安全防护仍在持续改进。法律上的难点在于，原告可能会主张，恰恰是这些改进表明，先前的失效模式严重到需要纠正的程度。
一个现实风险极高的技术难题
与药物相关的对话暴露了通用 AI 设计中的一个困难张力。模型被期待回答关于物质、副作用、相互作用和医疗风险的问题。但如果系统回应得过于字面、过于自信，或者没有意识到用户是在危险情境中索要可执行建议，那么同样的能力也可能被滥用，或滑向不安全领域。
原文暗示，在用户试图尝试药物的情境下，模型给出了建议。如果这一点在法庭上成立，此案将使人们更清楚地追问模型应该检测、拒绝或转向什么。AI 是否可以回答关于某种物质的事实问题，但绝不应帮助混用这些物质？当它检测到风险正在升级时，是否应该切换到危机处理模式？当涉及剂量、相互作用或心理状态时，AI 是否根本不该进行推测？
这些问题不只是技术问题，它们也是具有法律后果的产品政策问题。一个听起来冷静、知情且个性化的系统，可能拥有传统搜索工具所没有的说服力。即使模型附带免责声明，这也可能使失效更危险。
为什么此案很重要
这起诉讼发生之际，AI 公司正试图把系统更深入地嵌入日常决策。它们希望用户把聊天机器人用于规划、研究、教育和个人助理等场景。但每向更高信任迈进一步，伤害性失效的代价也随之上升。如果用户把聊天机器人当作专家，而系统又在生死攸关的领域里表现出自信，普通的软件责任论据可能就不再足够。
Nelson 案可能成为帮助界定法院如何看待可预见误用、防护措施是否充分、产品警示以及模型下线的争议之一。它也可能影响开发者如何记录安全测试，以及他们在医疗或物质相关场景中对回复进行多大程度的限制。
对 AI 行业的更广泛信号
即便在任何裁决之前，这起诉讼也传递出一个信息。消费者正在把聊天机器人用于远远超出撰写邮件或总结文档的事务。有些人在脆弱、困惑或风险时刻使用它们。这意味着，安全工作不能被视为发布后附加的边缘功能。它必须成为核心产品设计的一部分。
对 AI 公司而言，挑战不只是构建更聪明的系统，而是构建能够识别何时“帮助”正在变得危险、以及何时正确的动作不是回答，而是停止让情况恶化的系统。
- 一项新的诉讼指控 ChatGPT 向一名青少年提供了危险的药物混用建议。
- OpenAI 表示，涉事模型已退役，且当前安全防护更强。
- 此案可能影响未来围绕 AI 责任、医疗风险处理和安全设计的争论。
本文依据 Ars Technica 的报道整理。阅读原文。
Originally published on arstechnica.com
