安全提示减少临床测试中的有害AI选择

随着大型语言模型逐渐进入临床工作流程，研究人员开始关注：请求周围的措辞会在多大程度上影响AI辅助决策的安全性。西奈山伊坎医学院研究人员开展的一项研究表明，这种影响可能相当明显。

发表在Communications Medicine上的研究发现，加入简短的安全提醒后，AI模型作出潜在有害临床选择的比例下降。该结果并不意味着提示词能让模型适合自主医疗使用，但说明上下文指令是设计和评估临床AI系统的重要组成部分。

模拟临床选择中的可测变化

研究团队评估了20个大型语言模型，覆盖50个临床情境的501种变体，并使用了100个根据去标识化医院出院记录改编的病例，总计分析了超过1000万条模型回答。

研究人员发现约118万次潜在有害选择。没有安全提醒时，这些选择占回答的16.6%；加入简短提醒后，比例降至10.1%。

提醒在20个模型中的19个降低了潜在有害选择。

为什么语境重要

研究的核心并不在于某一句固定措辞，而在于AI接收请求的条件。语言、框架和上下文都会影响输出，尤其是在指令与患者安全发生冲突时。

这意味着临床助手不仅是底层模型，还包括提供患者信息、呈现选项、定义角色、添加警告以及决定是否由人类审核建议的工作流程。

测试请求，而不只是答案

医疗AI评估通常关注模型能否提供准确的信息。这项研究增加了另一个维度：当请求本身把模型推向不安全方向时，模型是否仍会优先考虑患者安全。

研究结果支持在评估模型准确性、可靠性时，同时测试提示策略和工作流程语境。

结果说明了什么

简短的安全指令可以降低研究情境中的有害选择，但并不能证明语言模型能够独立作出临床决定，也不能保证在每家医院、每个专科或每种软件中都能得到相同效果。

提醒仍需在实际环境中验证，并与临床监督及系统可获得的信息等其他防护措施一同评估。

临床AI的设计考量

安全语言不应在选择模型之后才被视为补充措施。它是产品中可以测试的一部分。研究显示，简短提醒并未解决所有问题，但在大规模评估中使模型行为朝更安全的方向移动。

本文根据Medical Xpress报道编写。阅读原文。