可解释AI并未对所有人产生相同影响
《Nature Medicine》的一项新研究指出，可解释AI可以提升皮肤病诊断支持效果，但其收益高度取决于使用者是谁，以及AI答案在何时展示。在两项大规模实验中，研究人员对623名普通人和153名初级保健医生进行了测试，结果发现，受公平性约束的AI模型帮助总体诊断准确率提高，并缩小了不同肤色之间的表现差距。但建立在该系统之上的解释层，对非专业人士和临床医生却产生了截然不同的影响。
这一核心结果与其说是对可解释AI的简单肯定，不如说是一个关于其不均衡影响的警示。普通用户更容易受到自动化偏差影响：当AI诊断正确时，他们的表现会提升；当系统出错时，他们的表现会下降。相比之下，初级保健医生表现得更为稳健。研究显示，无论AI诊断正确与否，他们都能从中获益，这表明经验会改变人们解读和权衡这些解释的方式。
这一发现之所以重要，是因为医疗AI正越来越多地同时面向两类截然不同的受众。一类是专业场景中使用软件的临床医生；另一类是公众，他们如今直接接触由AI驱动的症状检查工具、图像分析器和大型语言模型界面。这项研究表明，这两个场景不应被视为可互换。
受公平性约束的模型提升了基础表现
研究人员围绕一套皮肤科AI系统展开实验，该系统在训练时加入了公平性约束，旨在平衡不同肤色群体的表现。这一设计回应了医疗影像AI中最持久的担忧之一：如果训练数据或优化过程让某些人群代表性不足，系统在不同人口群体间的表现就可能不均衡。
根据研究摘要，这一公平性约束模型提高了普通用户和初级保健医生的最终诊断准确率，同时也缩小了与肤色相关的表现差距。这是一个重要的基础结果，因为它表明，模型设计不仅会影响平均性能，也会影响辅助能力在不同用户和病例之间的分配公平性。
从实际角度看，这个模型提供的并不只是原始预测。它位于一个人机决策流程中，用户会看到AI输出，并在某些条件下看到多模态大语言模型的解释。因此，研究人员不仅能观察AI是否准确，还能研究其呈现方式如何改变人的判断。
解释增加了普通用户的风险
可解释AI常被视为解决黑箱决策问题的办法。如果用户能看到系统为何给出某个答案，理论上就能更适当地信任它，并在它失误时加以纠正。这项研究为日益增多的证据再添一笔，表明事情远比这复杂。
对普通人而言，这些解释似乎放大了跟随机器判断的倾向。当系统诊断正确时，这种更强的依赖有助于提升表现；当系统出错时，则会造成损害。研究把这种模式称为更强的自动化偏差，意思是解释界面可能让模型的结论显得更权威，即使它本应受到质疑。
这一差异对于面向消费者的健康工具至关重要。一个精致的解释可能营造出透明的印象，却并不能保证它在用户眼前的具体案例中真的可靠。对于非专业人士来说，更多细节未必带来真正理解，反而可能带来过度自信。
研究人员把多模态大语言模型解释描述为一把双刃剑。在这里，这个说法并非修辞，而是准确概括了核心设计难题：同样的界面功能，可能帮助一类用户理解建议，也可能让另一类用户过度信任系统。
临床医生的反应不同
研究中的初级保健医生并未表现出同样的脆弱性。摘要称，他们保持了韧性，并且无论AI模型的诊断是否准确，都能从中受益。这并不意味着临床医生不会受影响，但确实说明他们与系统交互时的认知起点不同。
专业训练很可能让医生具备更强的内部框架，用来将模型输出与自身判断进行对照。与其把解释当作判断的替代品，他们可能把它视为更广泛诊断流程中的又一个输入。研究摘要没有详尽说明造成这种差异的每一种机制，但这种对比是其最具政策意义的结论之一。
医疗系统常把AI部署讨论得像是同一种界面可以适用于多种角色。这项研究则指向相反方向。面向临床医生的工具，可能需要与面向公众的工具不同的解释风格、置信提示和呈现顺序。在一种场景中有用的解释，放到另一种场景中可能会具有误导性。
展示时机也很关键
研究还发现，在人类作出决定之前先展示AI诊断，可能会造成更强的锚定偏差。锚定效应指的是，较早获得的信息会对后续判断产生过强影响。在诊断流程中，这意味着用户可能会被AI的首个建议锁定，而没有充分考虑其他可能性。
这一结果对软件设计尤其重要。它意味着，安全问题不仅在于是否加入解释，还在于何时显示预测，以及如何组织交互顺序。先让临床医生或患者给出初步判断，再展示AI答案的系统，可能会产生与先由机器给出建议的系统不同的结果。
从产品角度看，这类界面选择似乎很小，但对决策质量的影响可能远超预期。因此，这篇论文也体现了医疗AI评估的一个更广泛转变：仅靠性能指标还不够。人的因素、工作流程顺序和解释呈现方式，都会实质性改变真实世界的结果。
对医疗AI部署的启示
这项研究并没有主张应该放弃可解释AI。相反，其证据支持一个更精确的结论：解释功能必须在真实用户、真实任务和真实决策顺序的语境中接受测试。在皮肤科支持场景中，考虑公平性的训练改善了结果，但可解释性又给行为带来了新的风险，尤其是对非专业人士而言。
这对监管机构、医院和面向消费者的健康开发者都很重要。一个因为会解释自己而显得更安全的工具，如果这些解释反而增加了自动化偏差或锚定效应，仍可能造成可避免的伤害。相反，如果模型与界面与用户专业水平相匹配，经过精心设计的AI辅助就能提高准确率并减少差异。
随着大型语言模型进一步进入医疗工作流程，这篇论文及时提醒人们：透明并不自动等于安全。在某些情况下它有帮助，在另一些情况下它会扭曲判断。医疗AI设计的下一阶段，或许不在于到处添加解释，而在于识别哪种解释、面向哪类用户、以及在决策流程的哪个时刻，真正能改善医疗结果。
本文基于 Nature Medicine 的报道。阅读原文。
Originally published on nature.com