智能体式AI已进入以患者来衡量错误的领域
医学人工智能传统上像诊断测试一样被评判。模型在数据集上训练，在留出样本上与临床医生进行基准对比，并根据灵敏度、特异度或其他某种正确性指标打分。这整套方法都建立在一个假设之上：模型产生输出，由人类来解读。
智能体式AI打破了这一假设。这类系统被设计为跨多个步骤追求目标——调取记录、开具检查、起草文档、安排随访，并在新信息到来时修订计划。2026年10月2日发表在《自然·医学》上、题为《智能体式AI自主性中缺失的环节》的论文，正是针对由此产生的缺口。其主题不是模型准确性，而是信任：具体而言，是自主系统在被允许有意义地参与照护之前必须具备的操作信任与决策信任。
这一框架有意偏离了该领域通常讨论AI安全的方式。大多数讨论将信任视为性能的下游结果——构建更好的模型，信心自然会随之而来。这篇论文则提出，这种关系同样可能反向成立：如果没有使信任可衡量且需靠实际表现赢得的机制，即便是优秀的模型也无法被安全地委托。
两种信任，而非一种
这篇论文最有用的举措是将信任分为两类。这一区分之所以重要，是因为两者的失败方式截然不同，而将它们混为一谈会掩盖真正问题所在。
操作信任
操作信任关乎一个系统是否在实际部署的环境中可靠地做到它声称要做的事。它能否触达正确的数据源？当记录缺失、查询超时或界面变更时，它能否优雅地失败？它是否以监督人员能察觉的方式降级，还是会悄然生成自信的胡言乱语？这些看似工程问题，但在临床环境中它们承载着临床分量。一个悄然丢失化验结果的系统不只是有缺陷，它可能造成伤害。
决策信任
决策信任更为狭窄，也更难建立。它关乎系统所作的判断——采取何种行动、以何种顺序，以及关键的，何时停止——是否值得依赖。一个系统可以在操作上完美无缺，却仍做出临床医生会断然拒绝的决策。反过来，一个基础设施不稳的系统，也可能在一切正常的狭窄窗口内推理良好。将两者视为同一个变量——正如当前许多讨论所做的那样——会掩盖一个事实：修复其中一个对另一个毫无帮助。
为什么自主性改变了风险计算
传统的临床AI工具位于工作流之中并等待指令。它回答一个问题，答案被审核。智能体式系统则不同：它们持有一条线索。它们做出中间选择，其中一些具有后果，而这些选择会累积。名义上负责的人可能只看到最后的摘要。
正是这种累积使信任问题变得紧迫而非哲学化。系统在没有检查点的情况下每多采取一步，就会增加错误可能进入的位置数量，以及继承该错误的下游决策数量。适用于单次预测的人工监督，并不能自动扩展到一下午内采取的十步行动链条。
医疗领域进一步放大了这一点，因为该领域对智能体式系统最容易表现出的失败模式异常不容忍：过度自信、听起来合理的捏造，以及难以识别自身能力的边界。一个编造引用的聊天机器人令人尴尬。一个编造药物相互作用并据此行动的系统则完全是另一回事。
缺失的环节
如果这篇论文的论点是自主性需要的不仅仅是能力，那么自然的下一问题就是究竟缺失了什么。在论文所涵盖的领域中，有几个缺口反复出现。
- 与任务相匹配的评估。静态基准衡量的是单个答案，而非决策序列。目前尚无成熟做法来评分一个智能体的计划是否合理，只能评估其最终输出是否与参考相符。
- 推理的可审计性。当系统采取行动时，关于其为何这样做的记录往往很单薄，或是事后重建的。没有可信的痕迹，监督就成了作秀。
- 明确定义的升级机制。智能体式系统需要清晰、可靠的节点，将控制权交还给人类。交接太多会让系统无用；太少则使其危险，而正确的阈值取决于具体情境。
- 预见自主性的治理。围绕设备和诊断构建的监管框架，无法干净地映射到行为随每个部署情境而变化的系统上。
- 共享的定义。如果没有关于何为操作信任与决策信任的共识词汇，各机构就无法相互比较，每次部署都在孤立中重新发明自己的标准。
赢得的自主性实际上会是什么样
这篇论文隐含的处方是：自主性应当逐步授予并以证据为依据，而非从基准分数中假定。这意味着需要一套相当严苛的机构习惯。
- 部署从狭窄、可逆的行动开始，仅在证据积累时才扩大范围。
- 监控不仅跟踪正常运行时间和延迟，还要跟踪随时间变化的决策质量。
- 明确的问责制：当自动化行动造成伤害时，有具名的人或委员会负责。
- 文档足够严谨，使独立审查者能够重建发生了什么以及为什么。
这些都不光鲜。正是这些连接组织将一个有能力的系统转变为可信的系统，而当底层模型足够令人印象深刻、足以激发热情时，恰恰是这一层往往被跳过。
令人不安的结论
《自然·医学》这篇论文最具挑战性的含义是：智能体式AI自主性中缺失的环节可能根本不是技术性的。更好的模型将使操作信任更容易实现——更快、更可靠、更不脆弱。但决策信任取决于任何架构都无法解决的问题：谁负责、什么算可接受的风险、多少监督才够，以及由谁来决定。
这些是制度性和临床性问题，而医疗领域在为人从业者回答这些问题方面积累了数十年来之不易的经验。未来的工作是将这些经验扩展到那些行动而非仅仅回答的系统上。在此之前，对医学中大多数智能体式AI的诚实描述并非自主，而是无人监督，这完全是另一回事。
本文基于《自然·医学》的报道。阅读原文。
Originally published on nature.com
