Kaiser治疗师称新AI筛查系统正在危害患者安全

当AI管理心理健康队列时

Kaiser Permanente的治疗师正在罢工，其中一个核心不满是新的AI驱动患者筛查和转接系统，临床人员称该系统在做危险的错误判断。多个Kaiser设施的治疗师声称，该系统错误地将表现出自杀倾向或急性心理健康危机的患者分类为比临床判断更低的优先级，而且有几名患者由于算法转接决策而接近遭受严重伤害。Kaiser为该系统辩护，但治疗师的叙述描绘了一个令人不安的景象——AI在一个错误可能产生不可逆转后果的背景下被部署。

AI筛查系统如何运作

心理健康环境中的患者筛查传统上依赖于标准化问卷——如用于抑郁症的PHQ-9或Columbia Suicide Severity Rating Scale——结合临床访谈来评估患者的心理健康需求的紧迫性和性质。Kaiser的AI系统据报道增强或在某些情况下取代了这一过程的部分，使用对摄入问卷的回答、患者历史数据和行为信号来生成风险评分和转接建议，该建议决定了患者何时被看诊以及由什么类型的提供者来看诊。

原则上，AI辅助筛查可能会改进一致性并减少人类摄入评估中固有的可变性。在忙碌的一天向摄入人员提出的患者会收到与在理想条件下提出的患者相同的算法评估。该系统还可以识别患者历史中的风险因素，这些因素可能被忙碌的人类筛查员忽视。

治疗师在报告什么

治疗师的账户描述了一个反方向失败的系统。多名临床医生报告了患者在摄入问卷中表达自杀意念但被分配为常规预约而不是紧急时段的案例，因为AI系统在患者历史中的其他因素——如先前的稳定评估——权重比当前摄入中的急性危机指标要高。

在关于争议的媒体报道中产生共鸣的短语是"感谢上帝他们仍然活着"——治疗师用来描述患者的表述，这些患者在随后的等待期间经历了错误的低优先级转接。任何患者是否因为系统而实际遭受严重伤害仍然存在争议；Kaiser坚持该系统在既定的临床安全参数内运作，而治疗师说他们观察到的险些事故表明这些参数是不充分的。

高风险分诊中的算法平均化风险

这一争议中的核心紧张关系反映了将机器学习应用于临床分诊的更广泛问题。AI系统在历史数据上进行训练，并针对训练分布中的平均性能进行优化。在心理健康筛查中，从安全角度来看最重要的患者正是那些异常值——其当前危机呈现与其历史基线显著不同的个人，或使用AI系统可能会逐字解释但训练有素的临床医生识别为警告信号的最小化语言。

临床直觉——治疗师对语调、肢体语言、犹豫和背景的理解——捕获了问卷回答所没有的信息。主要依赖问卷数据和历史记录的筛查系统可能会系统性地低估恰恰是区分真正紧急情况和常规预约的信号。当风险是患者的生命时，系统性地低估危机信号正是不能容忍的失败模式。

对临床环境中AI的更广泛影响

Kaiser Permanente并非唯一部署AI来管理患者转接和资源分配的医疗系统。美国各地的卫生系统正在实施类似的工具，受到改进效率承诺的吸引，这些系统中提供者短缺造成持续的获取问题。心理健康护理面临特别严重的容量限制，这使得对AI辅助分诊的吸引力特别强——鉴于潜在结果的严重性，算法错误的风险也特别高。

Kaiser争议可能会影响其他卫生系统如何处理心理健康背景下AI筛查工具的验证和监督要求。监管机构、临床专业机构和卫生系统管理人员都在关注这如何发展，意识到大规模部署的AI分诊工具要么可能显著改进心理健康护理的获取，要么如果在没有充分临床监督和错误检测机制的情况下部署，可能会产生系统风险，这些风险可能会否定这些好处。

本文基于The Guardian的报道。阅读原始文章。