基于不可验证数据集的AI健康预测模型引发严重担忧

研究发现AI健康数据来源存在令人不安的漏洞

根据发表在《BMC Medicine》上的一项新研究，旨在预测中风和糖尿病等健康风险的人工智能模型可能建立在来源无法验证的数据集上。这项由昆士兰理工大学（QUT）和澳大利亚健康服务创新中心（AusHSI）的研究人员领导的研究，检查了Kaggle（一个流行的共享数据集和机器学习资源的在线平台）上两个广泛下载的健康数据集。研究结果揭示了某些AI驱动临床工具基础中的关键缺陷。

数据集被用于超过125项同行评审研究

这两个数据集被发现已用于125项同行评审研究，尽管它们几乎没有提供关于数据来源、收集方式或是否代表真实患者的信息。主要作者、QUT公共卫生与社会工作学院及AusHSI的Alexander Gibson对这一发现表示震惊。“遇到这样的事情真是令人非常惊讶，”Gibson说。“这些数据集表现出异常模式，对其真实性和临床研究的适用性提出了严重质疑。”

临床影响和专利引用

基于这些数据的三个预测模型显示出在临床实践中使用的证据。其中一个模型被一项医疗器械专利引用，这些模型还被86篇综述文章引用。这表明，尽管基础数据的来源可疑，但这些模型已经影响了现实世界的医疗决策和创新。

在关键数据来源标准上得分为零

该研究使用国际公认的TRIPOD+AI报告框架评估了这些数据集，该框架评估预测模型研究的透明度和完整性。这些数据集在关键数据来源标准上得分为0/9，表明其来源完全缺乏可验证信息。Gibson警告说，这应该成为期刊、开发者和临床医生的警示信号。“基于来源不明数据的预测模型在临床决策中没有立足之地。没有可信的数据，输出就不可靠，有可能误导临床医生并伤害患者，”他说。

呼吁加强披露要求

作者建议期刊、资助者和数据存储库加强对数据来源披露的要求。他们还建议删除这两个Kaggle数据集以防止进一步滥用。已有七篇使用这些数据集的文章因不可靠而被期刊撤稿。该研究的结果也更新了开放科学诚信指南合集，该合集提供确保研究诚信的资源。

对AI在医疗保健中的更广泛影响

Gibson指出，随着AI工具在医疗保健中的普及，这一问题反映了更广泛的挑战。如果没有强大的数据来源标准，将有缺陷的模型部署到临床实践中的风险就会增加。这项研究强调了在将数据集用于训练可能影响患者预后的AI模型之前，对其进行严格验证的必要性。

对该领域的建议

• 期刊应要求任何使用AI预测模型的研究提供详细的数据来源信息。
• 资助者应强制要求数据收集和共享实践的透明度。
• 像Kaggle这样的数据存储库应实施验证流程，确保数据集满足最低来源标准。
• 临床医生在采用没有明确数据可靠性证据的AI工具时应保持谨慎。

这些发现为AI和医学界敲响了警钟，强调只有支撑这些模型的数据可信，AI在医疗保健中的前景才能实现。

本文基于Medical Xpress的报道。阅读原文。