Estudio descubre brechas preocupantes en la procedencia de datos de salud en IA
Los modelos de inteligencia artificial diseñados para predecir riesgos de salud como accidente cerebrovascular y diabetes pueden estar construidos sobre conjuntos de datos cuyos orígenes no pueden verificarse, según una nueva investigación publicada en BMC Medicine. El estudio, dirigido por investigadores de la Universidad Tecnológica de Queensland (QUT) y el Centro Australiano de Innovación en Servicios de Salud (AusHSI), examinó dos conjuntos de datos de salud ampliamente descargados alojados en Kaggle, una popular plataforma en línea para compartir conjuntos de datos y recursos de aprendizaje automático. Los hallazgos destacan una falla crítica en la base de algunas herramientas clínicas impulsadas por IA.
Conjuntos de datos utilizados en más de 125 estudios revisados por pares
Se encontró que los dos conjuntos de datos en cuestión se habían utilizado en 125 estudios revisados por pares, a pesar de no proporcionar casi información sobre de dónde provenían los datos, cómo se recopilaron o si representaban pacientes reales. El autor principal, Alexander Gibson, de la Escuela de Salud Pública y Trabajo Social de QUT y AusHSI, expresó sorpresa por el descubrimiento. “Fue una enorme sorpresa encontrarse con algo así”, dijo Gibson. “Estos conjuntos de datos exhiben patrones inusuales que plantean serias preguntas sobre su autenticidad e idoneidad para la investigación clínica”.
Impacto clínico y citas de patentes
Tres modelos de predicción basados en los datos mostraron evidencia de uso en la práctica clínica. Un modelo fue citado en una patente de dispositivo médico, y los modelos fueron referenciados en 86 artículos de revisión. Esto sugiere que, a pesar de la dudosa procedencia de los datos subyacentes, estos modelos han influido en decisiones e innovaciones médicas del mundo real.
Puntuación cero en criterios esenciales de procedencia de datos
El estudio evaluó los conjuntos de datos utilizando el marco de informes TRIPOD+AI reconocido internacionalmente, que evalúa la transparencia e integridad de los estudios de modelos de predicción. Los conjuntos de datos obtuvieron 0 de 9 en criterios esenciales de procedencia de datos, lo que indica una falta total de información verificable sobre sus orígenes. Gibson advirtió que esto debería ser una señal de alerta para revistas, desarrolladores y médicos. “Los modelos de predicción construidos sobre datos de procedencia desconocida no tienen cabida en la toma de decisiones clínicas. Sin datos confiables, los resultados no son fiables y corren el riesgo de engañar a los médicos y perjudicar a los pacientes”, dijo.
Llamado a requisitos de divulgación más estrictos
Los autores recomiendan que las revistas, los financiadores y los repositorios de datos fortalezcan los requisitos para la divulgación de la fuente de datos. También sugieren que los dos conjuntos de datos de Kaggle se eliminen para evitar un uso indebido posterior. Siete artículos que utilizaron estos conjuntos de datos ya han sido retractados de revistas por no ser fiables. Los resultados del estudio también han actualizado la Colección de Guías de Integridad de la Ciencia Abierta, que proporciona recursos para garantizar la integridad de la investigación.
Implicaciones más amplias para la IA en la atención médica
Gibson señaló que el problema refleja un desafío más amplio a medida que las herramientas de IA proliferan en la atención médica. Sin estándares sólidos de procedencia de datos, aumenta el riesgo de implementar modelos defectuosos en la práctica clínica. El estudio subraya la necesidad de una validación rigurosa de los conjuntos de datos antes de que se utilicen para entrenar modelos de IA que podrían afectar los resultados de los pacientes.
Recomendaciones para el campo
- Las revistas deben exigir información detallada sobre la procedencia de los datos para cualquier estudio que utilice modelos de predicción de IA.
- Los financiadores deben exigir transparencia en las prácticas de recopilación e intercambio de datos.
- Los repositorios de datos como Kaggle deben implementar procesos de verificación para garantizar que los conjuntos de datos cumplan con los estándares mínimos de procedencia.
- Los médicos deben ser cautelosos al adoptar herramientas de IA sin evidencia clara de la confiabilidad de los datos.
Los hallazgos sirven como una historia de advertencia para las comunidades de IA y médicas, enfatizando que la promesa de la IA en la atención médica solo puede realizarse si los datos que sustentan estos modelos son confiables.
Este artículo se basa en un informe de Medical Xpress. Lea el artículo original.
Originally published on medicalxpress.com
