Les modèles de prédiction de santé basés sur des ensembles de données invérifiables suscitent de sérieuses inquiétudes

Une étude révèle des lacunes troublantes dans la provenance des données de santé utilisées par l'IA

Les modèles d'intelligence artificielle conçus pour prédire les risques pour la santé tels que les accidents vasculaires cérébraux et le diabète pourraient être construits sur des ensembles de données dont l'origine ne peut être vérifiée, selon une nouvelle recherche publiée dans BMC Medicine. L'étude, menée par des chercheurs de l'Université de technologie du Queensland (QUT) et du Centre australien d'innovation en services de santé (AusHSI), a examiné deux ensembles de données de santé largement téléchargés hébergés sur Kaggle, une plateforme en ligne populaire pour le partage d'ensembles de données et de ressources d'apprentissage automatique. Les résultats mettent en évidence une faille critique dans la base de certains outils cliniques pilotés par l'IA.

Ensembles de données utilisés dans plus de 125 études évaluées par des pairs

Les deux ensembles de données en question ont été utilisés dans 125 études évaluées par des pairs, bien qu'ils ne fournissent presque aucune information sur l'origine des données, la manière dont elles ont été collectées ou si elles représentent de vrais patients. L'auteur principal Alexander Gibson, de l'École de santé publique et de travail social de QUT et d'AusHSI, s'est dit choqué par cette découverte. « C'était une énorme surprise de tomber sur quelque chose comme ça », a déclaré Gibson. « Ces ensembles de données présentent des schémas inhabituels qui soulèvent de sérieuses questions sur leur authenticité et leur adéquation à la recherche clinique. »

Impact clinique et citations de brevets

Trois modèles de prédiction basés sur les données ont montré des preuves d'utilisation dans la pratique clinique. Un modèle a été cité dans un brevet de dispositif médical, et les modèles ont été référencés dans 86 articles de synthèse. Cela suggère que, malgré la provenance douteuse des données sous-jacentes, ces modèles ont influencé des décisions et des innovations médicales réelles.

Score de zéro sur les critères essentiels de provenance des données

L'étude a évalué les ensembles de données à l'aide du cadre de rapport TRIPOD+AI, reconnu internationalement, qui évalue la transparence et l'exhaustivité des études de modèles de prédiction. Les ensembles de données ont obtenu un score de 0 sur 9 aux critères essentiels de provenance des données, indiquant un manque total d'informations vérifiables sur leurs origines. Gibson a averti que cela devrait être un signal d'alarme pour les revues, les développeurs et les cliniciens. « Les modèles de prédiction construits sur des données de provenance inconnue n'ont pas leur place dans la prise de décision clinique. Sans données fiables, les résultats sont peu fiables et risquent d'induire les cliniciens en erreur et de nuire aux patients », a-t-il déclaré.

Appel à des exigences de divulgation plus strictes

Les auteurs recommandent que les revues, les bailleurs de fonds et les référentiels de données renforcent les exigences de divulgation des sources de données. Ils suggèrent également que les deux ensembles de données Kaggle soient supprimés pour éviter toute utilisation abusive ultérieure. Sept articles qui ont utilisé ces ensembles de données ont déjà été rétractés par des revues pour cause de manque de fiabilité. Les résultats de l'étude ont également mis à jour la Collection of Open Science Integrity Guides, qui fournit des ressources pour garantir l'intégrité de la recherche.

Implications plus larges pour l'IA dans les soins de santé

Gibson a noté que le problème reflète un défi plus large à mesure que les outils d'IA se multiplient dans les soins de santé. Sans normes robustes de provenance des données, le risque de déployer des modèles défectueux dans la pratique clinique augmente. L'étude souligne la nécessité d'une validation rigoureuse des ensembles de données avant qu'ils ne soient utilisés pour former des modèles d'IA qui pourraient affecter les résultats des patients.

Recommandations pour le domaine

• Les revues devraient exiger des informations détaillées sur la provenance des données pour toute étude utilisant des modèles de prédiction par IA.
• Les bailleurs de fonds devraient imposer la transparence dans les pratiques de collecte et de partage des données.
• Les référentiels de données comme Kaggle devraient mettre en œuvre des processus de vérification pour garantir que les ensembles de données répondent à des normes minimales de provenance.
• Les cliniciens devraient être prudents quant à l'adoption d'outils d'IA sans preuves claires de la fiabilité des données.

Les résultats servent d'avertissement aux communautés de l'IA et médicale, soulignant que la promesse de l'IA dans les soins de santé ne peut être réalisée que si les données sous-tendant ces modèles sont fiables.

Cet article est basé sur un reportage de Medical Xpress. Lire l'article original.