Modelos de Previsão de Saúde com IA Construídos em Conjuntos de Dados Não Verificáveis Levantam Sérias Preocupações

Estudo Revela Lacunas Preocupantes na Proveniência de Dados de Saúde para IA

Modelos de inteligência artificial projetados para prever riscos à saúde, como AVC e diabetes, podem ser construídos com base em conjuntos de dados cujas origens não podem ser verificadas, de acordo com uma nova pesquisa publicada no BMC Medicine. O estudo, liderado por pesquisadores da Queensland University of Technology (QUT) e do Australian Center for Health Services Innovation (AusHSI), examinou dois conjuntos de dados de saúde amplamente baixados hospedados no Kaggle, uma plataforma online popular para compartilhar conjuntos de dados e recursos de aprendizado de máquina. As descobertas destacam uma falha crítica na base de algumas ferramentas clínicas baseadas em IA.

Conjuntos de Dados Usados em Mais de 125 Estudos Revisados por Pares

Os dois conjuntos de dados em questão foram usados em 125 estudos revisados por pares, apesar de fornecerem quase nenhuma informação sobre a origem dos dados, como foram coletados ou se representavam pacientes reais. O autor principal, Alexander Gibson, da QUT's School of Public Health and Social Work e AusHSI, expressou choque com a descoberta. “Foi uma enorme surpresa encontrar algo assim”, disse Gibson. “Esses conjuntos de dados exibem padrões incomuns que levantam sérias questões sobre sua autenticidade e adequação para pesquisa clínica.”

Impacto Clínico e Citações de Patentes

Três modelos de previsão baseados nos dados mostraram evidências de uso na prática clínica. Um modelo foi citado em uma patente de dispositivo médico, e os modelos foram referenciados em 86 artigos de revisão. Isso sugere que, apesar da proveniência questionável dos dados subjacentes, esses modelos influenciaram decisões e inovações médicas no mundo real.

Pontuação Zero em Critérios Essenciais de Proveniência de Dados

O estudo avaliou os conjuntos de dados usando a estrutura de relatórios TRIPOD+AI, reconhecida internacionalmente, que avalia a transparência e a completude de estudos de modelos de previsão. Os conjuntos de dados obtiveram 0 de 9 em critérios essenciais de proveniência de dados, indicando uma completa falta de informações verificáveis sobre suas origens. Gibson alertou que isso deve ser um sinal de alerta para periódicos, desenvolvedores e clínicos. “Modelos de previsão construídos com dados de proveniência desconhecida não têm lugar na tomada de decisões clínicas. Sem dados confiáveis, os resultados são pouco confiáveis e correm o risco de enganar os clínicos e prejudicar os pacientes”, disse ele.

Apelo por Requisitos de Divulgação Mais Fortes

Os autores recomendam que periódicos, financiadores e repositórios de dados fortaleçam os requisitos para divulgação da fonte dos dados. Eles também sugerem que os dois conjuntos de dados do Kaggle sejam removidos para evitar uso indevido adicional. Sete artigos que usaram esses conjuntos de dados já foram retratados de periódicos por serem não confiáveis. Os resultados do estudo também atualizaram a Collection of Open Science Integrity Guides, que fornece recursos para garantir a integridade da pesquisa.

Implicações Mais Amplas para a IA na Saúde

Gibson observou que o problema reflete um desafio mais amplo à medida que as ferramentas de IA proliferam na saúde. Sem padrões robustos de proveniência de dados, o risco de implantar modelos falhos na prática clínica aumenta. O estudo ressalta a necessidade de validação rigorosa dos conjuntos de dados antes de serem usados para treinar modelos de IA que possam afetar os resultados dos pacientes.

Recomendações para a Área

• Periódicos devem exigir informações detalhadas de proveniência de dados para qualquer estudo que use modelos de previsão de IA.
• Financiadores devem exigir transparência nas práticas de coleta e compartilhamento de dados.
• Repositórios de dados como o Kaggle devem implementar processos de verificação para garantir que os conjuntos de dados atendam aos padrões mínimos de proveniência.
• Clínicos devem ter cautela ao adotar ferramentas de IA sem evidências claras de confiabilidade dos dados.

As descobertas servem como um conto de advertência para as comunidades de IA e médica, enfatizando que a promessa da IA na saúde só pode ser realizada se os dados que sustentam esses modelos forem confiáveis.

Este artigo é baseado em reportagem do Medical Xpress. Leia o artigo original.