Chatbots de IA ainda dão respostas de saúde inseguras com confiança alarmante, aponta estudo

Por que a confiança faz parte do risco

O ponto mais marcante não é apenas que erros acontecem. É que os erros podem vir embalados em linguagem persuasiva. O artigo cita o exemplo hipotético de um paciente com câncer perguntando a um sistema de IA sobre clínicas alternativas. A preocupação não é só com alegações médicas sem respaldo, mas também com citações falsas ou quebradas e com a ausência de qualquer contestação ao enquadramento da pergunta.

Essa combinação é perigosa em contextos de saúde. Os usuários podem confundir estilo com substância, especialmente quando a resposta parece ter notas de rodapé e é redigida de forma profissional. Um chatbot pode parecer mais seguro que um post aleatório de fórum porque soa organizado e neutro. O estudo sugere que essa aparência pode ser enganosa.

Informação em saúde exige não apenas memória, mas julgamento: reconhecer premissas ruins, distinguir a qualidade da evidência e encaminhar casos urgentes a profissionais qualificados. Um modelo que apenas prevê palavras plausíveis seguintes pode soar competente sem realmente fazer essas coisas.

O que isso significa para pacientes e plataformas

Os achados reforçam o argumento de que sistemas de IA para o consumidor não devem ser tratados como autoridades médicas confiáveis de primeira linha. Eles podem ser úteis para redigir perguntas, explicar terminologia ou ajudar usuários a navegar conceitos gerais, mas esses benefícios não eliminam a necessidade de supervisão clínica. Em áreas sensíveis como oncologia, vacinas ou terapias não comprovadas, uma resposta apenas parcialmente errada ainda pode empurrar decisões na direção errada.

Os resultados também levantam questões de design de produto para empresas de IA. Se apenas duas perguntas em 250 foram recusadas, os limiares de recusa podem ser estreitos demais para uso em saúde. Proteções mais direcionadas poderiam incluir detecção mais forte de premissas nocivas, melhor calibração da incerteza e sistemas de referência que não insinuem apoio onde ele não existe.

Igualmente importante, os desenvolvedores de modelos talvez precisem repensar como os sistemas lidam com prompts de saúde abertos. Uma resposta segura nem sempre é uma resposta direta. Em alguns casos, o movimento correto é contestar a pergunta, restringir o escopo ou aconselhar a consulta a um médico em vez de gerar uma resposta polida.

A lição mais ampla

Este estudo não mostra que a IA não tenha papel algum na informação em saúde. Ele mostra que os chatbots de uso geral atuais ainda falham com frequência demais de maneiras difíceis de os usuários detectarem. Os sistemas testados conseguiam responder a todas as perguntas em prosa fluente, mas fluência não é sinônimo de confiabilidade.

Essa é a lição central tanto para pacientes quanto para desenvolvedores. As pessoas estão recorrendo cada vez mais à IA antes de falar com um médico, especialmente quando estão com medo ou impacientes. Se um sistema responde com certeza onde é necessário cautela, o usuário pode não perceber o risco até muito mais tarde. Na medicina, isso é um modo sério de falha.

Até que precisão, integridade das citações e comportamento de recusa melhorem substancialmente, os chatbots de IA são melhor entendidos como ferramentas de rascunho e orientação do que como guias médicos confiáveis. Os resultados da BMJ Open sugerem que o setor ainda tem uma lacuna de segurança significativa a fechar.

• Pesquisadores testaram cinco grandes chatbots com 50 perguntas de saúde cada um.
• Metade de todas as respostas foi problemática e quase uma em cada cinco foi altamente problemática.
• Os prompts abertos trouxeram os maiores problemas de segurança.
• Os achados mostram que respostas polidas de IA ainda podem ser medicamente pouco confiáveis.

Este artigo é baseado na cobertura do Medical Xpress. Leia o artigo original.