Los chatbots de IA siguen dando respuestas de salud inseguras con una confianza alarmante, según un estudio

Por qué la confianza forma parte del riesgo

El problema más llamativo no es solo que ocurran errores, sino que esos errores puedan presentarse con lenguaje persuasivo. El artículo pone como ejemplo hipotético a un paciente con cáncer que pregunta a un sistema de IA sobre clínicas alternativas. La preocupación no es solo la presencia de afirmaciones médicas sin respaldo, sino también citas falsas o rotas y la ausencia total de objeciones al marco de la pregunta.

Esa combinación es peligrosa en contextos de salud. Los usuarios pueden confundir el estilo con la sustancia, especialmente cuando una respuesta parece tener notas al pie y está redactada de manera profesional. Un chatbot puede parecer más seguro que una publicación aleatoria de un foro porque suena organizado y neutral. El estudio sugiere que esa apariencia puede ser engañosa.

La información sanitaria requiere no solo memoria, sino juicio: reconocer premisas erróneas, distinguir la calidad de la evidencia y escalar los casos urgentes a clínicos cualificados. Un modelo que solo predice palabras plausibles siguientes puede sonar competente sin hacer realmente esas cosas.

Qué significa esto para pacientes y plataformas

Los hallazgos refuerzan la idea de que los sistemas de IA de consumo no deben tratarse como autoridades médicas fiables de primera línea. Pueden ser útiles para redactar preguntas, explicar terminología o ayudar a los usuarios a navegar conceptos generales, pero esos beneficios no eliminan la necesidad de supervisión clínica. En áreas sensibles como oncología, vacunas o terapias no probadas, una respuesta solo parcialmente incorrecta aún puede empujar decisiones en la dirección equivocada.

Los resultados también plantean preguntas de diseño de producto para las empresas de IA. Si solo dos preguntas de 250 fueron rechazadas, los umbrales de rechazo pueden ser demasiado estrechos para el uso sanitario. Las protecciones más específicas podrían incluir una detección más sólida de premisas dañinas, una mejor calibración de la incertidumbre y sistemas de referencias que no sugieran respaldo donde no lo hay.

Igualmente importante, los creadores de modelos quizá necesiten replantearse cómo manejan las indicaciones de salud abiertas. Una respuesta segura no siempre es una respuesta directa. En algunos casos, lo correcto es cuestionar la pregunta, acotar el alcance o recomendar consultar a un médico en lugar de generar una respuesta pulida.

La lección más amplia

Este estudio no demuestra que la IA no tenga ningún papel en la información sanitaria. Demuestra que los chatbots de uso general actuales siguen fallando con demasiada frecuencia de formas que a los usuarios les cuesta detectar. Los sistemas probados podían responder a todas las preguntas en prosa fluida, pero la fluidez no era un sustituto de la fiabilidad.

Esa es la lección central tanto para pacientes como para desarrolladores. Cada vez más personas recurren a la IA antes de hablar con un médico, especialmente cuando están asustadas o impacientes. Si un sistema responde con certeza cuando se necesita cautela, el usuario puede no darse cuenta del riesgo hasta mucho después. En medicina, ese es un modo de fallo serio.

Hasta que mejoren sustancialmente la precisión, la integridad de las citas y el comportamiento de rechazo, los chatbots de IA se entienden mejor como herramientas de redacción y orientación que como guías médicas fiables. Los resultados de BMJ Open sugieren que el sector aún tiene una importante brecha de seguridad que cerrar.

• Los investigadores probaron cinco chatbots importantes con 50 preguntas de salud cada uno.
• La mitad de todas las respuestas fueron problemáticas y casi una de cada cinco fue muy problemática.
• Las preguntas de salud abiertas generaron los peores resultados de seguridad.
• Ninguno de los chatbots produjo de forma fiable listas de referencias completamente precisas.

Este artículo se basa en la cobertura de Medical Xpress. Leer el artículo original.