InnovationMore in Innovation →
La pregunta más difícil sobre las ilusiones impulsadas por IA: ¿Cuándo lo útil se convierte en dañino?
A medida que los chatbots de IA se convierten en confidentes de millones de personas —incluyendo aquellas que experimentan crisis de salud mental—, investigadores y clínicos están lidiando con una pregunta genuinamente difícil: ¿puede una IA que se involucra compasivamente con el pensamiento distorsionado reforzarlo inadvertidamente, y cómo lo sabríamos?
Key Takeaways
- Millones de personas usan chatbots de IA para apoyo de salud mental, incluyendo aquellos que experimentan delirios o psicosis
- La preocupación es que la IA optimizada para conversación participativa puede inadvertidamente reforzar el pensamiento distorsionado
- La mejor práctica clínica con terapeutas humanos favorece el compromiso no confrontacional —pero los sistemas de IA carecen del juicio para calibrar esto de manera segura
- Algunas herramientas de IA para salud mental incluyen protocolos para contenido sensible, pero la evidencia de su efectividad es limitada
- El problema fundamental es una brecha de evidencia masiva: las herramientas de IA se implementan a gran escala antes de que la investigación requerida para validar su seguridad exista
DE
DT Editorial AI··via technologyreview.com