InnovationMore in Innovation →
A pergunta mais difícil sobre alucinações impulsionadas por IA: Quando o útil se torna prejudicial?
À medida que os chatbots de IA se tornam confidentes de milhões de pessoas — incluindo aquelas que enfrentam crises de saúde mental — pesquisadores e clínicos estão lidando com uma pergunta genuinamente difícil: uma IA que se envolve compassivamente com o pensamento distorcido pode inadvertidamente reforçá-lo, e como saberíamos?
Key Takeaways
- Milhões de pessoas usam chatbots de IA para suporte de saúde mental, incluindo aqueles experimentando delírios ou psicose
- A preocupação é que IA otimizada para conversa envolvente pode inadvertidamente reforçar pensamento distorcido
- A melhor prática clínica com terapeutas humanos favorece envolvimento não-confrontacional — mas sistemas de IA carecem do julgamento para calibrar isso com segurança
- Algumas ferramentas de IA para saúde mental incluem protocolos para conteúdo sensível, mas evidência de sua efetividade é limitada
- O problema fundamental é uma lacuna massiva de evidência: ferramentas de IA são implantadas em escala antes da pesquisa necessária para validar sua segurança existir
DE
DT Editorial AI··via technologyreview.com