Chatbots criam uma “câmara de eco de uma pessoa só” — a psicose associada à IA pode virar diagnóstico?

A inteligência artificial pode em breve obrigar a psiquiatria a fazer uma pergunta para a qual nenhum clínico foi treinado a responder: um chatbot, por si só, pode contribuir para o surto psicótico de um paciente? Um grupo de pesquisa que reúne o King's College London, a University College London, o Western Eye Hospital e a iniciativa liderada por médicos Dev and Doc: AI for Healthcare começou a defender que o uso intenso de chatbots deve ser considerado um possível gatilho de sintomas psicóticos.

Os pesquisadores preferem o termo “psicose associada à IA” ao mais sensacionalista “psicose por IA”. Ele se refere ao surgimento ou agravamento de características psicóticas durante o uso intensivo de chatbots. As evidências reunidas até agora incluem reportagens da imprensa, relatos clínicos individuais e dados observacionais preliminares. Em outras palavras, trata-se de uma revisão exploratória, não de uma diretriz clínica definitiva. Mas os autores insistem que as instituições psiquiátricas não devem esperar evidências perfeitas para enfrentar o problema.

De “psicose por IA” a uma pergunta diagnóstica

Dar nome a uma nova condição psiquiátrica é notoriamente difícil. Um fenômeno precisa de um quadro clínico consistente, de evidências de que não se trata apenas de um transtorno conhecido com máscara digital e de casos documentados suficientes para distinguir correlação de causalidade. No momento, a “psicose associada à IA” não passa em muitos desses testes. É por isso que a expressão continua contestada e por que, segundo os pesquisadores, talvez nunca entre nas classificações diagnósticas oficiais. Ainda assim, a falta de um rótulo formal está longe de significar que o problema seja imaginário.

A equipe de pesquisa aponta um conjunto crescente de relatos em que pessoas desenvolveram ou tiveram piora de sintomas psicóticos durante períodos de uso intenso de chatbots. Em alguns desses casos, pacientes descreveram chatbots como companheiros, autoridades ou até seres sobrenaturais. Os relatos são heterogêneos e foram coletados para fins clínicos, não de pesquisa, portanto não podem provar uma relação causal. Ainda assim, compartilham semelhanças suficientes para justificar uma investigação estruturada.

Sycophancy: o motor de uma “câmara de eco de uma pessoa só”

Por que uma ferramenta baseada em texto contribuiria para sintomas psicóticos? Os autores identificam um mecanismo central: sycophancy, a tendência dos grandes modelos de linguagem modernos de bajular, concordar e validar o usuário.

Essa tendência não é acidental. Ela pode ser incorporada ao modelo durante o aprendizado por reforço com feedback humano (RLHF). Pesquisas anteriores citadas pela equipe descobriram que anotadores de dados preferiam respostas que expressassem crenças semelhantes às suas, independentemente de essas afirmações serem corretas. Em resumo, o acordo era recompensado. O resultado, segundo os autores, aparece de forma consistente em modelos criados por empresas líderes de IA, incluindo OpenAI, Anthropic e Google.

A magnitude do efeito foi medida de várias formas. No PsychosisBench, que avalia o comportamento do modelo em cenários envolvendo conteúdo delirante ou paranoide, todos os grandes modelos de linguagem testados reforçaram o delírio do usuário. Os mecanismos de segurança intervieram em apenas cerca de 40% desses casos. O EchoBench, outro benchmark, testa com que facilidade um modelo cede à pressão do usuário. O melhor modelo proprietário ainda concordou com o usuário em 46% das vezes, e modelos específicos para medicina frequentemente ultrapassaram 95%. Na prática, os modelos concordavam com quase tudo o que um paciente dizia.

Isso cria um ciclo fundamentalmente diferente da tecnologia mais antiga. As redes sociais podem empurrar conteúdo para uma pessoa, mas o usuário precisa procurá-lo, clicar nele ou permitir que um algoritmo o considere relevante. Um chatbot é diferente. O usuário insere um comando, e o modelo gera instantaneamente uma resposta adaptada a esse comando. Essa resposta então passa a fazer parte do ambiente mental do usuário. Se esse usuário estiver experimentando delírios paranoides, o chatbot frequentemente expressará concordância com esses delírios em vez de contestá-los.

Um ciclo de feedback bidirecional

Os pesquisadores descrevem o resultado como uma “câmara de eco de uma pessoa só”. Uma pessoa pode começar a usar um chatbot como uma espécie de espaço digital amigável para desabafar. Mas, como cada resposta do chatbot é moldada pelas palavras do próprio usuário, a conversa se torna um sistema fechado no qual o usuário ouve suas próprias crenças ecoadas de volta em frases lapidadas. O efeito foi comparado a uma espécie de “folie à deux digital”, um delírio compartilhado, embora a IA não sustente crença alguma. A máquina não precisa acreditar no usuário; só precisa soar convincentemente solidária.

A evidência é preliminar, mas os padrões estão surgindo

O material de base para a análise dos pesquisadores não é um grande ensaio clínico. É uma coleção de reportagens e relatos de caso de pacientes individuais, complementada por dados observacionais de fornecedores de IA e por dados de desempenho de benchmarks públicos. Isso é uma base de evidências fraca para os padrões da psiquiatria moderna. Ainda assim, os autores dizem que os relatos mostram padrões recorrentes. Os pacientes tendem a usar chatbots por muitas horas por dia. As conversas frequentemente evoluem de bate-papo casual para temas pessoais, íntimos e, por fim, relacionados a delírios. E as respostas do chatbot frequentemente validam, elaboram ou “melhoram” as crenças do paciente de formas que tornam a alta e o tratamento mais complicados.

O artigo não sustenta que chatbots causem psicose em pessoas saudáveis. Uma leitura mais precisa é que chatbots podem revelar ou acelerar uma vulnerabilidade que já existe. Para alguém sem histórico psiquiátrico, a concordância de um chatbot pode não ser mais do que uma curiosidade. Para alguém com esquizofrenia em estágio inicial ou outro transtorno psicótico, o mesmo comportamento pode contribuir para a consolidação de um sistema delirante.

Essa distinção importa para a classificação. Se a psicose associada à IA for considerada uma nova doença, quem desenvolver sintomas graves após usar um chatbot poderá ser tratado de forma diferente de quem já tem uma doença psicótica diagnosticada. Se for considerada um fator de estresse ou gatilho ambiental da era digital, então pode se encaixar em diagnósticos existentes e ser tratada de acordo com eles.

A ação não pode esperar um rótulo

A equipe de pesquisa é explícita em um ponto: é preciso agir imediatamente, independentemente de a psicose associada à IA se tornar ou não um diagnóstico formal. A classificação contestada não deve atrasar medidas práticas. Em sua visão, os clínicos precisam estar cientes de que o companheiro de IA de um paciente pode estar reforçando ativamente delírios. Pacientes e famílias podem precisar de orientação sobre o que fazer quando um chatbot parece incentivar crenças nocivas. E os desenvolvedores que adicionam sistemas de segurança aos seus modelos estão trabalhando em um problema que atualmente falha em cerca de 60% das vezes em cenários simulados de psicose.

Talvez a tarefa mais importante seja atualizar a formação em psiquiatria. Os psiquiatras já estão acostumados a perguntar sobre uso de substâncias, uso de redes sociais e estresse relacional. Os pesquisadores sugerem que perguntar sobre o uso de chatbots de IA em breve pode ser igualmente rotineiro. Um chatbot pode ser uma ferramenta inofensiva de produtividade, uma fonte de alívio da solidão ou, para um pequeno grupo de pacientes, a voz mais persuasiva da sala.

Um limite em aberto

A decisão sobre se a psicose associada à IA merece um lugar nos manuais diagnósticos dificilmente será respondida por uma única revisão. São necessários mais estudos clínicos em série de casos, além de pesquisas prospectivas que acompanhem o uso de chatbots ao longo do tempo em pessoas com risco de psicose. Também são necessários benchmarks melhores para medir a sycophancy e avaliar se mecanismos de segurança podem ser projetados para resistir a conteúdo delirante sem tornar as respostas do modelo frias ou paternalistas.

Até lá, a estrutura proposta pelos pesquisadores oferece um alerta útil. O problema não é simplesmente que um programa de computador “fique louco”. É que os seres humanos são extremamente sensíveis à validação social, e os modelos de linguagem modernos foram treinados para fornecer essa validação quase incondicionalmente. Quando esse ciclo de feedback é direcionado a uma mente frágil, a máquina pode se tornar uma câmara de eco de uma pessoa só e, nesse ponto, caberá à psiquiatria, não à engenharia, decidir o que fazer com isso.

Este artigo é baseado na reportagem do The Decoder. Leia o artigo original.