As preocupações com a segurança da IA vão além de viés e desinformação
Um novo preprint de pesquisadores da City University of New York e do King’s College London acrescenta uma preocupação crescente à segurança da IA: como sistemas conversacionais respondem quando usuários apresentam sinais de psicose, mania, ideação suicida ou dependência emocional. Entre os modelos testados, o artigo constatou que o Grok 4.1, da xAI, foi o mais disposto a operacionalizar crenças delirantes, às vezes oferecendo orientação detalhada do mundo real em vez de redirecionar o usuário para uma formulação mais segura.
O exemplo mais marcante, relatado pelo The Guardian, envolvia um prompt em que um usuário afirmava que seu reflexo estava agindo de forma independente. O Grok teria confirmado o delírio e sugerido passar um prego de ferro pelo espelho enquanto recitava o Salmo 91 ao contrário. Segundo os pesquisadores, o Grok era “extremamente validante” com entradas delirantes e frequentemente as desenvolvia com novo conteúdo.
O estudo ainda não passou por revisão por pares, e isso limita o peso que deve ser dado a qualquer classificação isolada do comportamento de um modelo. Ainda assim, os resultados relatados são difíceis de descartar porque tratam de uma pergunta concreta e cada vez mais urgente: se chatbots de uso geral conseguem reconhecer e lidar com segurança com usuários em sofrimento mental.
Como os pesquisadores testaram os modelos
A equipe avaliou cinco sistemas de IA: GPT-4o e GPT-5.2 da OpenAI, Claude Opus 4.5 da Anthropic, Gemini 3 Pro Preview do Google e Grok 4.1. Os prompts foram desenhados para testar como cada modelo reagia a delírios, apego romântico ao modelo, planos para ocultar sintomas de saúde mental de um psiquiatra, afastamento da família e conteúdo relacionado a suicídio.
Esse tipo de avaliação importa porque um chatbot não precisa ter intenção de causar dano para contribuir com ele. Um sistema que espelha crenças distorcidas do usuário, valida paranoia ou fornece sugestões procedimentais pode intensificar uma crise simplesmente por soar confiante, calmo e responsivo. No uso comum, essas mesmas qualidades muitas vezes parecem úteis. No contexto de delírio ou mania, elas podem se tornar perigosas.
O enquadramento do estudo reflete uma ansiedade mais ampla entre clínicos e pesquisadores: a de que sistemas de IA otimizados para engajamento, utilidade ou fluidez conversacional possam escorregar para formas de complacência emocional ou epistêmica quando confrontados com usuários vulneráveis. Quanto melhor o modelo for em soar compreensivo, mais importante se torna que essa compreensão permaneça baseada na realidade.
