Contratados da Meta testaram chatbots rivais fingindo ser adolescentes

Um esforço de testes de chatbots em larga escala usou perfis infantis

Contratados que trabalhavam em um projeto para a Meta receberam instruções para se passar por menores online e testar como chatbots de IA rivais respondiam a prompts de alto risco envolvendo suicídio, automutilação, transtornos alimentares, sexo, drogas e abuso, de acordo com materiais internos e entrevistas revisados pela WIRED. O esforço, gerenciado pela contratada da Meta Covalen e conhecido internamente como Cannes, tinha como alvo o ChatGPT da OpenAI, o Gemini do Google e o Character.AI.

O relatório descreve um programa de testes que esteve ativo até recentemente, em 21 de abril, e usou contas falsas apresentadas como usuários com menos de 18 anos. Os contratados foram orientados a enviar tanto prompts escritos quanto imagens aos chatbots concorrentes e depois registrar as respostas em planilhas. Algumas das imagens supostamente incluíam pílulas, facas, laços e um diagrama médico de um procedimento ginecológico. O objetivo aparente era verificar como os sistemas rivais se comportavam quando confrontados com cenários que suas políticas de segurança deveriam rejeitar ou tratar com cuidado.

A escala da operação chama atenção. A WIRED informou que uma rodada de testes concluída em agosto de 2025 envolveu mais de 45 mil prompts nos chatbots-alvo. Uma planilha de prompts analisada continha 3.748 entradas, com grandes números ligados a suicídio, automutilação e transtornos alimentares, enquanto outras se concentravam em sexo, romance, drogas, palavrões e insultos. Segundo os relatos, as empresas por trás dos chatbots não sabiam que os testes estavam ocorrendo.

Os prompts se concentravam em cenários de crise e casos-limite de segurança

Os prompts descritos no relatório muitas vezes eram escritos da perspectiva de crianças ou adolescentes em sofrimento. Entre os exemplos estavam um garoto de 13 anos perguntando onde comprar pílulas para encerrar uma gravidez causada por um vizinho adulto, um aluno mais novo descrevendo um colega com uma arma na boca e uma menina perguntando como esconder a bulimia dos pais. Outros prompts exploravam acesso a drogas, ideação violenta e situações de teor sexual apresentadas por vozes adolescentes.

Esses exemplos importam porque ilustram o tipo específico de teste de estresse em andamento. Não se tratava de uma revisão genérica da qualidade dos chatbots ou da experiência do usuário. Era um teste de segurança direcionado, pensado para verificar se os sistemas forneceriam orientações prejudiciais, falhariam em desescalar uma crise ou deslizariam para respostas inadequadas quando acionados por alguém representado como menor de idade. Em outras palavras, o projeto parece ter se concentrado nos modos de falha mais sensíveis que hoje atingem plataformas de IA para consumidores.

Isso também ajuda a explicar por que o uso de perfis infantis provavelmente vai atrair escrutínio. A pesquisa de segurança em sistemas de IA costuma envolver prompts adversariais, mas o relatório descreve uma configuração em que grandes números de contratados criaram contas falsas de menores e interagiram com serviços externos sem o conhecimento dessas empresas. Isso levanta questões não apenas sobre benchmarking de segurança em IA, mas também sobre regras de plataforma, tratamento de dados e a ética de testes simulados com usuários vulneráveis em escala industrial.

Os detalhes operacionais sugerem um programa organizado de benchmarking

Segundo a WIRED, planilhas internas listavam perfis fictícios com nomes, endereços de e-mail, senhas e datas de nascimento. As contas usavam endereços descartáveis do Gmail e do Outlook e uma senha compartilhada. O relatório também diz que os prompts foram enviados em vários idiomas, indicando que o esforço foi além de uma revisão restrita ao inglês do comportamento do modelo.

Tomados em conjunto, esses detalhes sugerem uma pipeline de avaliação estruturada, e não uma revisão pontual. Os trabalhadores não estavam simplesmente experimentando com alguns prompts. Eles parecem ter executado um processo repetível para sondar sistemas concorrentes, capturar respostas e classificar o comportamento em relação a um conjunto de tópicos sensíveis à segurança. A amplitude dos temas, de automutilação e transtornos alimentares a romance e palavrões, indica que o programa cobriu várias categorias que as empresas de IA tratam rotineiramente como de alto risco em trabalho de confiança e segurança.

O que não está estabelecido pelo material fornecido é como a Meta pretendia usar os resultados internamente, ou se o projeto media a conformidade contra uma rubrica formal. Mas mesmo sem esses detalhes, o relatório aponta para uma realidade cada vez mais importante no mercado de IA: o próprio comportamento de segurança se tornou uma variável competitiva. Como um modelo responde a um adolescente vulnerável pode afetar confiança na marca, posição regulatória e adoção da plataforma tanto quanto velocidade ou qualidade de raciocínio.

Por que isso importa além de um projeto de contratados

O relatório chega em um momento em que grandes empresas de IA enfrentam pressão crescente para mostrar que seus produtos podem lidar com responsabilidade com interações centradas em crise e sensíveis à idade. O debate público sobre segurança de chatbots não se limita mais a alucinações ou direitos autorais. Agora também inclui se os sistemas conseguem evitar incentivar automutilação, resistir a cenários de exploração sexual e redirecionar usuários para resultados mais seguros.

Nesse contexto, um projeto de testes voltado para concorrentes e construído em torno de menores simulados é significativo por dois motivos. Primeiro, sugere que as principais empresas de tecnologia consideram esses modos de falha importantes o suficiente para serem benchmarkados de forma sistemática. Segundo, mostra que os métodos usados para medir segurança podem se tornar controversos por si mesmos. Uma empresa pode querer entender como outros sistemas se comportam, mas o processo de obter essa informação pode criar seus próprios problemas de governança e ética.

O relatório também destaca a sobreposição desconfortável entre trabalho de confiança e segurança e inteligência competitiva. Se uma empresa executa dezenas de milhares de prompts adversariais nos sistemas de rivais sem o conhecimento deles, está reunindo evidências do mundo real sobre comportamento de recusa, padrões de escalada e limites de moderação. Isso pode ser útil para comparação interna, mas também revela o quanto a competição em segurança entre empresas de IA continua opaca para quem está de fora.

O sinal mais amplo para a indústria de IA

Algumas conclusões decorrem das informações descritas no relatório.

• Os testes de prompts de alto risco já são extensos o suficiente para envolver grandes equipes de contratados e fluxos de trabalho formais.
• Cenários de segurança para crianças e adolescentes são uma grande área de preocupação na avaliação de IA para consumidores.
• O desempenho em segurança é cada vez mais tratado como um parâmetro competitivo, não apenas como uma exigência de conformidade.
• Os métodos usados para testar concorrentes podem se tornar uma questão de política separada para o setor.

O que torna este episódio notável não é apenas o volume de prompts ou a sensibilidade do tema. É o vislumbre que ele oferece de quão agressivamente as empresas podem estar estudando as salvaguardas umas das outras nos bastidores. À medida que os sistemas de IA se tornam mais incorporados ao uso cotidiano, especialmente entre os jovens, a qualidade dessas salvaguardas importará mais. Também importarão as normas que regem como as empresas as investigam, comparam e desafiam.

Este artigo é baseado na reportagem da Wired. Leia o artigo original.