Chatbots úteis podem ser piores em agir como pessoas

Treinar modelos para serem assistentes úteis pode ter um custo

Modelos de linguagem de grande porte são cada vez mais usados como substitutos de participantes humanos. Pesquisadores os testam como proxies para reação pública, comportamento educacional e até interação clínica. Mas um novo estudo de grande porte sugere que justamente o treinamento que torna os modelos mais úteis como assistentes pode torná-los menos precisos como simulações do comportamento humano.

O trabalho, descrito no relatório fornecido, se baseia no Psych-201, um conjunto de dados construído a partir de experimentos comportamentais que abrangem cerca de 208.000 participantes e aproximadamente 26 milhões de respostas. Os pesquisadores compararam modelos base com variantes pós-treinadas nas famílias Qwen3, Llama3 e OLMo 3. O resultado central foi consistente: os modelos base previram as respostas humanas melhor do que as versões no estilo assistente criadas por meio de treinamento adicional.

Por que esse resultado importa

Modelos assistentes são projetados para ser mais seguros, mais úteis, mais estruturados e, muitas vezes, mais explícitos em seu raciocínio. Esses traços são valiosos para o uso cotidiano de produtos. Mas não são o mesmo que se comportar como uma pessoa típica em um experimento. Se um modelo foi ajustado para responder de forma clara, educada e com consistência otimizada para tarefas, ele pode se afastar da variabilidade e da desordem que caracterizam respostas humanas reais.

Isso torna o estudo importante para qualquer área que trate chatbots como substitutos de sujeitos humanos. Se o objetivo é simular como as pessoas realmente respondem, decidem ou reagem, um assistente mais refinado pode ser a ferramenta errada.

Modelos base superaram versões pós-treinadas

O relatório diz que o padrão se manteve entre famílias e tamanhos de modelos. Os modelos base, treinados apenas para prever a próxima palavra em um texto, superaram seus descendentes pós-treinados ao prever as respostas que os humanos de fato deram. A degradação apareceu em objetivos comuns de pós-treinamento, com os modelos de raciocínio mostrando a maior queda, seguidos pelas versões ajustadas por instruções e pelas variantes estendidas com visão.

Esse achado é especialmente marcante porque contraria uma intuição comum no desenvolvimento de produtos de IA: a de que versões posteriores e mais refinadas deveriam ser, em termos gerais, melhores. Elas podem ser melhores assistentes. O estudo argumenta que podem ser espelhos psicológicos piores.

Um conjunto de dados feito para comportamento, não apenas para benchmarks

O Psych-201 parece ser uma parte importante da contribuição. O texto-fonte o descreve como várias vezes maior do que qualquer coleção anterior do gênero, com execuções completas de experimentos e metadados de participantes incluindo idade, nacionalidade e respostas a questionários. Isso importa porque julgar a semelhança com humanos exige uma base ampla de evidências comportamentais, não um benchmark estreito.

Com um conjunto de dados tão grande, pesquisadores podem comparar modelos com distribuições humanas em muitas tarefas, em vez de selecionar alguns exemplos em que o comportamento do modelo por acaso parece plausível. A escala reforça o argumento de que se trata de uma compensação sistemática de treinamento, e não de uma peculiaridade de um único modelo ou experimento.

O que isso significa para pesquisa em IA e uso em políticas públicas

O achado é incômodo porque participantes simulados são atraentes. São baratos, rápidos e escaláveis. Governos, empresas e pesquisadores podem ser tentados a usá-los para prever reações a políticas, testar intervenções ou prototipar estudos antes de chegar a pessoas reais. Mas, se os modelos assistentes pós-treinados distorcem sistematicamente o comportamento humano, a conveniência pode virar falsa confiança.

O estudo não diz que modelos de linguagem são inúteis para trabalho comportamental. Ele diz que a escolha do modelo importa, e que o alvo do projeto importa. Um modelo otimizado para ajudar um usuário a concluir uma tarefa pode não ser o mais adequado para imitar como uma população pensa ou reage. Esses são objetivos diferentes, e a lacuna pode aumentar a cada geração de ajuste de assistentes.

A lição mais ampla

Sistemas de IA muitas vezes são discutidos como se a capacidade melhorasse ao longo de um único eixo. Este estudo aponta para uma realidade mais complexa. Tornar um modelo melhor em uma função pode enfraquecê-lo em outra. Um assistente mais alinhado pode se tornar um sujeito menos parecido com um humano. Isso não é tanto uma falha do treinamento quanto um lembrete de que os objetivos de treinamento codificam valores e compensações.

Para pesquisadores que querem participantes sintéticos, a conclusão é direta: não presumam que o chatbot mais polido seja o mais realista. O assistente mais útil em um produto pode ser exatamente o modelo errado para confiar como proxy do comportamento humano.

Este artigo é baseado na reportagem do The Decoder. Leia o artigo original.