Estudo alerta que a IA pode inventar novos vieses de contratação em vez de apenas herdar os antigos

Grandes modelos de linguagem podem gerar seus próprios estereótipos em tarefas de contratação

Os alertas sobre inteligência artificial em contratação geralmente se concentram em um risco familiar: se um modelo é treinado com dados históricos enviesados, ele pode reproduzir e ampliar esses vieses. Um novo estudo destacado pelo Gizmodo aponta para uma possibilidade mais inquietante. Grandes modelos de linguagem podem não apenas refletir preconceitos humanos. Em certas condições, podem criar novos vieses sociais por conta própria.

A pesquisa, conduzida por acadêmicos da Universidade de Princeton e da Universidade de Chicago, testou modelos de linguagem em um jogo controlado de contratação anteriormente usado com participantes humanos. O desenho removeu categorias étnicas do mundo real e as substituiu por grupos fictícios, permitindo aos pesquisadores observar como os estereótipos se formam quando não existem diferenças reais subjacentes entre os grupos.

Segundo o resumo do estudo, o resultado foi que os modelos de linguagem frequentemente desenvolveram vieses mais fortes do que os participantes humanos. Esse achado importa porque desloca o debate regulatório. Se o problema fosse apenas dados históricos contaminados, os desenvolvedores poderiam argumentar que uma melhor curadoria, desenviesamento ou auditoria dos corpora de treinamento resolveria a maior parte da questão. Mas se os modelos também geram padrões discriminatórios por meio de seu próprio comportamento de maximização de recompensa em tarefas de decisão, o desafio de governança se torna mais amplo.

Um teste controlado com grupos demográficos inventados

No experimento, os candidatos foram atribuídos a um de quatro grupos étnicos inventados: Tufa, Aima, Reku ou Weki. Por projeto, todos tinham a mesma probabilidade de sucesso em qualquer função. Os participantes, humanos ou máquinas, tinham de alocar os candidatos para empregos e depois recebiam feedback sobre se a decisão de contratação havia sido bem-sucedida.

Esse ciclo de feedback é crucial. Depois que um participante recebia um resultado ruim ao colocar um membro de um determinado grupo fictício em uma função específica, ele frequentemente se tornava menos propenso a repetir o mesmo pareamento. Os humanos na versão anterior do jogo mostraram essa tendência e, às vezes, carregavam esses vieses aprendidos adiante mesmo após o fim do jogo.

Os modelos de linguagem se comportaram de forma semelhante, mas de maneira mais intensa. O resumo do estudo afirma que os modelos apresentaram taxas de viés mais altas do que os humanos e puderam formar espontaneamente estereótipos sociais em torno de grupos totalmente artificiais. Como os grupos eram fictícios e os candidatos eram igualmente qualificados por projeto, a discriminação observada não podia ser explicada por diferenças reais entre grupos.

Isso confere ao resultado uma força incomum. Ele sugere que o modelo pode passar de um feedback escasso para suposições duráveis baseadas em categorias, mesmo quando essas suposições não têm base factual. Na prática, um sistema otimizado para tomar decisões repetidas de pessoal pode deslizar para uma criação grosseira de padrões porque isso é um atalho eficiente sob incerteza.

Por que a troca “explorar-explorar” importa

Os pesquisadores relacionam o resultado a um princípio clássico da ciência da decisão conhecido como trade-off entre explorar e explorar? Wait. Need correct in Portuguese. Let's fix manually? We need output valid JSON. The body here has a mistake and also phrase should be explorar-explorar? Actually in Portuguese it's explore-exploit maybe