Une étude avertit que l’IA peut inventer de nouveaux biais de recrutement au lieu de simplement hériter des anciens

Les grands modèles de langage peuvent générer leurs propres stéréotypes dans les tâches de recrutement

Les mises en garde concernant l’intelligence artificielle dans le recrutement se concentrent généralement sur un risque bien connu : si un modèle est entraîné sur des données historiques biaisées, il peut reproduire et amplifier ces biais. Une nouvelle étude mise en avant par Gizmodo pointe vers une possibilité plus inquiétante. Les grands modèles de langage ne se contenteraient pas de refléter les préjugés humains. Dans certaines conditions, ils peuvent créer eux-mêmes de nouveaux biais sociaux.

La recherche, menée par des universitaires de Princeton University et de l’Université de Chicago, a testé des modèles de langage dans un jeu de recrutement contrôlé déjà utilisé avec des participants humains. Le dispositif supprimait les catégories ethniques du monde réel et les remplaçait par des groupes fictifs, ce qui permettait aux chercheurs d’observer comment les stéréotypes se forment lorsqu’aucune différence réelle entre groupes n’existe en arrière-plan.

Selon le résumé de l’étude, le résultat a été que les modèles de langage ont souvent développé des biais plus marqués que les participants humains. Ce constat est important car il déplace le débat de politique publique. Si le problème ne concernait que des données historiques contaminées, les développeurs pourraient soutenir qu’une meilleure sélection, un meilleur dé-biaisage ou un meilleur audit des corpus d’entraînement suffirait à résoudre l’essentiel du problème. Mais si les modèles génèrent aussi des schémas discriminatoires par leur propre comportement de recherche de récompense dans les tâches de décision, le défi de gouvernance devient plus large.

Un test contrôlé avec des groupes démographiques inventés

Dans l’expérience, les candidats ont été attribués à l’un de quatre groupes ethniques inventés : Tufa, Aima, Reku ou Weki. Ils avaient par ailleurs, par conception, la même probabilité de réussir dans n’importe quel rôle. Les participants, humains ou machines, devaient affecter les candidats à des emplois, puis recevaient un retour sur le succès ou l’échec de la décision d’embauche.

Cette boucle de rétroaction est cruciale. Dès qu’un participant recevait un mauvais résultat après avoir placé un membre d’un groupe fictif donné dans un rôle spécifique, il devenait souvent moins enclin à refaire le même appariement. Les humains dans la version antérieure du jeu montraient cette tendance, et ils conservaient parfois ces biais appris même après la fin de la partie.

Les modèles de langage se sont comportés de manière similaire, mais plus intensément. Le résumé de l’étude indique que les modèles présentaient des taux de biais plus élevés que les humains et pouvaient spontanément former des stéréotypes sociaux autour de groupes entièrement artificiels. Parce que les groupes étaient fictifs et que les candidats étaient, par conception, également qualifiés, la discrimination observée ne pouvait pas être expliquée par de vraies différences de groupe.

Le résultat en prend d’autant plus de force. Il suggère que le modèle peut passer d’un retour d’information rare à des hypothèses durables fondées sur des catégories, même lorsque ces hypothèses n’ont aucun fondement factuel. En pratique, un système optimisé pour prendre des décisions répétées en matière de personnel peut glisser vers une fabrication grossière de schémas parce qu’il s’agit d’un raccourci efficace en situation d’incertitude.

Pourquoi l’arbitrage “explorer-exploiter” compte

Les chercheurs relient ce résultat à un principe classique de la science de la décision, connu sous le nom d’arbitrage entre exploration et exploitation. Dans les situations incertaines, un acteur peut soit explorer, en essayant des options qu’il connaît moins bien, soit exploiter, en s’en tenant aux choix qui semblent avoir fonctionné auparavant.

Les humains font cela en permanence. Mais les personnes apportent aussi des normes morales, de l’hésitation et des contraintes sociales à leurs décisions, ce qui peut tempérer un comportement purement orienté vers la maximisation de la récompense. L’étude avance que les systèmes d’IA sont moins incités à explorer et davantage enclins à optimiser ce que des retours limités semblent récompenser. Cela ouvre une voie vers la formation de stéréotypes.

Une fois qu’un modèle infère qu’une catégorie peut être associée au succès ou à l’échec dans un rôle donné, il peut continuer à exploiter cette hypothèse au lieu de la remettre en cause. Le danger n’est pas seulement que cette hypothèse soit fausse. C’est que le système peut transformer du hasard en règle, puis se comporter comme si cette règle avait du sens.

Cela a des implications évidentes pour les logiciels de recrutement, les outils de présélection de CV et les assistants IA utilisés pour résumer ou classer des candidats. Même si les concepteurs suppriment les références explicites à la race, au genre ou à d’autres caractéristiques protégées, les modèles peuvent encore former des schémas de substitution lorsque des catégories ou des variables proxy apparaissent dans le flux de travail. L’étude montre que le biais peut émerger du processus de décision lui-même, et pas seulement de l’archive d’entraînement qui se trouve derrière.

Les modèles plus performants n’étaient pas forcément plus sûrs

Un autre point notable du résumé de la source est que les chercheurs ont testé 15 modèles provenant de grands fournisseurs, notamment OpenAI, Anthropic, DeepSeek, Meta, Google et Alibaba. L’un des constats les plus frappants est que les modèles plus récents et plus grands, dotés de meilleures capacités de raisonnement, avaient tendance à produire des résultats plus biaisés au sein d’une même famille de modèles.

Cela va à l’encontre d’un récit public courant selon lequel les modèles plus avancés deviennent naturellement plus fiables dans les domaines sensibles. Un meilleur raisonnement peut améliorer de nombreuses tâches, mais cette étude suggère qu’il peut aussi rendre un modèle plus efficace pour se fixer sur des stratégies étroites, optimisées pour la récompense, qui finissent par se rigidifier en comportements discriminatoires.

Le résumé précise en particulier que le modèle de raisonnement o3 d’OpenAI a le plus fortement stratifié les candidats fictifs parmi les systèmes testés. À lui seul, cela ne permet pas de conclure au comportement d’un modèle précis dans un produit de recrutement en production. Mais cela souligne une leçon plus large : les gains de benchmark et les performances de raisonnement ne remplacent pas les tests d’équité dans des conditions décisionnelles réalistes.

Ce que les entreprises et les régulateurs devraient en retenir

Pour les employeurs, la conclusion immédiate est que « assisté par IA » ne veut pas dire neutre en matière de biais. L’affirmation d’un fournisseur selon laquelle un système évite les préjugés humains explicites est trop étroite si le modèle peut fabriquer des préférences de catégorie à travers des boucles de rétroaction répétées. Les équipes chargées des achats doivent demander comment un modèle se comporte dans le temps, comment il met à jour ou renforce des schémas, et s’il est utilisé dans un domaine où des généralisations erronées peuvent affecter directement les opportunités des personnes.

Pour les régulateurs, l’étude plaide pour un déplacement au-delà des seuls audits statiques. Un test ponctuel sur un jeu de données figé peut manquer un système qui devient plus discriminatoire à mesure qu’il interagit avec les résultats, les requêtes des utilisateurs ou des signaux d’optimisation en aval. La supervision devra peut-être inclure des tests de résistance fondés sur la simulation, une surveillance continue et des règles plus claires sur les cas où l’IA doit être exclue des procédures de sélection à fort enjeu.

Le problème plus large est conceptuel. Le débat public a souvent présenté le biais de l’IA comme un résidu historique : la société était injuste, les données ont enregistré cette injustice, et les modèles l’ont héritée. Cette recherche suggère que certains systèmes peuvent aussi être des moteurs d’injustice nouvelle, assemblant des stéréotypes à partir de signaux faibles parce que cela est instrumentalement utile dans une tâche.

Cette possibilité devrait réduire les usages acceptables des modèles de langage dans le recrutement. Au minimum, elle plaide pour un contrôle humain beaucoup plus strict et pour davantage de scepticisme à l’égard du classement automatisé. Dans le pire des cas, elle peut signifier que certaines décisions d’emploi sont tout simplement trop sensibles pour être confiées à des systèmes capables de transformer du bruit en jugement social.

Cet article s’appuie sur un reportage de Gizmodo. Lire l’article original.