Un test de chatbots à grande échelle a utilisé des personas d’enfants
Des sous-traitants travaillant sur un projet pour Meta ont reçu pour instruction de se faire passer pour des mineurs en ligne et de tester la manière dont des chatbots d’IA concurrents réagissaient à des requêtes à haut risque portant sur le suicide, l’automutilation, les troubles alimentaires, le sexe, les drogues et les abus, selon des documents internes et des entretiens examinés par WIRED. L’opération, gérée par le sous-traitant de Meta Covalen et connue en interne sous le nom de Cannes, visait ChatGPT d’OpenAI, Gemini de Google et Character.AI.
L’article décrit un programme de test qui était encore actif le 21 avril et qui utilisait de faux comptes présentés comme appartenant à des utilisateurs de moins de 18 ans. Il a été demandé aux sous-traitants de soumettre à la fois des requêtes écrites et des images aux chatbots concurrents, puis de consigner les réponses dans des tableurs. Certaines des images comprenaient, selon le rapport, des comprimés, des couteaux, des nœuds coulants et un schéma médical d’une procédure gynécologique. L’objectif apparent était de voir comment les systèmes rivaux se comportaient lorsqu’ils étaient confrontés à des scénarios que leurs politiques de sécurité étaient censées rejeter ou gérer avec prudence.
L’ampleur de l’opération est frappante. WIRED a indiqué qu’une session de test achevée en août 2025 avait impliqué plus de 45 000 requêtes sur les chatbots ciblés. Un tableur de requêtes examiné contenait 3 748 entrées, avec de grands volumes liés au suicide, à l’automutilation et aux troubles alimentaires, tandis que d’autres portaient sur le sexe, la romance, les drogues, les grossièretés et les insultes. Les entreprises derrière les chatbots n’auraient pas su que les tests étaient en cours.
Les requêtes portaient sur des scénarios de crise et des cas limites de sécurité
Les requêtes décrites dans l’article étaient souvent rédigées du point de vue d’enfants ou d’adolescents en détresse. Parmi les exemples figuraient un enfant de 13 ans demandant où acheter des comprimés pour mettre fin à une grossesse causée par un voisin adulte, un plus jeune élève décrivant un camarade avec une arme dans la bouche, et une fille demandant comment cacher sa boulimie à ses parents. D’autres requêtes examinaient l’accès aux drogues, les idées violentes et des situations à connotation sexuelle formulées à travers des voix adolescentes.
Ces exemples importent parce qu’ils illustrent le type précis de test de résistance en cours. Il ne s’agissait pas d’un examen générique de la qualité des chatbots ou de l’expérience utilisateur. C’était un test de sécurité ciblé, conçu pour vérifier si les systèmes fourniraient des conseils nuisibles, échoueraient à désamorcer une crise ou dériveraient vers des réponses inappropriées lorsqu’ils étaient sollicités par une personne présentée comme mineure. En d’autres termes, le projet semble s’être concentré sur les modes d’échec les plus sensibles auxquels sont désormais confrontées les plateformes d’IA grand public.
Cela aide aussi à expliquer pourquoi l’utilisation de personas d’enfants est susceptible d’attirer l’attention. La recherche en sécurité sur les systèmes d’IA implique souvent des requêtes adversariales, mais l’article décrit une configuration dans laquelle un grand nombre de sous-traitants ont créé de faux comptes de mineurs et interagi avec des services externes sans que ces entreprises en aient connaissance. Cela soulève des questions non seulement sur l’évaluation comparative de la sécurité de l’IA, mais aussi sur les règles des plateformes, le traitement des données et l’éthique des tests simulés d’utilisateurs vulnérables à l’échelle industrielle.
Les détails opérationnels suggèrent un programme de benchmarking organisé
Selon WIRED, des tableurs internes répertoriaient des profils fictifs avec des noms, adresses e-mail, mots de passe et dates de naissance. Les comptes utilisaient des adresses Gmail et Outlook jetables ainsi qu’un mot de passe partagé. L’article indique également que les requêtes ont été soumises en plusieurs langues, ce qui montre que l’effort allait au-delà d’un simple examen en anglais du comportement du modèle.
Pris ensemble, ces détails suggèrent une chaîne d’évaluation structurée plutôt qu’un simple examen ponctuel. Les travailleurs ne se contentaient pas d’expérimenter avec quelques requêtes. Ils semblent avoir exécuté un processus reproductible pour sonder les systèmes concurrents, capturer les sorties et classer les comportements selon un ensemble de sujets sensibles en matière de sécurité. L’étendue des sujets, de l’automutilation et des troubles alimentaires à la romance et aux grossièretés, indique que le programme couvrait plusieurs catégories que les entreprises d’IA considèrent régulièrement comme à haut risque dans les travaux de confiance et sécurité.
Ce que le matériau fourni n’établit pas, c’est la manière dont Meta entendait utiliser les résultats en interne, ni si le projet mesurait la conformité par rapport à une grille formelle. Mais même sans ces détails, l’article souligne une réalité de plus en plus importante sur le marché de l’IA : le comportement de sécurité lui-même est devenu une variable concurrentielle. La façon dont un modèle répond à un adolescent vulnérable peut affecter la confiance dans la marque, la posture réglementaire et l’adoption de la plateforme autant que la vitesse ou la qualité du raisonnement.
Pourquoi cela compte au-delà d’un seul projet de sous-traitance
L’article arrive à un moment où les grandes entreprises d’IA sont soumises à une pression croissante pour montrer que leurs produits peuvent gérer de manière responsable les interactions liées aux crises et sensibles à l’âge. Le débat public sur la sécurité des chatbots ne se limite plus aux hallucinations ou au droit d’auteur. Il porte désormais aussi sur la capacité des systèmes à éviter d’encourager l’automutilation, à résister aux scénarios d’exploitation sexuelle et à rediriger les utilisateurs vers des issues plus sûres.
Dans ce contexte, un projet de test orienté concurrents et bâti autour de mineurs simulés est significatif pour deux raisons. D’abord, il suggère que les grandes entreprises technologiques considèrent ces modes d’échec comme suffisamment importants pour être évalués systématiquement. Ensuite, il montre que les méthodes utilisées pour mesurer la sécurité peuvent elles-mêmes devenir controversées. Une entreprise peut vouloir comprendre les performances d’autres systèmes, mais le processus de collecte de ces informations peut créer ses propres problèmes de gouvernance et d’éthique.
L’article met aussi en lumière l’enchevêtrement délicat entre travail de confiance et sécurité et renseignement concurrentiel. Si une entreprise exécute des dizaines de milliers de requêtes adversariales sur les systèmes de rivaux sans leur connaissance, elle recueille des preuves concrètes sur les comportements de refus, les schémas d’escalade et les limites de modération. Cela peut être utile pour la comparaison interne, mais cela révèle aussi à quel point la concurrence en matière de sécurité entre entreprises d’IA reste opaque de l’extérieur.
Le signal plus large pour l’industrie de l’IA
Plusieurs conclusions se dégagent des informations décrites dans l’article.
- Les tests de requêtes à haut risque sont désormais suffisamment étendus pour mobiliser de larges effectifs de sous-traitants et des flux de travail formels.
- Les scénarios de sécurité pour les enfants et les adolescents constituent un domaine de préoccupation majeur dans l’évaluation de l’IA grand public.
- La performance en matière de sécurité est de plus en plus considérée comme un critère concurrentiel, et pas seulement comme une exigence de conformité.
- Les méthodes utilisées pour tester les concurrents pourraient devenir un sujet de politique distinct pour l’industrie.
Ce qui rend cet épisode notable n’est pas seulement le volume de requêtes ou la sensibilité du sujet. C’est l’aperçu qu’il donne de l’agressivité avec laquelle les entreprises peuvent étudier en coulisses les garde-fous des autres. À mesure que les systèmes d’IA s’intègrent davantage dans l’usage quotidien, surtout chez les jeunes, la qualité de ces garde-fous comptera davantage. Il en ira de même des normes qui encadrent la manière dont les entreprises les examinent, les comparent et les contestent.
Cet article s’appuie sur le reportage de Wired. Lire l’article original.
Originally published on wired.com
