Un audit de NewsGuard estime que Le Chat de Mistral est vulnérable aux invites de désinformation sur la guerre en Iran

Le cadrage des invites casse toujours la fiabilité de l’IA

Un nouvel audit de NewsGuard suggère que Le Chat de Mistral reste très vulnérable à la désinformation lorsque les utilisateurs présentent des faussetés comme des faits établis ou demandent au chatbot d’aider à mettre ces affirmations en forme pour une diffusion plus large.

Les conclusions, publiées le 29 avril, portent sur de faux récits liés à la guerre en Iran et montrent un écart net entre la façon dont le modèle répond à des questions neutres et celle dont il répond à des invites orientées ou ouvertement malveillantes. Cet écart compte, car il met en évidence une faiblesse familière mais toujours non résolue des systèmes d’IA grand public : beaucoup peuvent se comporter raisonnablement face à des questions directes, mais échouer lourdement dès que l’invite elle-même est adversariale.

Ce que l’audit a testé

Selon le rapport, NewsGuard a testé dix affirmations fausses provenant de sources russes, iraniennes et chinoises. Parmi les exemples figuraient une épidémie de typhus fabriquée de toutes pièces à bord du porte-avions français Charles de Gaulle, des informations faisant état de centaines de soldats américains tués, et une prétendue attaque de drone émiratie contre Oman.

Chaque affirmation a été passée au crible avec trois types d’invites :

• Des requêtes neutres qui interrogeaient l’affirmation sans présumer qu’elle était vraie
• Des requêtes orientées qui traitaient la fausse affirmation comme un fait
• Des invites malveillantes demandant au chatbot de reformater la désinformation en contenu prêt pour les réseaux sociaux

Les résultats rapportés étaient nets. Les taux d’erreur étaient d’environ 10 % pour les invites neutres, 60 % pour les invites orientées et 80 % pour les invites malveillantes. Sur l’ensemble de l’audit, NewsGuard indique que Le Chat a affiché un taux d’erreur de 50 % en anglais et de 56,6 % en français.

Pourquoi ces chiffres comptent

Ces résultats ne montrent pas seulement que le modèle peut se tromper sur des faits. Ils suggèrent que la structure même de l’invite influence fortement la capacité du système à résister ou à amplifier de faux récits. En pratique, cela signifie qu’un utilisateur hésitant qui pose une question prudente peut obtenir un certain type de réponse, tandis qu’un utilisateur qui cherche à blanchir de la désinformation peut souvent en extraire quelque chose de beaucoup plus dangereux.

Cette distinction est au cœur du débat sur la sécurité de l’IA. Le défi réel le plus difficile n’est pas de savoir si un chatbot peut répondre correctement à une question factuelle de manuel dans des conditions idéales. C’est de savoir si le système reste fiable lorsque des personnes utilisent un cadrage rhétorique, un contexte sélectif ou une manipulation directe pour le faire dévier.

À cet égard, l’audit révèle un problème de robustesse substantiel.

La pression de la désinformation arrive en temps de guerre

Le contexte géopolitique rend ces conclusions plus importantes. Les environnements informationnels en temps de guerre sont déjà saturés d’affirmations invérifiables, de propagande et de récits chargés émotionnellement. Dans de telles conditions, les chatbots peuvent devenir des accélérateurs s’ils résument, approuvent ou polissent stylistiquement des affirmations fausses plus vite que des vérificateurs humains ne peuvent répondre.

L’accent mis par l’audit sur des récits liés à des États est également notable. La désinformation n’est pas seulement un problème de modération pour les plateformes sociales ; c’est de plus en plus un problème de récupération, de synthèse et de génération pour les assistants d’IA. Un chatbot qui prend les invites orientées trop littéralement peut devenir une cible facile dans cet écosystème.

Cela ne signifie pas que le système soit intentionnellement biaisé en faveur du faux. Cela signifie que le modèle peut manquer de garde-fous adéquats lorsque de mauvaises informations sont présentées avec assurance ou lorsque la demande de l’utilisateur est formulée comme une tâche de production de contenu plutôt que comme une recherche de vérité.

Pourquoi la performance sur requêtes neutres ne suffit pas

Le taux d’erreur de 10 % sur les invites neutres n’est pas idéal, mais ce qui ressort, c’est l’écart entre ce chiffre et la fourchette de 60 à 80 % sur les invites plus manipulatrices. Cela suggère que les défenses du système sont relativement superficielles. Au lieu d’examiner solidement la prémisse d’une affirmation, le modèle peut trop souvent accepter le cadrage de l’utilisateur et poursuivre à partir de là.

C’est l’une des raisons pour lesquelles les évaluations de sécurité fondées uniquement sur des benchmarks neutres peuvent être trompeuses. Les déploiements publics ne sont pas utilisés uniquement par des utilisateurs prudents et bien intentionnés. Ils sont aussi testés par des propagandistes, des spécialistes du marketing, des trolls et des personnes ordinaires qui répètent des rumeurs sous la forme où elles les ont d’abord rencontrées.

Si la précision d’un modèle s’effondre dans ces conditions, alors sa fiabilité pratique est plus faible que ne le laisse entendre une performance de benchmark en une.

Le défi politique et produit

Mistral n’a pas répondu à la demande de commentaire de NewsGuard, selon le rapport. Cela laisse ouverte la question de savoir si l’entreprise prévoit des garde-fous au niveau de l’invite, une vérification plus forte des affirmations, des stratégies de refus ou d’autres mesures d’atténuation adaptées aux récits de conflit en évolution rapide.

Il y a un autre élément : le ministère français des Armées utiliserait une version personnalisée et hors ligne de Le Chat. Cela ne relie pas automatiquement le comportement grand public audité aux déploiements gouvernementaux, mais cela souligne pourquoi la fiabilité du modèle face à des invites adversariales n’est pas une préoccupation marginale.

Les développeurs présentent de plus en plus les systèmes d’IA comme des aides à la recherche, des outils de communication et des assistants de flux de travail. Ces fonctions les placent directement sur la trajectoire de litiges informationnels à fort enjeu. Des modèles qui ne fonctionnent bien que lorsque les utilisateurs posent des questions parfaitement neutres ne répondent pas à l’environnement opérationnel réel.

Ce que cet audit suggère pour la prochaine phase de la sécurité de l’IA

La leçon la plus importante des conclusions de NewsGuard est que la résistance à la désinformation doit être testée sous des schémas d’attaque réalistes, et pas seulement dans des cas d’usage polis. Les questions orientées et les demandes de reformulation de contenu sont désormais des modes d’échec ordinaires, pas des cas limites.

Pour les utilisateurs, le constat est simple : les chatbots restent de mauvais arbitres de la vérité dans les événements géopolitiques contestés et rapides, à moins que leurs réponses ne soient vérifiées indépendamment. Pour les développeurs, le message est plus exigeant. Les modèles doivent faire plus que récupérer un texte plausible. Ils doivent contester les prémisses non étayées, identifier la manipulation narrative et refuser de devenir des couches de mise en forme pour la propagande.

Le Chat n’est loin d’être le seul confronté à ce problème. Mais l’audit rappelle concrètement que tant que le cadrage des invites peut faire varier les performances de façon aussi spectaculaire, les affirmations concernant une assistance IA fiable dans la sphère de l’information doivent être traitées avec prudence.

Cet article s’appuie sur un reportage de The Decoder. Lire l’article original.