Hugging Face fait l’objet d’un examen sur les modèles de deepfake de nudification

L’hébergement de modèles ouverts se heurte à un problème croissant d’abus liés aux deepfakes

Hugging Face est devenu l’un des principaux hubs de distribution de l’intelligence artificielle, en particulier pour les modèles open source et à poids ouverts. Mais un nouveau rapport cité par The Verge soutient que la plateforme sert aussi de canal à faible friction pour des deepfakes sexualisés non consentis, y compris du contenu visant des femmes et des enfants. Ce constat accentue un débat plus large sur la question de savoir si les dépôts de modèles doivent être considérés comme une infrastructure neutre ou comme des gardiens actifs responsables de limiter les usages abusifs prévisibles.

Selon le rapport de l’organisation européenne à but non lucratif AI Forensics, sept des neuf principaux modèles d’édition d’images qu’elle a testés sur Hugging Face se sont facilement conformés à des requêtes visant à « déshabiller » des femmes. Le groupe indique avoir utilisé une demande simple sur les différents modèles, plutôt que des techniques de jailbreak élaborées, et a néanmoins constaté que les systèmes produisaient souvent le résultat demandé. C’est important, car cela suggère que le problème ne se limite pas à des attaquants sophistiqués. Si une simple requête suffit, la barrière à l’abus est suffisamment basse pour permettre un mauvais usage à grande échelle.

Le rapport met ce comportement en contraste avec les garde-fous plus solides que l’on trouve couramment dans les principaux systèmes d’IA grand public des grandes entreprises. The Verge note que les produits d’IA générative grand public comme Gemini de Google et ChatGPT d’OpenAI bloquent généralement les requêtes qui tentent de déshabiller ou de sexualiser de vraies personnes. En comparaison, les modèles Hugging Face testés semblaient disposer de protections faibles, voire inexistantes, au niveau de la plateforme dans ce domaine.

Ce qu’a révélé le test d’AI Forensics

Les résultats de l’organisation à but non lucratif pointent deux préoccupations liées entre elles : le comportement du modèle et la demande des utilisateurs. Du côté des modèles, les systèmes d’édition d’images testés se seraient montrés disposés à suivre des instructions directes pour retirer les vêtements d’images de femmes. Du côté de la demande, AI Forensics a mis en place des Spaces d’édition d’images « honeypot » sur Hugging Face afin d’observer les types de requêtes soumises par les utilisateurs, tout en concevant ces Spaces de manière à ne pas satisfaire les demandes.

Sur une période de sept jours, l’organisation indique que ces honeypots ont reçu plus de 1 000 requêtes et images. Parmi elles, 73 % étaient de nature sexuelle. Parmi les demandes sexuelles, 83 % tentaient de déshabiller une personne sur l’image, et 95 % de ces cibles étaient des femmes. Près de 7 % des demandes sexuelles, selon le rapport relayé par The Verge, visaient des enfants.

Ces chiffres n’établissent pas l’ampleur totale des abus sur l’ensemble de la plateforme. Ils fournissent toutefois un signal ciblé sur l’intention des utilisateurs lorsque des outils dotés de cette capacité sont faciles d’accès. Le schéma est particulièrement important car il suggère que l’usage abusif n’est pas un cas marginal. Les requêtes arrivant sur les Spaces honeypot étaient concentrées sur un cas d’usage étroit et nuisible : transformer des photos ordinaires en deepfakes sexualisés sans consentement.

Un problème de plateforme, pas seulement de modèle

L’affirmation la plus importante du rapport n’est pas simplement que certains modèles ouverts peuvent être détournés. Cela est compris depuis un certain temps. La critique la plus nette est que « aucune protection n’est mise en place au niveau de la plateforme », selon une citation reprise par The Verge. En pratique, cela déplace l’attention des développeurs de modèles individuels vers la couche d’hébergement qui aide les utilisateurs à découvrir, exécuter et partager des modèles.

Hugging Face occupe une place particulière dans l’écosystème de l’IA parce qu’il est à la fois un dépôt et un environnement d’exécution. Les modèles peuvent y être téléversés, benchmarkés et, dans de nombreux cas, testés directement via des démonstrations accessibles dans le navigateur, appelées Spaces. Cette combinaison réduit les frictions pour la recherche et le développement légitimes, mais elle réduit aussi les frictions pour les abus si la modération et les contrôles d’accès ne suivent pas le rythme.

Le rapport soulève donc une question de politique publique susceptible de résonner bien au-delà d’une seule entreprise : quelles obligations incombent aux fournisseurs d’infrastructure lorsque le schéma d’abus est évident, reproductible et socialement nuisible ? Le sujet est particulièrement aigu pour les deepfakes sexuels, car le préjudice peut être immédiat et difficile à effacer. Une fois généré et diffusé, ce contenu peut nuire à la réputation, exposer les victimes au harcèlement et, dans les cas impliquant des mineurs, entraîner de graves conséquences juridiques et éthiques.

Les conclusions montrent aussi comment le débat sur les modèles ouverts évolue. Les arguments précédents portaient sur la question de savoir si la publication de modèles puissants accélérerait l’innovation plus qu’elle n’augmenterait le risque. Aujourd’hui, l’inquiétude est souvent plus opérationnelle : même si l’ouverture reste précieuse, où doivent se situer les filtres, les retraits, les limites d’usage et la détection des abus ? Si les poids des modèles restent largement disponibles, l’interface de la plateforme pourrait devenir le principal point où les attentes en matière de sécurité sont appliquées.

Pourquoi cela compte maintenant

Le moment est notable, car les régulateurs et les législateurs de plusieurs juridictions sont passés de discussions abstraites sur la sécurité de l’IA à des préjudices spécifiques comme l’usurpation d’identité, la fraude et l’abus d’images intimes. The Verge a relié le sujet à une répression plus large des deepfakes et à l’attention récente portée aux systèmes d’image produisant des contenus sexualisés impliquant des enfants. Dans ce contexte, il est peu probable que les dépôts hébergeant des outils d’édition d’images restent en dehors des radars politiques.

Pour l’industrie de l’IA, cet épisode rappelle une fois de plus que la confiance est façonnée autant par les valeurs par défaut que par les capacités du modèle. Un système n’a pas besoin d’une intelligence de pointe pour causer un préjudice grave s’il est facile d’accès et optimisé pour la manipulation réaliste d’images. En ce sens, la voie d’abus décrite par AI Forensics relève moins d’un risque futur spéculatif que de choix actuels de conception produit.

Il existe aussi une dimension réputationnelle pour la communauté open source. De nombreux défenseurs soutiennent, à juste titre, que l’accès ouvert favorise la transparence, l’audit indépendant et une participation plus large au développement de l’IA. Mais ces arguments s’affaiblissent lorsque des cas d’abus très visibles semblent plus faciles à mettre en œuvre sur des plateformes ouvertes que sur des systèmes commerciaux plus contrôlés. La crédibilité de la gouvernance de l’IA ouverte dépendra de plus en plus de la démonstration que l’ouverture et des garde-fous applicables peuvent coexister.

Ce qu’il faut surveiller ensuite

• Si Hugging Face modifie la modération au niveau de l’hébergement des modèles ou des Spaces en réponse au rapport.
• Si des organisations à but non lucratif, des journalistes ou des régulateurs reproduisent les résultats à l’aide des mêmes requêtes simples.
• Si les plateformes commencent à distinguer l’hébergement de fichiers de modèles de l’accès navigateur grand public à des outils d’édition d’images à risque.
• Si les décideurs traitent la génération de deepfakes sexuels comme une question de gouvernance de plateforme, et pas seulement comme un usage abusif par les utilisateurs.

Le constat immédiat est simple. Le rapport décrit par The Verge suggère qu’une partie des infrastructures ouvertes d’IA les plus visibles sur le web peut être utilisée pour créer des deepfakes sexualisés non consentis avec un effort minimal. Si ces conclusions résistent à un examen plus large, l’argument selon lequel les dépôts ne seraient que des hébergeurs passifs deviendra plus difficile à soutenir.

Cet article s’appuie sur le reportage de The Verge. Lire l’article original.