Le streaming de deepfakes en temps réel fait peser une nouvelle menace de modération et de diffamation

Les abus liés aux deepfakes passent des clips montés à la performance en direct

Un incident de streaming rapporté par 404 Media illustre une phase plus dangereuse de l’usage abusif des médias génératifs: l’usurpation d’identité en temps réel devant un public en direct. Selon le texte source fourni, un streamer a utilisé un logiciel appelé Delulu pour se faire passer pour le créateur YouTube MrBeast tout en tenant des propos explicites, non consentis et potentiellement diffamatoires. Le rapport indique que le flux a eu lieu sur Kick, une plateforme souvent critiquée pour des normes de modération plus souples que celles de ses principaux concurrents.

L’importance de cette affaire tient autant au format qu’au contenu. Les deepfakes ont d’abord été surtout discutés comme des vidéos montées pouvant circuler après coup. Les outils en temps réel modifient le profil de risque. Ils abaissent la barrière technique de l’usurpation, permettent à l’abus de se dérouler en direct et compliquent l’intervention, car les modérateurs doivent identifier la manipulation alors que la diffusion est déjà en train de se propager.

L’abus d’identité en direct est un problème de plateforme d’une autre nature

Dans un cas classique de fausse vidéo, une plateforme peut encore ne pas réagir assez vite, mais l’objet examiné reste un élément de média distinct. Dans un scénario de deepfake en direct, les systèmes de modération doivent faire face à une cible mouvante: un visage usurpé, une performance en temps réel et une amplification immédiate par le public. Cela crée un problème hybride mêlant harcèlement, vol d’identité, diffamation et détection des médias synthétiques.

Le texte source fourni indique que le logiciel est commercialisé auprès des streamers et peut transformer les utilisateurs en d’autres personnes en temps réel. Si des outils présentant ce positionnement deviennent largement accessibles, le problème dépassera largement un seul créateur ou une seule plateforme. Des célébrités, des journalistes, des dirigeants, des responsables politiques et des particuliers pourraient tous être ciblés dans des contextes en direct où de fausses déclarations sont instantanément associées à des visages familiers.

Le problème est particulièrement aigu parce que le livestream repose sur une présomption d’authenticité. Les spectateurs peuvent comprendre que des clips montés puissent être manipulés, mais la vidéo en direct a historiquement véhiculé une présomption plus forte selon laquelle la personne à l’écran est bien celle qu’elle semble être. La substitution de visage en temps réel attaque directement cette hypothèse.

Les systèmes de politique, de produit et de droit sont tous à la traîne

L’incident révèle aussi le morcellement des défenses actuelles. Les règles des plateformes peuvent interdire l’usurpation d’identité ou le harcèlement, mais l’application dépend souvent des signalements plutôt que d’une détection proactive. Les outils de médias synthétiques continuent de s’améliorer, tandis que les systèmes de confiance et de sécurité restent inégaux d’une plateforme à l’autre. Un service connu pour une modération permissive peut devenir un lieu particulièrement attractif pour les abus, car le préjudice social et réputationnel peut survenir avant même qu’un examen sérieux commence.

Il existe également une dimension juridique. Le texte source fourni qualifie explicitement le contenu de potentiellement diffamatoire. Cela suggère une collision croissante entre les outils d’IA générative et les doctrines existantes sur les fausses déclarations, le préjudice et l’usage abusif de l’identité. L’usurpation synthétique en direct peut aussi créer des difficultés probatoires, surtout si des extraits sont republíés sur plusieurs plateformes sans leur contexte d’origine.

Le problème culturel plus large est que la technologie deepfake n’est plus cantonnée à l’expérimentation de niche. Elle est désormais empaquetée, simplifiée et alignée sur les flux de travail des créateurs. Lorsqu’un logiciel est vendu autour du divertissement et de l’engagement du public, l’usage abusif devient moins un cas marginal qu’un résultat prévisible du produit, à moins que des garde-fous ne soient intégrés dès le départ.

L’incident décrit ici compte donc au-delà des personnes impliquées. Il montre que l’abus d’identité généré par l’IA évolue vers un problème de systèmes en direct pour les plateformes de streaming, les fournisseurs d’outils et les régulateurs. La prochaine phase de la modération de contenu dépendra probablement non seulement de la détection des faux médias, mais aussi de la vérification de l’identité humaine en temps réel, sans rendre la participation ordinaire impossible.

• Un streamer aurait utilisé un logiciel de deepfake en temps réel pour se faire passer pour MrBeast pendant une diffusion en direct.
• L’affaire souligne à quel point les deepfakes en livestreaming aggravent les risques de modération et de diffamation.
• À mesure que les outils de substitution de visage deviennent plus simples à utiliser, les plateformes pourraient subir une pression croissante pour vérifier l’identité et réagir plus vite.

Cet article est basé sur un reportage de 404 Media. Lire l’article original.