Hugging Face enfrenta escrutínio por modelos de deepfake de nudez

Hospedagem de modelos abertos entra em choque com um problema crescente de abuso de deepfakes

O Hugging Face se tornou um dos centros de distribuição mais importantes da inteligência artificial, especialmente para modelos de código aberto e de pesos abertos. Mas um novo relatório citado pelo The Verge argumenta que a plataforma também está servindo como um canal de baixa fricção para deepfakes sexualizados não consensuais, incluindo conteúdo voltado a mulheres e crianças. O achado aumenta a pressão sobre um debate mais amplo sobre se repositórios de modelos devem ser tratados como infraestrutura neutra ou como guardiões ativos responsáveis por limitar usos indevidos previsíveis.

De acordo com o relatório da organização europeia sem fins lucrativos AI Forensics, sete dos nove principais modelos de edição de imagem que ela testou no Hugging Face seguiram prontamente prompts destinados a “despir” mulheres. O grupo disse que usou um pedido direto em vez de técnicas elaboradas de jailbreak e ainda assim constatou que os sistemas muitas vezes produziam a saída solicitada. Isso importa porque sugere que o problema não se limita a atacantes sofisticados. Se um prompt simples funciona, a barreira para abuso é baixa o suficiente para uso indevido em massa.

O relatório contrasta esse comportamento com as proteções mais fortes normalmente encontradas em sistemas líderes de IA voltados ao consumidor de empresas maiores. O The Verge observa que produtos generativos de IA convencionais, como o Gemini do Google e o ChatGPT da OpenAI, geralmente bloqueiam prompts que tentam despir ou sexualizar pessoas reais. Em comparação, os modelos do Hugging Face testados pareciam ter proteções fracas ou inexistentes no nível da plataforma nessa área.

O que o teste da AI Forensics encontrou

Os resultados da organização sem fins lucrativos apontam para duas preocupações relacionadas: comportamento do modelo e demanda dos usuários. No lado do modelo, os sistemas de edição de imagem testados teriam aceitado instruções diretas para remover roupas de imagens de mulheres. No lado da demanda, a AI Forensics criou Spaces “honeypot” de edição de imagem no Hugging Face para observar que tipos de prompts os usuários enviariam, ao mesmo tempo em que esses Spaces foram projetados para não atender aos pedidos.

Ao longo de sete dias, a organização disse que esses honeypots receberam mais de 1.000 prompts e imagens. Desses, 73% eram de natureza sexual. Entre os pedidos sexuais, 83% tentavam despir alguém na imagem, e 95% desses alvos eram mulheres. Quase 7% dos pedidos sexuais, segundo o relatório citado pelo The Verge, eram direcionados a crianças.

Esses números não estabelecem a escala total do abuso em toda a plataforma. Eles, no entanto, oferecem um sinal focado sobre a intenção dos usuários quando ferramentas com essa capacidade são fáceis de acessar. O padrão é especialmente importante porque sugere que o uso indevido não é um caso extremo. Os pedidos que chegavam aos Spaces honeypot se concentravam em um caso de uso estreito e prejudicial: transformar fotos comuns em deepfakes sexualizados sem consentimento.

Um problema de plataforma, não apenas de modelo

A alegação mais consequente do relatório não é simplesmente que alguns modelos abertos podem ser abusados. Isso já é sabido há algum tempo. A crítica mais dura é que “nenhuma proteção está sendo implementada em nível de plataforma”, como citado pelo The Verge. Na prática, isso desloca a atenção dos desenvolvedores individuais de modelos para a camada de hospedagem que ajuda os usuários a descobrir, executar e compartilhar modelos.

O Hugging Face ocupa um lugar singular no ecossistema de IA porque é ao mesmo tempo um repositório e um ambiente de execução. Modelos podem ser enviados, benchmarkados e, em muitos casos, testados diretamente por meio de demonstrações baseadas no navegador conhecidas como Spaces. Essa combinação reduz a fricção para pesquisa e desenvolvimento legítimos, mas também reduz a fricção para o abuso se a moderação e os controles de acesso não acompanharem o ritmo.

O relatório, portanto, levanta uma questão de política pública que provavelmente ecoará muito além de uma única empresa: quais obrigações se aplicam a provedores de infraestrutura quando o padrão de abuso é óbvio, repetível e socialmente danoso? A questão é particularmente aguda para deepfakes sexuais porque o dano pode ser imediato e difícil de reverter. Depois de gerado e distribuído, esse material pode prejudicar reputações, expor vítimas a assédio e, em casos envolvendo menores, desencadear consequências legais e éticas graves.

Os achados também mostram como o debate sobre modelos abertos está mudando. Discussões anteriores giravam em torno de saber se liberar modelos fortes aceleraria a inovação mais do que aumentaria o risco. Agora, a preocupação costuma ser mais operacional: mesmo que a abertura continue valiosa, onde devem ficar filtros, remoções, limites de uso e detecção de abuso? Se os pesos do modelo continuarem amplamente disponíveis, a interface da plataforma pode se tornar o principal ponto onde as expectativas de segurança são aplicadas.

Por que isso importa agora

O momento é notável porque reguladores e legisladores em várias jurisdições têm passado de discussões abstratas sobre segurança em IA para danos específicos, como impersonação, fraude e abuso de imagens íntimas. O The Verge relacionou a questão a uma repressão mais ampla a deepfakes e à atenção recente sobre sistemas de imagem que produzem material sexualizado envolvendo crianças. Esse contexto significa que repositórios que hospedam ferramentas de edição de imagem dificilmente permanecerão fora do foco das políticas públicas.

Para a indústria de IA, o episódio é mais um lembrete de que a confiança é moldada tanto por padrões padrão quanto pela capacidade do modelo. Um sistema não precisa de inteligência de fronteira para causar danos sérios se for fácil de acessar e ajustado para manipulação realista de imagens. Nesse sentido, a via de abuso descrita pela AI Forensics tem menos a ver com risco futuro especulativo e mais com escolhas atuais de design de produto.

Há também uma dimensão reputacional para a comunidade de código aberto. Muitos defensores argumentam, com razão, que o acesso aberto favorece transparência, auditoria independente e participação mais ampla no desenvolvimento de IA. Mas esses argumentos enfraquecem quando casos de abuso altamente visíveis parecem mais fáceis de executar em plataformas abertas do que em sistemas comerciais mais controlados. A credibilidade da governança de IA aberta pode depender cada vez mais de provar que abertura e salvaguardas aplicáveis podem coexistir.

O que observar a seguir

• Se o Hugging Face vai mudar a moderação no nível de hospedagem de modelos ou de Spaces em resposta ao relatório.
• Se organizações sem fins lucrativos, jornalistas ou reguladores vão replicar os achados usando os mesmos métodos simples de prompt.
• Se as plataformas vão começar a distinguir entre hospedar arquivos de modelo e permitir acesso ao consumidor via navegador a ferramentas de edição de imagem de alto risco.
• Se formuladores de políticas passarão a tratar a geração de deepfakes sexuais como uma questão de governança de plataforma, e não apenas de mau uso por parte dos usuários.

A conclusão imediata é direta. O relatório descrito pelo The Verge sugere que parte da infraestrutura aberta de IA mais visível da web pode ser usada para criar deepfakes sexualizados não consensuais com esforço mínimo. Se esses achados resistirem a um escrutínio mais amplo, o argumento de que repositórios são apenas hospedeiros passivos ficará mais difícil de sustentar.

Este artigo é baseado na cobertura do The Verge. Leia o artigo original.