A Apple atualizou as regras da App Store para atingir de forma mais explícita os aplicativos que criam imagens íntimas não consensuais usando inteligência artificial. As mudanças atribuem aos desenvolvedores uma responsabilidade mais clara de prevenir e remover esse material, além de alertarem que um app pode ser removido da loja quando seu desenvolvedor não implementa proteções adequadas ou não corrige violações após ser notificado.
A atualização da política aborda uma categoria frequentemente descrita como apps de “despir”: softwares projetados para gerar imagens sexualizadas ou de aparência íntima de pessoas sem o consentimento delas. A linguagem revisada da Apple torna essa proibição mais direta em um momento em que ferramentas de IA generativa facilitaram a distribuição de manipulações de imagens por meio de softwares voltados ao consumidor.
Uma obrigação de moderação mais explícita
Segundo as regras atualizadas, os desenvolvedores devem prevenir e remover proativamente imagens sexuais não consensuais como parte de suas responsabilidades de moderação de conteúdo. Essa redação é importante porque apresenta o problema como algo além da proibição de um recurso definido de forma restrita. Ela também estabelece a expectativa de que os operadores dos apps elegíveis tenham sistemas eficazes para detectar, responder e interromper usos proibidos.
A Apple afirma que desenvolvedores que não implementarem proteções adequadas, ou que não tratarem violações depois de serem notificados, poderão ser removidos da App Store. A política, portanto, cria um risco de conformidade para desenvolvedores cujos produtos permitem que usuários criem, hospedem ou distribuam esse tipo de imagem.
A Apple também esclareceu suas regras contra apps de “isca e troca”. A empresa afirma que um app não pode adicionar ou alterar funcionalidades depois da aprovação na App Store de uma forma que introduza recursos proibidos, incluindo a função de despir. O esclarecimento busca resolver um problema prático de fiscalização: o status de análise de um app pode ser um indicador ruim de seu comportamento posterior se o desenvolvedor mudar seus recursos depois que ele se torna disponível.
A pressão veio após a controvérsia dos deepfakes
As revisões acontecem após críticas à Apple depois que usuários do X utilizaram o Grok no início deste ano para gerar deepfakes sexualizados não consensuais, incluindo imagens envolvendo menores. A Apple não removeu o X nem o Grok da App Store, embora tenha dito a senadores que ameaçou remover o Grok.
A pressão pública também apareceu na Worldwide Developers Conference da Apple, em junho, quando manifestantes pediram que a empresa removesse o Grok, o X e a tecnologia de despir da App Store. Em julho, um promotor da cidade de San Francisco ordenou que a Apple removesse 13 apps de despir; a Apple disse que cumpriu a ordem.
O novo texto não resolve todas as questões levantadas por aquele episódio, incluindo como a Apple aplicará amplamente suas regras a grandes plataformas e serviços de IA. Mas torna mais fácil identificar o padrão declarado pela empresa: os apps não devem apenas evitar se apresentar como ferramentas para despir no momento da análise. Eles também devem proteger contra a criação e a distribuição de imagens íntimas não consensuais.
Controles de distribuição fazem parte da política
A atualização da Apple também afirma com mais clareza que apps que facilitem o tráfico de pessoas ou a exploração infantil serão removidos da App Store e bloqueados para distribuição alternativa. Essa disposição conecta a linguagem revisada de moderação ao controle mais amplo da Apple sobre como os softwares chegam aos usuários.
Para os criadores de apps, a mudança aumenta a importância do design do produto e das operações contínuas. Um desenvolvedor que ofereça recursos de geração de imagens, compartilhamento social ou conteúdo enviado por usuários precisará considerar como pode impedir usos proibidos, remover material infrator e responder quando a Apple ou outra parte apontar um problema. A linguagem da política coloca especificamente sobre os desenvolvedores o dever de agir de forma proativa.
Para os usuários, a mudança sinaliza que a Apple está tratando imagens íntimas não consensuais geradas com IA como uma questão mais explícita de fiscalização da App Store. As regras da empresa agora identificam tanto o conteúdo prejudicial quanto um caminho pelo qual um app pode deixar de cumprir as normas: proteções insuficientes, violações não resolvidas ou mudanças de recursos após a aprovação que introduzam a função de despir.
Por que o esclarecimento importa
As lojas de apps são uma importante porta de entrada para ferramentas de IA voltadas ao consumidor, e suas regras podem influenciar quais produtos permanecem amplamente disponíveis. A atualização da Apple não elimina a tecnologia subjacente nem o risco de abuso fora de sua loja. Ela, porém, torna mais concretas as expectativas da empresa para desenvolvedores que buscam distribuir produtos pela App Store.
A mudança também reflete como a política de IA está passando de princípios abstratos para obrigações operacionais. A Apple não está apenas afirmando que imagens sexuais não consensuais são inaceitáveis. Ela vincula esse padrão a requisitos de moderação, medidas corretivas, remoção da loja e restrições à distribuição alternativa.
A força com que essas regras serão aplicadas determinará seu efeito prático. A mudança imediata da política é clara: desenvolvedores cujos apps possam ser usados para gerar ou distribuir imagens íntimas não consensuais enfrentam uma exigência mais explícita de impedir isso, e a Apple articulou consequências mais severas para aqueles que não o fizerem.
Este artigo é baseado em uma reportagem do The Verge. Leia o artigo original.
Originally published on theverge.com
