Apple ha actualizado las reglas de la App Store para dirigirse de forma más explícita a las aplicaciones que crean imágenes íntimas no consentidas mediante inteligencia artificial. Los cambios atribuyen a los desarrolladores una responsabilidad más clara de prevenir y eliminar ese material, y advierten de que una app puede ser retirada de la tienda cuando su desarrollador no aplica medidas de protección adecuadas o no corrige las infracciones después de recibir una notificación.
La actualización aborda una categoría que a menudo se describe como apps para «desnudar»: software diseñado para generar imágenes sexualizadas o de apariencia íntima de personas sin su consentimiento. El lenguaje revisado de Apple hace más directa esa prohibición en un momento en que las herramientas de IA generativa han facilitado la distribución de la manipulación de imágenes mediante software dirigido al consumidor.
Una obligación de moderación más explícita
Según las reglas actualizadas, los desarrolladores deben prevenir y eliminar de forma proactiva las imágenes sexuales no consentidas como parte de sus responsabilidades de moderación de contenidos. Esta formulación es importante porque presenta el problema como algo más que la prohibición de una función definida de manera limitada. También establece la expectativa de que los operadores de las apps pertinentes dispongan de sistemas eficaces para detectar, responder y detener los usos prohibidos.
Apple afirma que los desarrolladores que no establezcan medidas de protección adecuadas, o que no aborden las infracciones después de ser notificados, pueden ser retirados de la App Store. Por tanto, la política crea un riesgo de cumplimiento para los desarrolladores cuyos productos permiten a los usuarios crear, alojar o difundir este tipo de imágenes.
Apple también ha aclarado sus reglas contra las apps de «cebo y cambio». La compañía afirma que una app no puede añadir ni alterar funcionalidades después de recibir la aprobación de la App Store de una forma que introduzca capacidades prohibidas, incluida la función de desnudar. La aclaración apunta a un problema práctico de aplicación: el estado de revisión de una app puede ser una mala guía sobre su comportamiento posterior si su desarrollador cambia sus funciones después de que esté disponible.
La polémica sobre los deepfakes aumentó la presión
Las revisiones llegan después de las críticas a Apple tras utilizar usuarios de X Grok a principios de este año para generar deepfakes sexualizados no consentidos, incluidas imágenes relacionadas con menores. Apple no retiró X ni Grok de la App Store, aunque informó a senadores de que había amenazado con retirar Grok.
La presión pública también se manifestó en la Conferencia Mundial de Desarrolladores de Apple en junio, donde manifestantes pidieron a Apple que retirara Grok, X y la tecnología para desnudar de la App Store. En julio, un fiscal de la ciudad de San Francisco ordenó a Apple retirar 13 apps para desnudar; Apple dijo que lo hizo.
La nueva redacción no resuelve todas las cuestiones planteadas por ese episodio, incluida la forma en que Apple aplicará sus reglas a grandes plataformas y servicios de IA. Pero facilita identificar el estándar declarado por la compañía: las apps no deben limitarse a evitar presentarse como herramientas para desnudar en el momento de la revisión. También deben proteger contra la creación y distribución de imágenes íntimas no consentidas.
Los controles de distribución forman parte de la política
La actualización de Apple también establece con mayor claridad que las apps que faciliten la trata de personas o la explotación infantil serán retiradas de la App Store y bloqueadas para su distribución alternativa. Esta disposición vincula el lenguaje de moderación revisado con el control más amplio de Apple sobre la forma en que el software llega a los usuarios.
Para los creadores de apps, el cambio aumenta la importancia del diseño del producto y de las operaciones continuas. Un desarrollador que ofrezca funciones de generación de imágenes, intercambio social o contenido subido por usuarios tendrá que considerar cómo puede prevenir usos prohibidos, eliminar material infractor y responder cuando Apple u otra parte señale un problema. El lenguaje de la política coloca específicamente la carga de actuar de forma proactiva en los desarrolladores.
Para los usuarios, el cambio indica que Apple está tratando las imágenes íntimas no consentidas habilitadas por IA como un problema de aplicación de las normas de la App Store más explícito. Las reglas de la compañía ahora identifican tanto el contenido dañino como una vía por la que una app puede incumplir: medidas de protección insuficientes, infracciones no resueltas o cambios de funciones posteriores a la aprobación que introduzcan la función de desnudar.
Por qué importa la aclaración
Las tiendas de apps son una puerta de entrada importante para las herramientas de IA dirigidas al consumidor, y sus reglas pueden determinar qué productos siguen estando ampliamente disponibles. La actualización de Apple no elimina la tecnología subyacente ni el riesgo de abuso fuera de su tienda. Sin embargo, hace más concretas sus expectativas para los desarrolladores que buscan distribuir sus productos mediante la App Store.
El cambio también refleja cómo la política sobre IA está pasando de principios abstractos a obligaciones operativas. Apple no se limita a afirmar que las imágenes sexuales no consentidas son inaceptables. Vincula ese estándar a requisitos de moderación, medidas correctivas, retirada de la tienda y restricciones a la distribución alternativa.
La intensidad con la que se hagan cumplir esas reglas determinará su efecto práctico. El cambio inmediato de política es claro: los desarrolladores cuyas apps puedan utilizarse para generar o distribuir imágenes íntimas no consentidas afrontan un requisito más explícito de detenerlo, y Apple ha articulado consecuencias más severas para quienes no lo hagan.
Este artículo se basa en un reportaje de The Verge. Leer el artículo original.
Originally published on theverge.com