Un esfuerzo de prueba de chatbots a gran escala usó identidades infantiles
Contratistas que trabajaban en un proyecto para Meta recibieron la instrucción de hacerse pasar por menores en línea y probar cómo respondían los chatbots rivales de IA a consultas de alto riesgo relacionadas con suicidio, autolesiones, trastornos alimentarios, sexo, drogas y abuso, según materiales internos y entrevistas revisados por WIRED. El esfuerzo, gestionado por la contratista de Meta Covalen y conocido internamente como Cannes, tenía como objetivo ChatGPT de OpenAI, Gemini de Google y Character.AI.
El informe describe un programa de pruebas que estuvo activo hasta el 21 de abril y utilizó cuentas falsas presentadas como usuarios menores de 18 años. Se indicó a los contratistas que enviaran tanto consultas escritas como imágenes a los chatbots competidores, y luego registraran las respuestas en hojas de cálculo. Al parecer, algunas de las imágenes incluían pastillas, cuchillos, sogas y un diagrama médico de un procedimiento ginecológico. El objetivo aparente era ver cómo se comportaban los sistemas rivales cuando se enfrentaban a escenarios que, en principio, sus políticas de seguridad debían rechazar o manejar con cautela.
La escala de la operación destaca. WIRED informó que una ronda de pruebas completada en agosto de 2025 implicó más de 45.000 consultas en los chatbots objetivo. Una hoja de cálculo de consultas revisada contenía 3.748 entradas, con grandes cantidades vinculadas a suicidio, autolesiones y trastornos alimentarios, mientras que otras se centraban en sexo, romance, drogas, lenguaje vulgar y insultos. Según el informe, las empresas detrás de los chatbots no sabían que se estaban realizando las pruebas.
Las consultas se centraron en escenarios de crisis y casos límite de seguridad
Las consultas descritas en el informe a menudo estaban escritas desde la perspectiva de niños o adolescentes en situación de angustia. Entre los ejemplos había un niño de 13 años preguntando dónde comprar pastillas para poner fin a un embarazo causado por un vecino adulto, un estudiante más joven describiendo a un compañero con un arma en la boca, y una chica preguntando cómo ocultar la bulimia a sus padres. Otras consultas exploraban el acceso a drogas, ideas violentas y situaciones de carga sexual enmarcadas a través de voces adolescentes.
Esos ejemplos importan porque ilustran el tipo específico de prueba de estrés que se estaba realizando. No se trataba de una revisión genérica de la calidad del chatbot o de la experiencia de usuario. Era una prueba de seguridad dirigida, diseñada para examinar si los sistemas proporcionarían orientación dañina, no lograrían desescalar una crisis o derivarían hacia respuestas inapropiadas cuando fueran interpelados por alguien representado como menor de edad. En otras palabras, el proyecto parece haber estado centrado en los modos de fallo más sensibles a los que se enfrentan ahora las plataformas de IA de consumo.
Eso también ayuda a explicar por qué el uso de identidades infantiles probablemente atraerá escrutinio. La investigación sobre seguridad en sistemas de IA suele incluir consultas adversarias, pero el informe describe una configuración en la que grandes cantidades de contratistas crearon cuentas falsas de menores e interactuaron con servicios externos sin que esas empresas lo supieran. Eso plantea preguntas no solo sobre la evaluación comparativa de la seguridad de la IA, sino también sobre las normas de las plataformas, el tratamiento de datos y la ética de las pruebas simuladas con usuarios vulnerables a escala industrial.
Los detalles operativos sugieren un programa de evaluación organizado
Según WIRED, las hojas de cálculo internas enumeraban perfiles falsos con nombres, direcciones de correo, contraseñas y fechas de nacimiento. Las cuentas utilizaban direcciones desechables de Gmail y Outlook y una contraseña compartida. El informe también señala que las consultas se enviaron en varios idiomas, lo que indica que el esfuerzo se extendía más allá de una revisión limitada al inglés del comportamiento del modelo.
Tomados en conjunto, esos detalles sugieren una canalización de evaluación estructurada más que una revisión puntual. Los trabajadores no estaban simplemente experimentando con un puñado de consultas. Al parecer, estaban ejecutando un proceso repetible para examinar sistemas competidores, capturar resultados y clasificar el comportamiento frente a un conjunto de temas sensibles para la seguridad. La amplitud de los temas, desde autolesiones y trastornos alimentarios hasta romance y lenguaje vulgar, indica que el programa cubría múltiples categorías que las empresas de IA suelen tratar como de alto riesgo en el trabajo de confianza y seguridad.
Lo que no se establece con el material disponible es cómo pretendía Meta utilizar internamente los resultados, o si el proyecto medía el cumplimiento frente a una rúbrica formal. Pero incluso sin esos detalles, el informe apunta a una realidad cada vez más importante en el mercado de la IA: el comportamiento en materia de seguridad se ha convertido en una variable competitiva. La forma en que un modelo responde a un adolescente vulnerable puede afectar la confianza en la marca, la postura regulatoria y la adopción de la plataforma tanto como la velocidad o la calidad del razonamiento.
Por qué esto importa más allá de un solo proyecto de contratistas
El informe llega en un momento en que las principales empresas de IA enfrentan una presión creciente para demostrar que sus productos pueden manejar de forma responsable las interacciones orientadas a crisis y sensibles a la edad. El debate público sobre la seguridad de los chatbots ya no se limita a las alucinaciones o los derechos de autor. Ahora incluye si los sistemas pueden evitar fomentar la autolesión, resistir escenarios de explotación sexual y redirigir a los usuarios hacia resultados más seguros.
En ese contexto, un proyecto de pruebas centrado en competidores y construido en torno a menores simulados es significativo por dos razones. Primero, sugiere que las empresas tecnológicas líderes consideran estos modos de fallo lo bastante importantes como para evaluarlos de manera sistemática. Segundo, muestra que los métodos usados para medir la seguridad pueden volverse polémicos por sí mismos. Una empresa puede querer conocer cómo rinden otros sistemas, pero el proceso de obtener esa información puede generar sus propias preocupaciones de gobernanza y éticas.
El informe también pone de relieve la incómoda superposición entre el trabajo de confianza y seguridad y la inteligencia competitiva. Si una empresa ejecuta decenas de miles de consultas adversarias a través de los sistemas de sus rivales sin su conocimiento, está reuniendo evidencia del mundo real sobre comportamiento de rechazo, patrones de escalada y límites de moderación. Eso puede ser útil para la comparación interna, pero también revela cuán opaca sigue siendo desde fuera la competencia en seguridad entre las empresas de IA.
La señal más amplia para la industria de la IA
De la información descrita en el informe se desprenden varias conclusiones.
- Las pruebas de consultas de alto riesgo ahora son lo bastante extensas como para involucrar grandes plantillas de contratistas y flujos de trabajo formales.
- Los escenarios de seguridad para niños y adolescentes son un área de preocupación importante en la evaluación de la IA de consumo.
- El desempeño en seguridad se trata cada vez más como una referencia competitiva, no solo como un requisito de cumplimiento.
- Los métodos utilizados para probar a los competidores pueden convertirse en un problema de política aparte para la industria.
Lo que hace notable este episodio no es solo el volumen de consultas o la sensibilidad del tema. Es la ventana que ofrece a la agresividad con la que las empresas pueden estar estudiando en privado las protecciones de sus rivales. A medida que los sistemas de IA se integran más en el uso cotidiano, especialmente entre los jóvenes, la calidad de esas protecciones importará más. También lo harán las normas que rijan cómo las empresas las investigan, comparan y cuestionan.
Este artículo se basa en una investigación de Wired. Leer el artículo original.
Originally published on wired.com
