El choque con Anthropic expone una dura verdad sobre la seguridad de la IA

La presión del gobierno se topa con los límites de la seguridad del modelo

Una disputa entre funcionarios estadounidenses y Anthropic por la publicación del modelo Fable 5 de la empresa está ilustrando una tensión básica en la política de IA de frontera: los gobiernos pueden querer que los sistemas altamente capaces sean efectivamente inexpugnables antes de su lanzamiento generalizado, pero la tecnología no parece respaldar ese estándar.

Según el material fuente, funcionarios de la administración acusan a Anthropic de ignorar una orden ejecutiva cibernética de Trump emitida recientemente al lanzar Fable 5 sin esperar a que un centro de compensación gubernamental lo revisara. El informe indica que el marco de supervisión aún no se había establecido por completo cuando el modelo fue publicado.

La crítica va más allá del procedimiento. Un funcionario citado en la fuente afirma que Anthropic sabía que podía producirse un jailbreak y siguió adelante de todos modos. La existencia y la gravedad del jailbreak concreto en cuestión no se habían confirmado en el texto fuente, pero la acusación en sí apunta a un conflicto creciente entre las expectativas de política pública y las realidades del comportamiento de los modelos de lenguaje grande.

El problema técnico central

La fuente sostiene que la disputa dice tanto sobre la comprensión gubernamental de la IA como sobre las decisiones de Anthropic. La razón es sencilla: quienes trabajan de cerca con modelos avanzados de lenguaje suelen tratar la inyección de prompt y los jailbreaks como riesgos persistentes, no como problemas totalmente resueltos.

El artículo señala que OpenAI ha advertido que la inyección de prompt quizá nunca se resuelva por completo. Eso importa porque exigir modelos de frontera “inexpugnables” fija un estándar que puede ser inalcanzable en la práctica, al menos con las arquitecturas y métodos de despliegue actuales. La pregunta realista, por tanto, no es si un modelo potente puede estar alguna vez perfectamente asegurado, sino cuán graves son los fallos, con qué rapidez se aplican las contramedidas y qué casos de uso requieren una contención más estricta.

Por qué las apuestas son más altas en los modelos de frontera

La tensión de política se vuelve más aguda cuando los modelos son capaces de ayudar con tareas relacionadas con ciencia, tecnología o biología. La fuente recuerda que el director ejecutivo de Anthropic, Dario Amodei, dijo en 2023 que un jailbreak podría convertirse en una cuestión de vida o muerte si se eludían los protocolos de seguridad en esas áreas.

Eso ayuda a explicar por qué los funcionarios pueden estar presionando con fuerza sobre la supervisión y la disciplina de lanzamiento. También muestra por qué la industria no puede desestimar las preocupaciones por jailbreak como simple travesura de internet. En la frontera, los fallos pueden tener implicaciones para el conocimiento de uso dual, el uso indebido o la erosión de la confianza en los marcos de gobernanza voluntaria.

Una prueba de gobernanza tanto como de seguridad

El informe dice que funcionarios del Departamento de Comercio y empleados de Anthropic están en conversaciones, y que hay más reuniones previstas con la CIA y con el asesor científico Michael Kratsios. También indica que más de 100 expertos en seguridad y ejecutivos tecnológicos firmaron una carta abierta pidiendo controles de exportación para Fable 5.

En conjunto, esos detalles sugieren que el debate no trata solo de un lanzamiento de modelo. También trata de quién define el riesgo aceptable, de cómo debería funcionar la supervisión voluntaria antes de que existan instituciones formales y de si las empresas de IA pueden avanzar más rápido que los gobiernos sin romper la confianza en el acuerdo.

• Funcionarios estadounidenses dicen que Anthropic lanzó Fable 5 sin esperar un mecanismo de revisión previsto.
• La disputa gira en torno al riesgo de jailbreak y a la supervisión gubernamental.
• La fuente sostiene que exigir LLM realmente inexpugnables puede ser un requisito técnicamente irrealista.

La lección más amplia es incómoda pero útil. La seguridad de la IA de frontera quizá no converja hacia un umbral binario de seguro o inseguro. Más bien, es probable que siga siendo una cuestión de mitigación por capas, opciones de despliegue restringidas, supervisión y respuesta posterior al lanzamiento. Ese es un modelo de gobernanza más difícil de comunicar, pero encaja mejor con la tecnología descrita en la fuente.

Si los responsables de políticas siguen exigiendo seguridad absoluta a sistemas que, por su propia naturaleza, resisten la seguridad absoluta, choques como este serán más frecuentes. La próxima fase de la gobernanza de la IA podría depender de si ambas partes pueden sustituir estándares imposibles por otros aplicables y técnicamente fundamentados.

Este artículo se basa en un reportaje de The Decoder. Lea el artículo original.