Amanda Askell, de Anthropic, sobre la ética de la IA agéntica

Anthropic dice que la IA agéntica plantea un tipo distinto de problema ético

A medida que los sistemas de inteligencia artificial dejan atrás el chat y avanzan hacia formas de trabajo más autónomas, también cambian las preguntas éticas que los rodean. Según Amanda Askell, integrante del equipo técnico de Anthropic, el desafío ya no se limita a si un modelo puede hablar de forma convincente sobre lo correcto y lo incorrecto. Cada vez se trata más de cómo se comporta un sistema de IA cuando se le pide actuar durante periodos más largos, tomar decisiones repetidas y operar con menos supervisión humana directa.

En una entrevista con Fast Company, Askell describió esta transición como un cambio importante en el problema de seguridad que rodea a la IA. Una cosa es un chatbot que responde a una pregunta moral. Otra muy distinta es un sistema al que, en la práctica, se le delega la gestión de los asuntos de un usuario.

Del consejo a la acción

El ejemplo de Askell traza una línea clara entre dos tipos de uso. En un escenario, una persona pregunta a un modelo si es ético invertir en una empresa de defensa. En otro, esa misma persona le da al sistema autoridad para gestionar inversiones con poca supervisión cotidiana. Lo primero es una conversación. Lo segundo es juicio delegado.

La distinción importa porque los sistemas autónomos crean más puntos de decisión. Una vez que se permite a un modelo perseguir un objetivo a lo largo del tiempo, puede tener que priorizar compensaciones, interpretar instrucciones ambiguas o responder a condiciones inesperadas. Cada uno de esos momentos pasa a formar parte del problema de diseño ético.

Askell dijo que, a medida que los modelos se vuelven “más autónomos” y actúan “en horizontes temporales más largos”, los desarrolladores tienen que mapear con antelación muchos más de esos puntos de decisión. En términos prácticos, eso significa que el trabajo de seguridad debe acercarse más a la realidad operativa de los sistemas de IA en lugar de quedarse en el nivel de principios abstractos.

Una brújula ética que no anula al usuario

El enfoque de Anthropic ante este problema está ligado a lo que llama una constitución: un conjunto escrito de valores y principios destinado a guiar el comportamiento de Claude. Askell dijo que ese marco actualmente hace hincapié en ideas como la seguridad y la utilidad, junto con orientación para resolver conflictos entre ambas.

Pero el punto más revelador de sus comentarios es cómo plantea el papel del propio asistente. En lugar de presentar a Claude como un sistema que deba imponer una única visión moral del mundo, sugiere que debería responder a los usuarios y comprender sus valores de una forma más parecida a la que tendría un compañero de confianza. En su descripción, el objetivo es evitar que el modelo tenga su propia agenda ética excéntrica sin dejar de hacerlo capaz de manejar situaciones complejas con responsabilidad.

Esa es una postura sutil pero importante en el debate más amplio sobre IA. Implica que la alineación no consiste solo en restringir salidas peligrosas. También consiste en diseñar sistemas que puedan adaptarse a los objetivos del usuario sin volverse ni moralmente rígidos ni imprudentemente permisivos.

La constitución puede crecer, o puede reducirse

Uno de los aspectos más interesantes de los comentarios de Askell es que el reglamento de Anthropic no se presenta como algo fijo. Dijo que la constitución está escrita y en evolución. A medida que los sistemas de IA se vuelvan más capaces, podría ampliarse para cubrir nuevas categorías de escenarios. Pero también dijo que podría ocurrir lo contrario: el documento podría reducirse si Claude se vuelve más hábil para navegar situaciones complicadas.

Eso sugiere que Anthropic ve la alineación como un objetivo cambiante, no como una capa estática de cumplimiento. Más capacidades pueden exigir más orientación explícita a corto plazo. Al mismo tiempo, una mayor competencia podría acabar reduciendo la necesidad de reglas procedimentales extensas, si el sistema mejora para razonar por sí mismo en contextos difíciles.

Esa tensión es central para la fase actual del desarrollo de la IA. La industria intenta construir sistemas más útiles en general y más capaces de actuar por sí mismos, al tiempo que garantiza que sigan siendo lo bastante predecibles como para confiarles tareas importantes.

Incluso los investigadores de Anthropic tratan a Claude con límites

Askell también habló de cómo la IA agéntica está cambiando su propio trabajo. Dijo que usa Claude con regularidad, incluso para hacer red-teaming de sus ideas y detectar casos límite. Ese detalle es notable porque muestra el ciclo de retroalimentación ya común dentro de los laboratorios de IA: cada vez más, los investigadores usan los mismos sistemas que evalúan como herramientas dentro del propio proceso de evaluación.

Al mismo tiempo, su umbral de confianza sigue siendo prudente. Dijo que su estándar actual no es considerar a Claude más fiable que un asistente personal humano. Esa es una señal útil en un mercado donde el mensaje del producto puede adelantarse con facilidad a la realidad operativa.

El comentario no disminuye la utilidad del sistema. Más bien, sitúa a la IA agéntica actual en una categoría más realista: útil, cada vez más capaz, pero todavía no algo a lo que deba concederse autoridad sin cuestionamiento. Para las empresas que consideran desplegar agentes de IA, esa puede ser la conclusión más práctica de la entrevista.

Por qué esto importa más allá de Anthropic

La relevancia de las observaciones de Askell va mucho más allá de una sola empresa. Gran parte del sector de la IA se está moviendo hacia sistemas que pueden ejecutar tareas, coordinar herramientas y perseguir objetivos con menos indicaciones humanas. A medida que continúa esa transición, el problema de gobernanza pasa de la moderación de contenidos a un diseño del comportamiento.

Eso significa que quienes construyen modelos tendrán que responder preguntas más difíciles sobre delegación, rendición de cuentas e interpretación de valores. ¿Qué significa que una IA actúe en interés del usuario? ¿Cómo debería comportarse cuando las instrucciones están incompletas o entran en conflicto con las restricciones de seguridad? ¿Y cuánta discreción moral debería tener un sistema antes de dejar de ser un asistente y convertirse en un sustituto sin responsabilidad?

Anthropic no afirma haber resuelto esas preguntas. Pero el planteamiento de Askell capta por qué la siguiente etapa de la competencia en IA no estará definida solo por benchmarks y funciones. También estará moldeada por si las empresas pueden hacer que los sistemas autónomos sean útiles sin volverlos impredecibles.

Puntos clave

• Anthropic dice que el reto ético cambia cuando la IA pasa de responder preguntas a tomar acciones a lo largo del tiempo.
• La empresa guía a Claude con una constitución escrita y en evolución, centrada en valores como la seguridad y la utilidad.
• Amanda Askell dice que los niveles actuales de confianza en Claude no deberían superar a los de un asistente personal humano.

Este artículo se basa en reportes de Fast Company. Leer el artículo original.