CEO-Bench pone a prueba si la IA puede dirigir una startup durante 500 días

CEO-Bench plantea una pregunta más difícil que la mayoría de las evaluaciones de IA

Los sistemas de inteligencia artificial han obtenido buenos resultados en tareas de alcance limitado, como corregir código, responder a clientes y ejecutar flujos de trabajo web estructurados. Pero esas pruebas suelen medir el rendimiento en ciclos cortos: el modelo recibe un objetivo claro, toma un conjunto limitado de acciones y obtiene retroalimentación rápidamente. Un nuevo benchmark descrito por investigadores de la Universidad de Princeton apunta a algo mucho más difícil: si un agente de IA puede tomar muchas decisiones empresariales interconectadas durante un largo periodo sin llevarse a sí mismo al fracaso.

El benchmark, llamado CEO-Bench, coloca a un agente de IA al frente de una empresa ficticia de software por suscripción llamada NovaMind durante 500 días simulados. La empresa comienza sin clientes y con 1 millón de dólares en efectivo. El agente debe decidir cómo operar el negocio mientras vigila métricas como crecimiento de suscriptores, cancelaciones, resultados de soporte, señales del mercado y efectivo restante. Si el saldo de la empresa cae por debajo de cero aunque sea una vez, la simulación termina en bancarrota.

El resultado principal es preocupante para cualquiera que espere que los modelos de frontera actuales también funcionen como ejecutivos autónomos. Según el informe proporcionado, solo tres modelos de IA completaron la simulación completa de 500 días con más efectivo del que tenían al inicio. La mayoría no logró preservar capital, y una heurística simple basada en reglas, sin capacidad de IA, superó a casi todos ellos.

Qué intenta medir el benchmark

Los investigadores presentan CEO-Bench como una prueba de lo que llaman “inteligencia de dirección”: la capacidad de guiar a una organización hacia metas de largo plazo bajo incertidumbre. Eso es algo distinto de resolver una tarea cada vez. Dirigir incluso una empresa simulada requiere priorizar entre opciones incompletas, asignar recursos escasos, interpretar señales ruidosas y adaptarse a condiciones cambiantes a lo largo de cientos de pasos. Una mala decisión no siempre falla de inmediato. En cambio, los problemas pueden acumularse gradualmente hasta que la empresa deja de ser viable.

Esta distinción importa porque gran parte del debate público reciente sobre los agentes de IA se ha centrado en su creciente competencia en trabajos acotados. Un agente que puede escribir código, consultar una base de datos o redactar publicaciones para redes sociales todavía puede tener dificultades para decidir cuáles de esas acciones importan más, cuándo gastar dinero, cuán agresivamente perseguir el crecimiento o cuándo la moderación es la mejor estrategia. CEO-Bench está diseñado para exponer esa brecha.

Los investigadores ilustran la idea más amplia con un ejemplo humano famoso: la casi crisis de Apple en 1997, cuando Steve Jobs simplificó el enfoque de productos de la empresa en cuatro cuadrantes centrales. Acepte o no esa historia como modelo completo de liderazgo empresarial, la comparación muestra lo que persigue el benchmark. El juicio estratégico no es solo ejecución. También consiste en elegir qué no hacer, y hacerlo lo bastante pronto para que esas decisiones importen.

Cómo se gestiona NovaMind dentro de la simulación

En CEO-Bench, la IA no se limita a elegir entre un breve menú de decisiones prefabricadas. Opera mediante una API de Python con 34 herramientas y acceso a una base de datos con 19 tablas. El agente puede escribir su propio código, ejecutar consultas SQL, inspeccionar información del negocio, interactuar con herramientas de estilo gerencial y crear flujos de trabajo personalizados a partir de lo que aprende. Así, la simulación intenta parecerse a un entorno operativo más realista, en lugar de un cuestionario con respuestas obvias.

Esa configuración importa porque los problemas de gestión de largo plazo rara vez se resuelven con un solo movimiento. Un modelo puede necesitar combinar datos de clientes con señales operativas, cambiar prioridades cuando aparece nueva información o coordinar varias acciones antes de que se vea cualquier efecto comercial. El agente también tiene que desenvolverse en un contexto empresarial en el que los ciclos de mercado, los tickets de soporte, las tendencias de suscriptores y el flujo de caja se influyen mutuamente.

En términos prácticos, esto significa que un modelo puede parecer competente a nivel local y aun así fracasar a nivel global. Puede optimizar un subproblema visible, como generar actividad o reducir una cola concreta, pero tomar decisiones que debiliten la posición general de la empresa. La puntuación final basada en efectivo captura ese resultado más amplio. La astucia a corto plazo importa poco si la empresa se queda sin dinero.

Por qué los hallazgos importan más allá de una empresa ficticia

La conclusión más inmediata es que los agentes de IA actuales parecen mucho mejores en la ejecución puntual que en el control organizativo sostenido. Eso no significa que los sistemas subyacentes sean inútiles en entornos empresariales. Significa que pueden ser más fiables como herramientas dentro de una operación dirigida por humanos que como tomadores de decisiones autónomos con amplia autoridad.

Esto tiene implicaciones para cómo las empresas deberían pensar el despliegue de agentes. Las compañías que experimentan con IA para operaciones internas suelen hablar de automatización de extremo a extremo, pero CEO-Bench sugiere que la autonomía se vuelve mucho más arriesgada cuando las tareas duran más y se entrelazan más. Un agente puede manejar bien funciones aisladas y aun así carecer del criterio necesario para encadenarlas en una estrategia duradera.

El resultado también es notable porque una heurística no basada en IA superó a casi todos los modelos. Eso sugiere que el fracaso no solo tiene que ver con la inteligencia bruta en abstracto. También puede estar relacionado con la estabilidad, la disciplina y la capacidad de evitar movimientos contraproducentes en entornos ambiguos. En algunos contextos, una política fija conservadora puede superar a un sistema más flexible que reacciona en exceso, persigue ruido o asigna mal los recursos.

Benchmarks como CEO-Bench podrían volverse cada vez más útiles a medida que los proveedores de IA comercialicen sistemas para trabajos gerenciales y agénticos. Las evaluaciones actuales suelen premiar la finalización de tareas, pero no siempre revelan si un modelo puede preservar valor con el tiempo. Una empresa que decida confiar a la IA operaciones, presupuestos o estrategia necesita evidencia más cercana a esa pregunta del mundo real.

Lo que CEO-Bench sí y no demuestra

El benchmark sigue siendo una simulación, y toda simulación tiene límites. Una startup ficticia no puede reflejar toda la complejidad de las empresas reales, las industrias o la dinámica del liderazgo. El material proporcionado tampoco ofrece una clasificación completa de todos los modelos, notas metodológicas detalladas ni desgloses de qué estrategias llevaron al éxito o al fracaso. Por lo tanto, los hallazgos no deben sobredimensionarse como un veredicto universal sobre la gestión con IA.

Aun así, la evidencia apunta en una dirección clara. El buen desempeño en tareas cortas no se traduce automáticamente en competencia para la dirección a largo plazo. Esa brecha importa porque muchas de las decisiones empresariales de mayor valor son precisamente las que se desarrollan durante periodos largos, implican información incompleta y castigan los pequeños errores solo después de que se acumulan.

Por ahora, CEO-Bench se parece menos a una coronación del ejecutivo autónomo de IA que a una prueba de estrés de la idea. Los primeros resultados indican que la industria aún está lejos de contar con agentes que puedan dirigir una empresa de forma fiable a través de una incertidumbre sostenida. Si acaso, el benchmark destaca un papel más realista de corto plazo para la IA: no reemplazar el liderazgo, sino ampliarlo mientras los humanos conservan el control sobre prioridades, compromisos y las consecuencias de equivocarse.

Este artículo se basa en una investigación de The Decoder. Leer el artículo original.