CEO-Bench testa se a IA consegue comandar uma startup por 500 dias

CEO-Bench faz uma pergunta mais difícil do que a maioria das avaliações de IA

Sistemas de inteligência artificial têm obtido bons resultados em tarefas de escopo restrito, como correções de código, atendimentos ao cliente e fluxos de trabalho estruturados na web. Mas esses testes normalmente medem desempenho em ciclos curtos: o modelo recebe um objetivo claro, executa um conjunto limitado de ações e recebe feedback rapidamente. Um novo benchmark descrito por pesquisadores da Universidade de Princeton mira algo muito mais difícil: se um agente de IA pode tomar muitas decisões de negócios interconectadas ao longo de um período longo sem se conduzir ao fracasso.

O benchmark, chamado CEO-Bench, coloca um agente de IA no comando de uma empresa fictícia de software por assinatura chamada NovaMind por 500 dias simulados. A empresa começa sem clientes e com US$ 1 milhão em caixa. O agente precisa decidir como operar o negócio enquanto acompanha métricas como crescimento de assinantes, cancelamentos, resultados de suporte, sinais de mercado e caixa restante. Se o saldo da empresa cair abaixo de zero nem que seja uma vez, a simulação termina em falência.

O resultado principal é desanimador para quem esperava que os modelos de fronteira atuais também servissem como executivos autônomos. Segundo o relatório fornecido, apenas três modelos de IA concluíram a simulação completa de 500 dias com mais caixa do que tinham no início. A maioria não conseguiu preservar capital, e uma heurística simples baseada em regras, sem capacidade de IA, superou quase todos eles.

O que o benchmark tenta medir

Os pesquisadores enquadram o CEO-Bench como um teste do que chamam de “inteligência de direcionamento”: a capacidade de guiar uma organização rumo a objetivos de longo prazo sob incerteza. Isso é diferente de resolver uma tarefa por vez. Administrar até mesmo uma empresa simulada exige priorizar entre opções incompletas, alocar recursos escassos, interpretar sinais ruidosos e se adaptar a condições variáveis ao longo de centenas de passos. Uma escolha errada nem sempre falha imediatamente. Em vez disso, os problemas podem se acumular aos poucos até que o negócio se torne inviável.

Essa distinção importa porque grande parte da discussão pública recente sobre agentes de IA tem se concentrado em sua competência crescente em trabalhos delimitados. Um agente que consegue escrever código, consultar um banco de dados ou redigir posts para redes sociais ainda pode ter dificuldade para decidir quais dessas ações mais importam, quando gastar dinheiro, quão agressivamente buscar crescimento ou quando a contenção é a melhor estratégia. O CEO-Bench foi projetado para expor essa lacuna.

Os pesquisadores ilustram a ideia mais ampla com um exemplo humano famoso: a quase crise da Apple em 1997, quando Steve Jobs simplificou o foco de produtos da empresa em quatro quadrantes centrais. Aceitando ou não essa história como modelo completo de liderança empresarial, a comparação mostra o que o benchmark busca. Julgamento estratégico não é apenas execução. É escolher o que não fazer, e fazê-lo cedo o suficiente para que essas escolhas importem.

Como a NovaMind é operada dentro da simulação

No CEO-Bench, a IA não apenas escolhe entre um pequeno menu de decisões prontas. Ela opera por meio de uma API Python com 34 ferramentas e acesso a um banco de dados com 19 tabelas. O agente pode escrever seu próprio código, executar consultas SQL, inspecionar informações do negócio, interagir com ferramentas de estilo gerencial e criar fluxos de trabalho personalizados com base no que aprende. A simulação, portanto, tenta se assemelhar a um ambiente operacional mais realista, em vez de um questionário com respostas óbvias.

Essa configuração é importante porque problemas de gestão de longo prazo raramente são resolvidos com um único movimento. Um modelo pode precisar combinar dados de clientes com sinais operacionais, mudar prioridades quando novas informações surgem ou coordenar várias ações antes que qualquer efeito comercial fique visível. O agente também precisa navegar em um contexto de negócios no qual ciclos de mercado, tickets de suporte, tendências de assinantes e fluxo de caixa influenciam uns aos outros.

Na prática, isso significa que um modelo pode parecer competente localmente e ainda assim falhar globalmente. Pode otimizar um subproblema visível, como gerar atividade ou reduzir uma fila específica, mas tomar decisões que enfraquecem a posição geral da empresa. A pontuação final baseada em caixa captura esse resultado mais amplo. Esperteza de curto prazo não vale muito se a empresa ficar sem dinheiro.

Por que os achados importam além de uma empresa fictícia

A conclusão mais imediata é que os agentes de IA atuais parecem muito melhores em execução restrita do que em controle organizacional sustentado. Isso não significa que os sistemas subjacentes sejam inúteis em contextos empresariais. Significa que eles podem ser mais confiáveis como ferramentas dentro de uma operação liderada por humanos do que como tomadores de decisão autônomos com ampla autoridade.

Isso tem implicações para como as empresas devem pensar a implantação de agentes. Organizações que experimentam IA em operações internas muitas vezes falam em automação de ponta a ponta, mas o CEO-Bench sugere que a autonomia se torna muito mais arriscada à medida que as tarefas ficam mais longas e mais entrelaçadas. Um agente pode lidar bem com funções isoladas e ainda assim carecer do julgamento necessário para encadeá-las em uma estratégia durável.

O resultado também é notável porque uma heurística não baseada em IA superou quase todos os modelos. Isso sugere que o fracasso não é apenas uma questão de inteligência bruta em abstrato. Ele também pode estar ligado a estabilidade, disciplina e à capacidade de evitar movimentos autodestrutivos em ambientes ambíguos. Em alguns contextos, uma política fixa conservadora pode superar um sistema mais flexível que reage demais, persegue ruído ou aloca recursos de forma equivocada.

Benchmarks como o CEO-Bench podem se tornar cada vez mais úteis à medida que fornecedores de IA comercializam sistemas para trabalho gerencial e agentivo. As avaliações existentes muitas vezes recompensam a conclusão de tarefas, mas nem sempre revelam se um modelo consegue preservar valor ao longo do tempo. Uma empresa que decide confiar à IA operações, orçamento ou estratégia precisa de evidências mais próximas dessa pergunta do mundo real.

O que o CEO-Bench prova e o que não prova

O benchmark continua sendo uma simulação, e toda simulação tem limites. Uma startup fictícia não consegue capturar toda a complexidade de empresas reais, setores ou dinâmicas de liderança. O material fornecido também não traz um ranking completo de todos os modelos, notas metodológicas detalhadas ou desdobramentos de quais estratégias levaram ao sucesso ou ao fracasso. Portanto, os achados não devem ser superestimados como um veredito universal sobre gestão por IA.

Mesmo assim, as evidências apontam para uma direção clara. Desempenho forte em tarefas curtas não se traduz automaticamente em competência de direcionamento de longo prazo. Essa lacuna importa porque muitas das decisões empresariais de maior valor são exatamente as que se desenrolam ao longo de períodos longos, envolvem informação incompleta e punem pequenos erros apenas depois que eles se acumulam.

Por ora, o CEO-Bench parece menos uma coroação do executivo autônomo de IA e mais um teste de estresse da ideia. Os resultados iniciais indicam que a indústria ainda está a alguma distância de agentes capazes de administrar uma empresa de forma confiável em meio à incerteza prolongada. Se houver um papel mais imediato, o benchmark sugere algo mais pragmático para a IA: não substituir a liderança, mas ampliá-la enquanto humanos mantêm o controle sobre prioridades, trade-offs e as consequências de estar errado.

Este artigo é baseado na cobertura do The Decoder. Leia o artigo original.