CEO-Bench teste si l’IA peut diriger une startup pendant 500 jours

CEO-Bench pose une question plus difficile que la plupart des évaluations d’IA

Les systèmes d’intelligence artificielle ont obtenu de solides résultats sur des tâches bien délimitées comme les corrections de code, les échanges avec le service client et les workflows web structurés. Mais ces tests mesurent généralement des cycles courts: le modèle reçoit un objectif clair, exécute un nombre limité d’actions et obtient rapidement un retour. Un nouveau benchmark décrit par des chercheurs de l’université de Princeton vise quelque chose de bien plus difficile: savoir si un agent d’IA peut prendre de nombreuses décisions commerciales interconnectées sur une longue période sans se conduire à l’échec.

Le benchmark, appelé CEO-Bench, place un agent d’IA à la tête d’une société logicielle fictive par abonnement nommée NovaMind pendant 500 jours simulés. L’entreprise commence avec zéro client et 1 million de dollars en trésorerie. L’agent doit décider comment faire fonctionner l’activité tout en surveillant des indicateurs tels que la croissance des abonnés, les annulations, les résultats du support, les signaux du marché et la trésorerie restante. Si le solde de l’entreprise passe sous zéro ne serait-ce qu’une fois, l’exécution se termine en faillite.

Le résultat mis en avant est inquiétant pour quiconque pense que les modèles de pointe actuels peuvent aussi jouer le rôle de dirigeants autonomes. D’après le rapport fourni, seuls trois modèles d’IA ont terminé l’intégralité de la simulation de 500 jours avec plus de liquidités qu’au départ. La plupart n’ont pas réussi à préserver leur capital, et une simple heuristique fondée sur des règles, sans capacité d’IA, a surpassé presque tous les modèles.

Ce que le benchmark cherche à mesurer

Les chercheurs présentent CEO-Bench comme un test de ce qu’ils appellent « l’intelligence de pilotage »: la capacité à guider une organisation vers des objectifs à long terme dans l’incertitude. C’est une compétence différente de la résolution d’une tâche à la fois. Gérer même une entreprise simulée exige de hiérarchiser des options incomplètes, d’allouer des ressources rares, de lire des signaux bruités et de s’adapter à des conditions changeantes sur des centaines d’étapes. Un mauvais choix n’échoue pas toujours immédiatement. Au contraire, les problèmes peuvent s’accumuler progressivement jusqu’à rendre l’entreprise non viable.

Cette distinction compte, car une grande partie du débat public récent sur les agents d’IA s’est concentrée sur leur compétence croissante dans des tâches bornées. Un agent capable d’écrire du code, d’interroger une base de données ou de rédiger des publications sociales peut encore avoir du mal à décider quelles actions comptent le plus, quand dépenser de l’argent, à quel point poursuivre la croissance de manière agressive, ou quand la retenue est la meilleure stratégie. CEO-Bench est conçu pour mettre cette faille en évidence.

Les chercheurs illustrent l’idée générale avec un exemple humain célèbre: la quasi-crise d’Apple en 1997, lorsque Steve Jobs a simplifié l’orientation produit de l’entreprise en quatre quadrants essentiels. Qu’on accepte ou non cette histoire comme un modèle complet de leadership d’entreprise, la comparaison montre ce que vise le benchmark. Le jugement stratégique ne se limite pas à l’exécution. Il consiste aussi à choisir ce qu’il ne faut pas faire, et à le faire assez tôt pour que ces choix comptent.

Comment NovaMind fonctionne dans la simulation

Dans CEO-Bench, l’IA ne se contente pas de choisir parmi un petit menu de décisions prédéfinies. Elle fonctionne via une API Python avec 34 outils et un accès à une base de données contenant 19 tables. L’agent peut écrire son propre code, exécuter des requêtes SQL, examiner des informations commerciales, interagir avec des outils de type gestion et créer des workflows personnalisés à partir de ce qu’il apprend. La simulation cherche donc à ressembler à un environnement opérationnel plus réaliste plutôt qu’à un quiz aux réponses évidentes.

Cette configuration est importante, car les problèmes de gestion à long terme se résolvent rarement en un seul mouvement. Un modèle peut devoir combiner des données clients avec des signaux opérationnels, modifier ses priorités lorsque de nouvelles informations apparaissent ou coordonner plusieurs actions avant qu’un effet business ne soit visible. L’agent doit aussi naviguer dans un contexte où les cycles de marché, les tickets de support, les tendances d’abonnement et les flux de trésorerie s’influencent mutuellement.

En pratique, cela signifie qu’un modèle peut sembler compétent localement tout en échouant globalement. Il peut optimiser un sous-problème visible, comme générer de l’activité ou réduire un certain backlog, mais prendre des décisions qui affaiblissent la position globale de l’entreprise. Le score final fondé sur la trésorerie capture ce résultat plus large. L’ingéniosité à court terme compte peu si l’entreprise n’a plus d’argent.

Pourquoi ces résultats comptent au-delà d’une seule entreprise fictive

Le principal enseignement est que les agents d’IA actuels semblent nettement meilleurs dans l’exécution ciblée que dans le contrôle organisationnel durable. Cela ne signifie pas que les systèmes sous-jacents sont inutiles en contexte professionnel. Cela signifie qu’ils peuvent être plus fiables comme outils au sein d’une organisation dirigée par des humains que comme décideurs autonomes disposant d’une large autorité.

Cela a des implications pour la façon dont les entreprises devraient envisager le déploiement d’agents. Les entreprises qui expérimentent l’IA pour leurs opérations internes parlent souvent d’automatisation de bout en bout, mais CEO-Bench suggère que l’autonomie devient bien plus risquée à mesure que les tâches s’allongent et s’entremêlent. Un agent peut très bien gérer des fonctions isolées tout en manquant du jugement nécessaire pour les enchaîner en une stratégie durable.

Le résultat est également notable parce qu’une heuristique non IA a battu presque tous les modèles. Cela suggère que l’échec ne tient pas seulement à l’intelligence brute en soi. Il peut aussi relever de la stabilité, de la discipline et de la capacité à éviter des décisions contre-productives dans des environnements ambigus. Dans certains contextes, une politique fixe et prudente peut surpasser un système plus flexible qui réagit de façon excessive, poursuit le bruit ou alloue mal les ressources.

Des benchmarks comme CEO-Bench pourraient devenir de plus en plus utiles à mesure que les fournisseurs d’IA commercialisent des systèmes destinés au travail managérial et agentique. Les évaluations existantes récompensent souvent l’achèvement d’une tâche, mais elles ne révèlent pas toujours si un modèle peut préserver de la valeur dans le temps. Une entreprise qui décide de confier à l’IA les opérations, le budget ou la stratégie a besoin de preuves plus proches de cette question concrète.

Ce que CEO-Bench démontre, et ce qu’il ne démontre pas

Le benchmark reste une simulation, et toute simulation a ses limites. Une startup fictive ne peut pas capturer toute la complexité des entreprises réelles, des secteurs ou des dynamiques de leadership. Le matériel fourni ne donne pas non plus un classement complet de tous les modèles, des détails méthodologiques approfondis, ni une décomposition des stratégies qui ont mené au succès ou à l’échec. Il ne faut donc pas surestimer ces résultats comme un verdict universel sur la gestion par IA.

Malgré tout, les éléments pointent dans une direction claire. De bonnes performances sur des tâches courtes ne se traduisent pas automatiquement par une compétence de pilotage à long terme. Cet écart compte parce que nombre des décisions d’entreprise les plus précieuses sont précisément celles qui se déroulent sur de longues périodes, impliquent des informations incomplètes et ne sanctionnent les petites erreurs qu’après leur accumulation.

Pour l’instant, CEO-Bench ressemble moins à un couronnement du dirigeant autonome d’IA qu’à un test de résistance de l’idée. Les premiers résultats indiquent que le secteur reste encore loin d’agents capables de diriger de manière fiable une entreprise au travers d’une incertitude prolongée. Si le benchmark met quelque chose en lumière, c’est un rôle à court terme plus réaliste pour l’IA: non pas remplacer le leadership, mais l’augmenter pendant que les humains conservent le contrôle des priorités, des arbitrages et des conséquences de l’erreur.

Cet article s’appuie sur un reportage de The Decoder. Lire l’article original.