CEO-Bench prüft, ob KI ein Startup 500 Tage lang führen kann

CEO-Bench stellt eine schwierigere Frage als die meisten KI-Bewertungen

Systeme der künstlichen Intelligenz haben bei eng umrissenen Aufgaben wie Codekorrekturen, Kundenservice-Interaktionen und strukturierten Web-Workflows starke Ergebnisse erzielt. Diese Tests messen jedoch meist die Leistung über kurze Zyklen: Das Modell erhält ein klares Ziel, führt eine begrenzte Zahl von Aktionen aus und bekommt schnell Feedback. Ein neuer Benchmark, den Forscher der Princeton University beschrieben haben, zielt auf etwas deutlich Schwierigeres: Kann ein KI-Agent über einen langen Zeitraum viele miteinander verknüpfte Geschäftsentscheidungen treffen, ohne sich dabei selbst ins Scheitern zu steuern?

Der Benchmark namens CEO-Bench setzt einen KI-Agenten 500 simulierte Tage lang an die Spitze eines fiktiven abonnementbasierten Softwareunternehmens namens NovaMind. Das Unternehmen startet ohne Kunden und mit 1 Million US-Dollar Bargeld. Der Agent muss entscheiden, wie das Geschäft geführt wird, während er Kennzahlen wie Wachstum der Abonnenten, Kündigungen, Support-Ergebnisse, Marktsignale und verbleibendes Bargeld beobachtet. Fällt der Kontostand des Unternehmens auch nur einmal unter null, endet der Lauf mit Bankrott.

Das zentrale Ergebnis ist ernüchternd für alle, die erwarten, dass aktuelle Spitzenmodelle auch als autonome Führungskräfte taugen. Laut dem bereitgestellten Bericht haben nur drei KI-Modelle die komplette 500-Tage-Simulation mit mehr Bargeld beendet, als sie zu Beginn hatten. Die meisten Modelle konnten das Kapital nicht erhalten, und eine einfache regelbasierte Heuristik ohne KI-Fähigkeit übertraf nahezu alle von ihnen.

Was der Benchmark messen soll

Die Forscher beschreiben CEO-Bench als Test dessen, was sie „steering intelligence“ nennen: die Fähigkeit, eine Organisation unter Unsicherheit auf langfristige Ziele auszurichten. Das ist etwas anderes, als immer nur eine Aufgabe nach der anderen zu lösen. Schon der Betrieb eines simulierten Unternehmens erfordert, zwischen unvollständigen Optionen zu priorisieren, knappe Ressourcen zu verteilen, verrauschte Signale zu lesen und sich über Hunderte von Schritten an veränderte Bedingungen anzupassen. Eine falsche Entscheidung scheitert nicht immer sofort. Probleme können sich stattdessen allmählich aufbauen, bis ein Unternehmen nicht mehr tragfähig ist.

Diese Unterscheidung ist wichtig, weil sich ein großer Teil der jüngeren öffentlichen Debatte über KI-Agenten auf ihre wachsende Kompetenz bei begrenzten Aufgaben konzentriert. Ein Agent, der Code schreiben, eine Datenbank abfragen oder Social-Media-Posts entwerfen kann, kann dennoch Schwierigkeiten haben zu entscheiden, welche dieser Handlungen am wichtigsten sind, wann Geld ausgegeben werden sollte, wie aggressiv Wachstum verfolgt werden sollte oder wann Zurückhaltung die bessere Strategie ist. CEO-Bench ist darauf ausgelegt, genau diese Lücke sichtbar zu machen.

Die Forscher veranschaulichen die breitere Idee mit einem bekannten menschlichen Beispiel: Apples Beinahe-Krise 1997, als Steve Jobs den Produktfokus des Unternehmens auf vier Kernquadranten vereinfachte. Ob man diese Geschichte nun als vollständiges Modell für Unternehmensführung akzeptiert oder nicht, der Vergleich zeigt, worauf der Benchmark abzielt. Strategisches Urteilsvermögen ist nicht nur Ausführung. Es bedeutet auch zu entscheiden, was nicht getan werden soll, und zwar früh genug, damit diese Entscheidungen zählen.

Wie NovaMind in der Simulation betrieben wird

Bei CEO-Bench wählt die KI nicht bloß aus einem kurzen Menü vorgefertigter Entscheidungen. Sie arbeitet über eine Python-API mit 34 Tools und Zugriff auf eine Datenbank mit 19 Tabellen. Der Agent kann eigenen Code schreiben, SQL-Abfragen ausführen, Geschäftsinformationen prüfen, mit Management-ähnlichen Tools interagieren und aus dem Gelernten eigene Workflows erstellen. Die Simulation versucht damit eher, einer realistischen Betriebsumgebung zu ähneln als einem Quiz mit offensichtlichen Antworten.

Dieses Setup ist wichtig, weil sich langfristige Managementprobleme selten mit einer einzigen Maßnahme lösen lassen. Ein Modell muss möglicherweise Kundendaten mit operativen Signalen verbinden, Prioritäten ändern, wenn neue Informationen auftauchen, oder mehrere Aktionen koordinieren, bevor irgendeine geschäftliche Wirkung sichtbar wird. Der Agent muss sich außerdem in einem Geschäftskontext bewegen, in dem Marktzyklen, Support-Tickets, Abonnententrends und Cashflow einander gegenseitig beeinflussen.

Praktisch heißt das: Ein Modell kann lokal kompetent wirken und dennoch global scheitern. Es mag ein sichtbares Teilproblem optimieren, etwa Aktivität erzeugen oder einen bestimmten Rückstand abbauen, trifft dabei aber Abwägungen, die die Gesamtposition des Unternehmens schwächen. Das cash-basierte Endergebnis des Benchmarks erfasst dieses breitere Resultat. Kurzfristige Cleverness zählt wenig, wenn das Unternehmen kein Geld mehr hat.

Warum die Ergebnisse über eine einzige fiktive Firma hinaus wichtig sind

Die unmittelbarste Schlussfolgerung lautet: Aktuelle KI-Agenten scheinen bei enger Ausführung deutlich besser zu sein als bei nachhaltiger organisatorischer Steuerung. Das heißt nicht, dass die zugrunde liegenden Systeme in Geschäftsumgebungen nutzlos sind. Es heißt vielmehr, dass sie als Werkzeuge innerhalb eines von Menschen geführten Betriebs zuverlässiger sein könnten als als autonome Entscheider mit weitreichender Autorität.

Das hat Folgen dafür, wie Unternehmen den Einsatz von Agenten betrachten sollten. Firmen, die KI für interne Abläufe erproben, sprechen oft von End-to-End-Automatisierung, aber CEO-Bench legt nahe, dass Autonomie umso riskanter wird, je länger Aufgaben dauern und je stärker sie miteinander verflochten sind. Ein Agent kann isolierte Funktionen gut erledigen und dennoch das Urteilsvermögen vermissen lassen, das nötig ist, um sie zu einer tragfähigen Strategie zu verketten.

Bemerkenswert ist das Ergebnis auch, weil eine nicht auf KI basierende Heuristik fast alle Modelle schlug. Das deutet darauf hin, dass Scheitern nicht nur abstrakt eine Frage roher Intelligenz ist. Es kann auch mit Stabilität, Disziplin und der Fähigkeit zusammenhängen, in mehrdeutigen Umgebungen selbstschädigende Schritte zu vermeiden. In manchen Kontexten kann eine konservative, feste Politik besser abschneiden als ein flexibleres System, das überreagiert, Signale jagt oder Ressourcen falsch zuordnet.

Benchmarks wie CEO-Bench könnten immer nützlicher werden, wenn KI-Anbieter Systeme für Führungs- und Agentenarbeit vermarkten. Bestehende Bewertungen belohnen oft die Aufgabenerledigung, zeigen aber nicht immer, ob ein Modell Wert über die Zeit hinweg erhalten kann. Ein Unternehmen, das KI bei Betrieb, Budget oder Strategie vertrauen will, braucht Evidenz, die dieser realen Frage näherkommt.

Was CEO-Bench zeigt und was nicht

Der Benchmark bleibt eine Simulation, und jede Simulation hat Grenzen. Ein fiktives Startup kann die Komplexität realer Unternehmen, Branchen oder Führungsdynamiken nicht vollständig abbilden. Das bereitgestellte Material enthält außerdem kein vollständiges Ranking aller Modelle, keine detaillierten methodischen Hinweise und keine Aufschlüsselung, welche Strategien zum Erfolg oder Misserfolg geführt haben. Die Ergebnisse sollten daher nicht als universelles Urteil über KI-Management überinterpretiert werden.

Dennoch weisen die Befunde in eine klare Richtung. Starke Leistung bei kurzen Aufgaben bedeutet nicht automatisch Kompetenz beim langfristigen Steuern. Diese Lücke ist wichtig, weil viele der wertvollsten Geschäftsentscheidungen genau die sind, die sich über lange Zeiträume entfalten, unvollständige Informationen beinhalten und kleine Fehler erst bestrafen, wenn sie sich aufgehäuft haben.

Im Moment wirkt CEO-Bench weniger wie eine Krönung des autonomen KI-CEOs als wie ein Stresstest der Idee. Die frühen Ergebnisse deuten darauf hin, dass die Branche noch ein gutes Stück von Agenten entfernt ist, die ein Unternehmen zuverlässig durch anhaltende Unsicherheit führen können. Wenn überhaupt, zeigt der Benchmark eine bodenständigere kurzfristige Rolle für KI: nicht Führung zu ersetzen, sondern sie zu ergänzen, während Menschen die Kontrolle über Prioritäten, Abwägungen und die Folgen von Fehlern behalten.

Dieser Artikel basiert auf einer Berichterstattung von The Decoder. Zum Originalartikel.