CEO-Bench तपासते की AI 500 दिवस स्टार्टअप चालवू शकते का

CEO-Bench बहुतांश AI मूल्यमापनांपेक्षा कठीण प्रश्न विचारते

कृत्रिम बुद्धिमत्ता प्रणालींनी कोडिंग दुरुस्त्या, ग्राहक-सेवा संवाद, आणि संरचित वेब वर्कफ्लो यांसारख्या मर्यादित कामांमध्ये चांगले निकाल दिले आहेत. पण अशी चाचणी साधारणपणे लहान चक्रांमध्ये कामगिरी मोजते: मॉडेलला स्पष्ट उद्दिष्ट दिले जाते, ते मर्यादित कृती करते, आणि लगेच अभिप्राय मिळतो. प्रिन्स्टन विद्यापीठातील संशोधकांनी वर्णन केलेला एक नवा बेंचमार्क यापेक्षा खूप कठीण गोष्टीकडे लक्ष देतो: एखादा AI एजंट अनेक परस्परसंबंधित व्यावसायिक निर्णय दीर्घ काळ घेत राहून स्वतःला अपयशाच्या दिशेने नेण्यापासून वाचवू शकतो का.

CEO-Bench नावाचा हा बेंचमार्क NovaMind नावाच्या एका काल्पनिक subscription software कंपनीची जबाबदारी एका AI एजंटकडे 500 simulated दिवसांसाठी सोपवतो. कंपनी शून्य ग्राहक आणि $1 million cash सह सुरू होते. subscriber growth, cancellations, support outcomes, market signals, आणि उरलेली cash अशा मेट्रिक्सवर लक्ष ठेवून एजंटने व्यवसाय कसा चालवायचा हे ठरवायचे असते. कंपनीची balance एकदाही शून्याखाली गेल्यास, रन bankruptcy मध्ये संपतो.

सध्याचे frontier models स्वायत्त executives म्हणूनही काम करू शकतील अशी अपेक्षा असणाऱ्यांसाठी मुख्य निष्कर्ष निराशाजनक आहे. दिलेल्या अहवालानुसार, फक्त तीन AI models पूर्ण 500-day simulation सुरूवातीपेक्षा जास्त cash सह पूर्ण करू शकले. बहुतेक models ने capital जपण्यात अपयश आले, आणि AI क्षमतेशिवाय साध्या rule-based heuristic ने जवळपास सर्वांपेक्षा चांगले प्रदर्शन केले.

हा बेंचमार्क नेमके काय मोजू पाहतो

संशोधक CEO-Bench ला ते “steering intelligence” म्हणतात त्या क्षमतेची चाचणी मानतात: अनिश्चिततेत एखाद्या संस्थेला दीर्घकालीन उद्दिष्टांकडे नेण्याची क्षमता. ही एकावेळी एक काम सोडवण्यापेक्षा वेगळी क्षमता आहे. सिम्युलेटेड कंपनी चालवण्यासाठीही अपूर्ण पर्यायांमधून प्राधान्ये ठरवणे, मर्यादित संसाधने वाटणे, noise असलेले संकेत वाचणे, आणि शेकडो टप्प्यांमध्ये बदलणाऱ्या परिस्थितींशी जुळवून घेणे आवश्यक असते. एखादा चुकीचा निर्णय लगेच अपयशी ठरवत नाही. त्याऐवजी समस्या हळूहळू जमा होत जाऊन व्यवसाय अकार्यक्षम करू शकतात.

हा फरक महत्त्वाचा आहे, कारण अलीकडील सार्वजनिक चर्चेचा मोठा भाग AI agents च्या मर्यादित कामांमधील वाढत्या कौशल्यावर केंद्रित होता. जो agent code लिहू शकतो, database query करू शकतो, किंवा social posts तयार करू शकतो, तो कोणत्या कृती सर्वात महत्त्वाच्या आहेत, पैसा कधी खर्च करायचा, growth साठी किती आक्रमक जायचे, किंवा कधी संयम अधिक चांगला असतो हे ठरवण्यात अजूनही अडखळू शकतो. CEO-Bench हा gap उघड करण्यासाठी तयार केला आहे.

संशोधक ही व्यापक कल्पना एका प्रसिद्ध मानवी उदाहरणातून स्पष्ट करतात: 1997 मध्ये Apple चा जवळपास आलेला संकटकाळ, जेव्हा Steve Jobs यांनी कंपनीचा product focus चार मुख्य quadrants मध्ये साधा केला. ही कथा व्यवसाय नेतृत्वाचे संपूर्ण मॉडेल मानावी किंवा न मानावी, तरी तुलना दाखवते की बेंचमार्क नेमके कशाकडे पाहतो आहे. धोरणात्मक निर्णय म्हणजे फक्त अंमलबजावणी नाही. काय करू नये हे निवडणे, आणि ते इतक्या लवकर करणे की त्या निवडी महत्त्वाच्या ठरतील, हेही तितकेच महत्त्वाचे आहे.

सिम्युलेशनमध्ये NovaMind कसे चालवले जाते

CEO-Bench मध्ये AI केवळ एका छोट्या canned निर्णयांच्या यादीतून निवड करत नाही. ते 34 tools असलेल्या Python API द्वारे आणि 19 tables असलेल्या database पर्यंत पोहोचून काम करते. agent स्वतःचा code लिहू शकतो, SQL queries चालवू शकतो, business information तपासू शकतो, management-style tools शी संवाद साधू शकतो, आणि जे शिकतो त्यातून custom workflows तयार करू शकतो. त्यामुळे हे simulation स्पष्ट उत्तरांच्या quiz पेक्षा अधिक वास्तववादी operational environment सारखे दिसावे असा प्रयत्न करते.

ही रचना महत्त्वाची आहे, कारण दीर्घकालीन management समस्या सहसा एका हालचालीने सुटत नाहीत. model ला customer data operational signals सह एकत्र करावे लागू शकते, नवीन माहिती आल्यावर priorities बदलाव्या लागू शकतात, किंवा कोणताही business effect दिसण्यापूर्वी अनेक actions चे समन्वय करावे लागू शकतो. agent ला अशा business context मध्येही काम करावे लागते जिथे market cycles, support tickets, subscriber trends, आणि cash flow एकमेकांवर परिणाम करतात.

व्यावहारिक अर्थाने, model स्थानिक स्तरावर सक्षम दिसू शकतो तरी जागतिक पातळीवर अपयशी ठरू शकतो. तो activity निर्माण करणे किंवा एखादा backlog कमी करणे यांसारखी दिसणारी subproblem optimize करू शकतो, पण अशा tradeoffs करू शकतो ज्यामुळे कंपनीची एकूण स्थिती कमजोर होते. बेंचमार्कचा cash-based final score हा व्यापक परिणाम पकडतो. कंपनीकडे पैसेच उरले नाहीत, तर अल्पकालीन हुशारीचे फारसे महत्त्व राहत नाही.

एका काल्पनिक कंपनीपलीकडे हे निष्कर्ष का महत्त्वाचे आहेत

सर्वात तातडीचा निष्कर्ष असा की सध्याचे AI agents सीमित execution पेक्षा sustained organizational control मध्ये खूपच चांगले दिसतात. याचा अर्थ underlying systems व्यवसायात निरुपयोगी आहेत असे नाही. याचा अर्थ एवढाच की व्यापक अधिकार असलेल्या autonomous decision-makers पेक्षा मानवी नेतृत्वाखालील कामकाजातील साधने म्हणून त्या अधिक विश्वासार्ह ठरू शकतात.

याचा परिणाम कंपन्यांनी agent deployment कसे पाहावे यावर होतो. अंतर्गत operations साठी AI वापरण्याचे प्रयोग करणाऱ्या व्यवसायांमध्ये end-to-end automation विषयी चर्चा होते, पण CEO-Bench सूचित करते की कामे जितकी जास्त काळ चालतात आणि जितकी अधिक गुंतागुंतीची होतात, तितकी autonomy अधिक धोकादायक बनते. agent वेगळी functions चांगली सांभाळू शकतो, तरी त्यांना टिकाऊ strategy मध्ये मांडण्यासाठी लागणारा न्यायबुद्धीचा अभाव असू शकतो.

हा परिणाम विशेषतः लक्षवेधी आहे कारण non-AI heuristic ने जवळपास प्रत्येक model ला मागे टाकले. यावरून अपयश हे केवळ abstract अर्थाने raw intelligence बद्दल नाही, हे सूचित होते. ते stability, discipline, आणि अस्पष्ट वातावरणात स्वतःच्या विरोधात जाणारी पावले टाळण्याच्या क्षमतेबद्दलही असू शकते. काही संदर्भांमध्ये, अतिप्रतिक्रिया देणारी, noise चा पाठलाग करणारी, किंवा resources चा चुकीचा वाटप करणारी अधिक flexible system पेक्षा एक conservative fixed policy चांगली कामगिरी करू शकते.

AI vendors managerial आणि agentic कामांसाठी systems चे marketing करत असताना CEO-Bench सारखे benchmarks अधिक उपयुक्त ठरू शकतात. सध्याच्या evaluations बहुतेकदा task completion ला बक्षीस देतात, पण model कालांतराने value जपू शकते का हे नेहमी दाखवत नाहीत. operations, budgeting, किंवा strategy साठी AI वर विश्वास ठेवायचा की नाही हे ठरवणाऱ्या कंपनीला त्या प्रत्यक्ष प्रश्नाच्या अधिक जवळचे पुरावे लागतात.

CEO-Bench काय सिद्ध करते आणि काय करत नाही

हा बेंचमार्क अजूनही एक simulation आहे, आणि कोणत्याही simulation ला मर्यादा असतात. एक काल्पनिक startup वास्तविक कंपन्या, उद्योग, किंवा नेतृत्व गतिशीलतेची पूर्ण गुंतागुंत पकडू शकत नाही. दिलेल्या सामग्रीत सर्व models ची पूर्ण ranking, सविस्तर methodology notes, किंवा कोणत्या strategy ने success किंवा failure घडवले याचे breakdowns देखील नाहीत. त्यामुळे या निष्कर्षांना AI management वर सार्वत्रिक निर्णय म्हणून अतिशयोक्तीने मांडू नये.

तरीही, पुरावा स्पष्ट दिशेने इशारा करतो. short tasks मधील मजबूत कामगिरी आपोआप दीर्घकालीन steering मधील कौशल्यात रूपांतरित होत नाही. हा gap महत्त्वाचा आहे, कारण सर्वाधिक मूल्याच्या अनेक business निर्णयांचा प्रवास दीर्घ काळात होतो, त्यात अपूर्ण माहिती असते, आणि लहान चुका जमा झाल्यावरच त्यांना शिक्षा होते.

सध्या CEO-Bench हे autonomous AI executive च्या coronation पेक्षा त्या कल्पनेचे stress test अधिक वाटते. सुरुवातीचे निकाल सांगतात की उद्योग अजूनही अशा agents पासून काही अंतरावर आहे जे टिकून राहणाऱ्या अनिश्चिततेत विश्वासार्हपणे कंपनी चालवू शकतील. उलट, हा बेंचमार्क AI साठी अधिक वास्तविक जवळच्या काळातील भूमिका अधोरेखित करतो: नेतृत्वाची जागा घेणे नाही, तर humans priorities, tradeoffs, आणि चुकांचे परिणाम यांवर नियंत्रण ठेवून त्यांना अधिक सक्षम करणे.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.