CEO-Bench यह परखता है कि क्या AI 500 दिनों तक एक स्टार्टअप चला सकता है

CEO-Bench अधिकांश AI मूल्यांकनों से कहीं कठिन सवाल पूछता है

कृत्रिम बुद्धिमत्ता प्रणालियों ने कोडिंग सुधार, ग्राहक-सेवा संवाद और संरचित वेब वर्कफ़्लो जैसे सीमित कार्यों में मजबूत नतीजे दिए हैं। लेकिन ऐसे परीक्षण आमतौर पर कम समय-चक्र में प्रदर्शन मापते हैं: मॉडल को एक स्पष्ट लक्ष्य मिलता है, वह सीमित कार्रवाइयाँ करता है, और उसे जल्दी प्रतिक्रिया मिल जाती है। प्रिंसटन विश्वविद्यालय के शोधकर्ताओं द्वारा वर्णित एक नया बेंचमार्क इससे कहीं कठिन बात की जाँच करता है: क्या कोई AI एजेंट लंबे समय तक कई परस्पर जुड़े व्यावसायिक निर्णय ले सकता है, बिना खुद को विफलता की ओर मोड़े।

CEO-Bench नामक यह बेंचमार्क एक AI एजेंट को NovaMind नाम की एक काल्पनिक सब्सक्रिप्शन सॉफ्टवेयर कंपनी का प्रभारी बनाता है, और उसे 500 सिम्युलेटेड दिनों तक चलाता है। कंपनी की शुरुआत शून्य ग्राहकों और 1 मिलियन डॉलर नकद के साथ होती है। एजेंट को सब्सक्राइबर वृद्धि, रद्दीकरण, सपोर्ट परिणाम, बाज़ार संकेत और बचे हुए नकद जैसे मापदंडों पर नज़र रखते हुए व्यवसाय चलाने के निर्णय लेने होते हैं। अगर कंपनी का बैलेंस एक बार भी शून्य से नीचे चला जाए, तो रन दिवालियापन पर समाप्त हो जाता है।

जो लोग मानते हैं कि मौजूदा फ्रंटियर मॉडल स्वायत्त कार्यपालकों के रूप में काम कर सकते हैं, उनके लिए शीर्षक परिणाम निराशाजनक है। उपलब्ध रिपोर्ट के अनुसार, केवल तीन AI मॉडलों ने पूरा 500-दिवसीय सिमुलेशन शुरू से अधिक नकद के साथ पूरा किया। अधिकांश मॉडल पूंजी बचाने में विफल रहे, और बिना किसी AI क्षमता वाला एक साधारण नियम-आधारित हीयूरिस्टिक लगभग सभी से बेहतर रहा।

यह बेंचमार्क क्या मापना चाहता है

शोधकर्ता CEO-Bench को उस चीज़ की परीक्षा के रूप में प्रस्तुत करते हैं जिसे वे “steering intelligence” कहते हैं: अनिश्चितता के बीच किसी संगठन को दीर्घकालिक लक्ष्यों की ओर निर्देशित करने की क्षमता। यह एक समय में एक कार्य हल करने की क्षमता से अलग है। एक सिम्युलेटेड कंपनी चलाने के लिए भी अधूरे विकल्पों में प्राथमिकता तय करनी पड़ती है, सीमित संसाधनों का आवंटन करना होता है, शोरयुक्त संकेत पढ़ने होते हैं, और सैकड़ों चरणों तक बदलती परिस्थितियों के अनुसार ढलना होता है। कोई गलत निर्णय हमेशा तुरंत विफल नहीं करता। इसके बजाय, समस्याएँ धीरे-धीरे जमा हो सकती हैं, जब तक कि व्यवसाय अव्यवहार्य न हो जाए।

यह अंतर इसलिए मायने रखता है क्योंकि हाल के समय में AI एजेंटों पर सार्वजनिक चर्चा का बड़ा हिस्सा उनकी सीमित कार्यों में बढ़ती दक्षता पर केंद्रित रहा है। जो एजेंट कोड लिख सकता है, डेटाबेस क्वेरी कर सकता है, या सोशल पोस्ट ड्राफ्ट कर सकता है, वह फिर भी यह तय करने में संघर्ष कर सकता है कि इनमें से कौन-सी क्रियाएँ सबसे महत्वपूर्ण हैं, पैसा कब खर्च करना है, वृद्धि को कितनी आक्रामकता से追求 करना है, या कब संयम बेहतर रणनीति है। CEO-Bench इसी अंतर को उजागर करने के लिए बनाया गया है।

शोधकर्ता इस व्यापक विचार को एक प्रसिद्ध मानवीय उदाहरण से समझाते हैं: 1997 में Apple का लगभग संकट, जब Steve Jobs ने कंपनी के उत्पाद फोकस को चार मुख्य वर्गों में सरल किया। चाहे कोई इस कहानी को व्यावसायिक नेतृत्व का पूरा मॉडल माने या नहीं, यह तुलना दिखाती है कि बेंचमार्क किस चीज़ को परख रहा है। रणनीतिक निर्णय केवल निष्पादन नहीं है। यह तय करना भी है कि क्या नहीं करना है, और इतना पहले करना है कि उन विकल्पों का प्रभाव पड़े।

सिमुलेशन के भीतर NovaMind कैसे चलाया जाता है

CEO-Bench में AI केवल छोटे से तयशुदा विकल्पों के मेनू से चयन नहीं करता। वह 34 टूल्स और 19 टेबल वाले डेटाबेस तक पहुँच के साथ एक Python API के माध्यम से काम करता है। एजेंट अपना कोड लिख सकता है, SQL क्वेरी चला सकता है, व्यावसायिक जानकारी देख सकता है, प्रबंधन-शैली के टूल्स से इंटरैक्ट कर सकता है, और जो कुछ वह सीखता है उससे कस्टम वर्कफ़्लो बना सकता है। इसलिए यह सिमुलेशन एक अधिक यथार्थवादी परिचालन वातावरण जैसा दिखने की कोशिश करता है, न कि बहुविकल्पीय प्रश्नोत्तरी जैसा जिसमें उत्तर साफ़-साफ़ दिखते हों।

यह सेटअप महत्वपूर्ण है, क्योंकि लंबे क्षितिज वाले प्रबंधन की समस्याएँ शायद ही कभी एक ही कदम से हल होती हैं। किसी मॉडल को ग्राहक डेटा को परिचालन संकेतों के साथ जोड़ना पड़ सकता है, नई जानकारी आने पर प्राथमिकताएँ बदलनी पड़ सकती हैं, या व्यवसायिक प्रभाव दिखाई देने से पहले कई कार्रवाइयों का समन्वय करना पड़ सकता है। एजेंट को ऐसे कारोबारी संदर्भ में भी काम करना होता है जहाँ बाज़ार चक्र, सपोर्ट टिकट, सब्सक्राइबर रुझान और नकदी प्रवाह एक-दूसरे को प्रभावित करते हैं।

व्यावहारिक रूप से, इसका मतलब है कि एक मॉडल स्थानीय स्तर पर सक्षम दिख सकता है, फिर भी वैश्विक स्तर पर विफल हो सकता है। वह किसी दृश्य उप-समस्या को अनुकूलित कर सकता है, जैसे गतिविधि बढ़ाना या किसी विशेष बैकलॉग को घटाना, लेकिन ऐसे समझौते कर सकता है जो कंपनी की समग्र स्थिति को कमजोर कर दें। बेंचमार्क का नकदी-आधारित अंतिम स्कोर इसी व्यापक परिणाम को पकड़ता है। यदि कंपनी का पैसा खत्म हो जाए, तो अल्पकालिक चतुराई बहुत मायने नहीं रखती।

ये निष्कर्ष एक काल्पनिक कंपनी से आगे क्यों मायने रखते हैं

सबसे तात्कालिक निष्कर्ष यह है कि मौजूदा AI एजेंट सीमित निष्पादन की तुलना में निरंतर संगठनात्मक नियंत्रण में काफी बेहतर नहीं हैं। इसका यह अर्थ नहीं कि अंतर्निहित प्रणालियाँ व्यावसायिक सेटिंग्स में बेकार हैं। इसका अर्थ है कि वे व्यापक अधिकार वाले स्वायत्त निर्णयकर्ताओं की तुलना में मानव-नेतृत्व वाले संचालन के भीतर उपकरणों के रूप में अधिक भरोसेमंद हो सकती हैं।

इसका असर इस बात पर पड़ता है कि कंपनियाँ एजेंट डिप्लॉयमेंट के बारे में कैसे सोचें। आंतरिक संचालन के लिए AI पर प्रयोग करने वाली कंपनियाँ अक्सर एंड-टू-एंड ऑटोमेशन की बात करती हैं, लेकिन CEO-Bench बताता है कि कार्यों की अवधि बढ़ने और उनके अधिक परस्पर जुड़ने के साथ स्वायत्तता कहीं अधिक जोखिमपूर्ण हो जाती है। एक एजेंट अलग-अलग कार्यों को अच्छी तरह संभाल सकता है, लेकिन फिर भी उन्हें टिकाऊ रणनीति में पिरोने के लिए आवश्यक विवेक में कमी हो सकती है।

यह परिणाम इसलिए भी उल्लेखनीय है क्योंकि एक गैर-AI हीयूरिस्टिक ने लगभग हर मॉडल को पछाड़ दिया। यह बताता है कि विफलता केवल अमूर्त रूप से कच्ची बुद्धिमत्ता के बारे में नहीं है। यह स्थिरता, अनुशासन, और अस्पष्ट वातावरण में आत्म-पराजयी कदमों से बचने की क्षमता के बारे में भी हो सकती है। कुछ संदर्भों में, एक सतर्क स्थिर नीति अधिक लचीली प्रणाली से बेहतर प्रदर्शन कर सकती है जो जरूरत से ज़्यादा प्रतिक्रिया देती है, शोर के पीछे भागती है, या संसाधनों का गलत आवंटन करती है।

जैसे-जैसे AI विक्रेता प्रबंधन और एजेंटिक कार्यों के लिए प्रणालियों का विपणन करेंगे, CEO-Bench जैसे बेंचमार्क और उपयोगी हो सकते हैं। मौजूदा मूल्यांकन अक्सर कार्य पूर्णता को पुरस्कृत करते हैं, लेकिन वे हमेशा यह नहीं दिखाते कि कोई मॉडल समय के साथ मूल्य को बनाए रख सकता है या नहीं। जो कंपनी संचालन, बजटिंग, या रणनीति के लिए AI पर भरोसा करने पर विचार कर रही है, उसे इस वास्तविक दुनिया के सवाल के क़रीब साक्ष्य चाहिए।

CEO-Bench क्या साबित करता है और क्या नहीं

यह बेंचमार्क अभी भी एक सिमुलेशन है, और हर सिमुलेशन की सीमाएँ होती हैं। एक काल्पनिक स्टार्टअप वास्तविक कंपनियों, उद्योगों, या नेतृत्व गतिशीलताओं की पूरी जटिलता को नहीं पकड़ सकता। उपलब्ध सामग्री में सभी मॉडलों की पूरी रैंकिंग, विस्तृत कार्यप्रणाली नोट्स, या सफल और असफल रणनीतियों के विभाजन भी नहीं दिए गए हैं। इसलिए निष्कर्षों को AI प्रबंधन पर सार्वभौमिक फ़ैसले के रूप में नहीं बढ़ा-चढ़ाकर नहीं देखना चाहिए।

फिर भी, प्रमाण एक स्पष्ट दिशा दिखाते हैं। छोटे कार्यों में मजबूत प्रदर्शन अपने आप लंबे समय के steering में दक्षता में नहीं बदलता। यह अंतर महत्वपूर्ण है क्योंकि सबसे उच्च-मूल्य वाले व्यावसायिक निर्णयों में भी अक्सर वही शामिल होते हैं जो लंबे समय में घटित होते हैं, अधूरी जानकारी से निपटते हैं, और छोटी गलतियों को केवल उनके जमा होने के बाद दंडित करते हैं।

फिलहाल, CEO-Bench स्वायत्त AI कार्यकारी की ताजपोशी से अधिक उस विचार का एक stress test लगता है। शुरुआती नतीजे संकेत देते हैं कि उद्योग अभी भी ऐसे एजेंटों से काफी दूर है जो लगातार अनिश्चितता के बीच भरोसेमंद ढंग से कंपनी चला सकें। यदि कुछ है, तो यह बेंचमार्क AI की एक अधिक यथार्थवादी निकट-अवधि भूमिका को उजागर करता है: नेतृत्व को बदलना नहीं, बल्कि उसे बढ़ाना, जबकि प्राथमिकताओं, समझौतों और गलत होने के परिणामों पर मनुष्यों का नियंत्रण बना रहे।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.