CEO-Bench, AI 500 நாட்கள் ஒரு ஸ்டார்ட்அப்பை நடத்த முடியுமா என்பதை சோதிக்கிறது

CEO-Bench, பெரும்பாலான AI மதிப்பீடுகளை விட கடினமான ஒரு கேள்வியை எழுப்புகிறது

செயற்கை நுண்ணறிவு அமைப்புகள், code திருத்தங்கள், customer-service exchanges, மற்றும் structured web workflows போன்ற குறுகிய வரம்புள்ள பணிகளில் வலுவான முடிவுகளைப் பெற்றுள்ளன. ஆனால் அந்தச் சோதனைகள் பொதுவாக குறுகிய சுழற்சிகளில் செயல்திறனை அளக்கின்றன: modelக்கு ஒரு தெளிவான இலக்கு கிடைக்கிறது, அது வரையறுக்கப்பட்ட சில செயல்களை செய்கிறது, மற்றும் விரைவில் feedback பெறுகிறது. பிரின்ஸ்டன் பல்கலைக்கழக ஆராய்ச்சியாளர்கள் விவரித்த ஒரு புதிய benchmark, இதைவிட மிகவும் கடினமான ஒன்றை நோக்குகிறது: ஒரு AI agent, தன்னைத் தானே தோல்வியில்க்குத் தள்ளாமல், நீண்ட காலத்தில் பல ஒன்றோடொன்று தொடர்புடைய வணிக முடிவுகளை எடுக்க முடியுமா என்பதை.

CEO-Bench எனப்படும் இந்த benchmark, NovaMind என்ற ஒரு கற்பனை subscription software நிறுவனத்தின் பொறுப்பை ஒரு AI agentக்கு 500 simulated நாட்களுக்கு அளிக்கிறது. நிறுவனம் zero customers மற்றும் $1 million cash உடன் தொடங்குகிறது. subscriber growth, cancellations, support outcomes, market signals, மற்றும் மீதமுள்ள cash போன்ற metrics-ஐ கவனித்தபடி வணிகத்தை எப்படி நடத்துவது என்பதை agent தீர்மானிக்க வேண்டும். company balance ஒருமுறையாவது zeroக்கு கீழே சென்றால், run bankruptcyயில் முடிவடைகிறது.

தற்போதைய frontier models தன்னாட்சி நிர்வாகிகள் போலவும் செயல்படலாம் என எதிர்பார்ப்பவர்களுக்கு தலைப்பு முடிவு மனவருத்தம் தருகிறது. வழங்கப்பட்ட அறிக்கையின்படி, முழு 500-day simulation-ஐ ஆரம்பித்த பணத்தைவிட அதிக cash உடன் முடித்தது மூன்று AI models மட்டுமே. பெரும்பாலான models capital-ஐ காக்கத் தவறின, மேலும் AI திறன் இல்லாத ஒரு எளிய rule-based heuristic, அவற்றில் பெரும்பாலனவற்றை மிஞ்சியது.

இந்த benchmark என்னை அளவிட முயலுகிறது

ஆராய்ச்சியாளர்கள் CEO-Bench-ஐ “steering intelligence” என்று அவர்கள் அழைக்கும் ஒன்றின் சோதனையாக அமைக்கிறார்கள்: uncertainty-ன் நடுவே ஒரு அமைப்பை நீண்டகால இலக்குகளுக்குத் திசைதிருப்பும் திறன். இது ஒரு நேரத்தில் ஒரு task-ஐ தீர்ப்பதிலிருந்து வேறு ஒரு திறன். ஒரு simulated company-ஐ நடத்துவதற்கே incomplete options-களுக்குள் முன்னுரிமை நிர்ணயித்தல், scarce resources-ஐ ஒதுக்குதல், noisy signals-ஐ வாசித்தல், மற்றும் நூற்றுக்கணக்கான படிகளில் மாறும் சூழலுக்கு ஏற்ப மாற்றம் கொள்ளுதல் தேவைப்படுகிறது. ஒரு தவறான தேர்வு எப்போதும் உடனே தோல்வியடையாது. அதற்குப் பதிலாக, பிரச்சினைகள் மெதுவாக சேர்ந்து, ஒரு business-ஐ செயலிழக்கச் செய்ய முடியும்.

இந்த வேறுபாடு முக்கியமானது, ஏனெனில் சமீபத்திய public discussion-இன் பெரும்பகுதி AI agents-ன் குறுகிய பணிகளிலான வளர்ந்த திறனில் கவனம் செலுத்தியுள்ளது. code எழுதக்கூடிய, database-ஐ query செய்யக்கூடிய, அல்லது social posts draft செய்யக்கூடிய ஒரு agent, இவற்றில் எவை மிக முக்கியம், எப்போது பணம் செலவழிக்க வேண்டும், growth-ஐ எவ்வளவு தீவிரமாக pursue செய்ய வேண்டும், அல்லது எப்போது restraint சிறந்த strategy என்பதைக் கணிப்பதில் இன்னும் சிரமப்படலாம். CEO-Bench அந்த gap-ஐ வெளிப்படுத்த வடிவமைக்கப்பட்டுள்ளது.

ஆராய்ச்சியாளர்கள் இந்தப் பெரிய கருத்தை ஒரு பிரபலமான மனித உதாரணத்துடன் விளக்குகிறார்கள்: 1997இல் Apple சந்தித்த நெருக்கடி, அப்போது Steve Jobs நிறுவத்தின் product focus-ஐ நான்கு core quadrants-ஆக எளிமைப்படுத்தினார். அந்தக் கதை business leadership-க்கு முழுமையான model என்று ஒருவர் ஏற்றுக்கொண்டாலும் இல்லாவிட்டாலும், அந்த ஒப்பீடு benchmark எதைப் பார்க்கிறது என்பதை காட்டுகிறது. Strategic judgment என்பது execution மட்டுமல்ல. என்ன செய்யக்கூடாது என்பதைத் தேர்ந்தெடுப்பதும், அந்தத் தேர்வுகள் முக்கியத்துவம் பெறும் அளவுக்கு முன்பே அதைச் செய்வதும்கூட ஆகும்.

Simulation-இல் NovaMind எப்படி இயக்கப்படுகிறது

CEO-Bench-இல் AI, ஒரு சிறிய canned decisions பட்டியலிலிருந்து simply தேர்வு செய்வதில்லை. அது 34 tools கொண்ட Python API மூலம், மற்றும் 19 tables உள்ள database-க்கு அணுகலுடன் செயல்படுகிறது. agent தனக்கென code எழுதலாம், SQL queries இயக்கலாம், business information-ஐ ஆய்வு செய்யலாம், management-style tools-உடன் தொடர்பு கொள்ளலாம், மற்றும் கற்றதிலிருந்து custom workflows உருவாக்கலாம். ஆகவே, இந்த simulation, வெளிப்படையான answer choices உள்ள ஒரு quiz-ஐ விட, அதிகமான real-world operational environment-ஐ ஒத்திருக்க முயல்கிறது.

இந்த அமைப்பு முக்கியமானது, ஏனெனில் long-horizon management பிரச்சினைகள் அரிதாகவே ஒரே நகர்வில் தீர்க்கப்படுகின்றன. ஒரு model customer data-ஐ operational signals-உடன் சேர்க்க வேண்டியிருக்கும், புதிய தகவல் வந்தபோது priorities-ஐ மாற்ற வேண்டியிருக்கும், அல்லது business effect வெளிப்படுவதற்கு முன் பல actions-ஐ ஒருங்கிணைக்க வேண்டியிருக்கும். market cycles, support tickets, subscriber trends, மற்றும் cash flow அனைத்தும் ஒன்றோடொன்று தாக்கம் செலுத்தும் business context-ஐயும் agent வழிநடத்த வேண்டும்.

நடைமுறை ரீதியில், ஒரு model உள்ளூரில் திறமையாகத் தோன்றினாலும் உலகளவில் தோல்வியடையலாம். அது activity உருவாக்குவது அல்லது ஒரு குறிப்பிட்ட backlog-ஐ குறைப்பது போன்ற visible subproblem-ஐ optimize செய்யலாம், ஆனால் company-யின் overall நிலையை பலவீனப்படுத்தும் tradeoffs-ஐ செய்யலாம். benchmark-ன் cash-based final score அந்தப் பெரிய முடிவை பிடிக்கிறது. company பணம் தீர்ந்து விட்டால், short-term cleverness அதிகம் உதவாது.

ஒரு கற்பனை நிறுவனத்தைத் தாண்டி இந்த கண்டறிதல்கள் ஏன் முக்கியம்

மிக உடனடியான takeaway என்னவென்றால், தற்போதைய AI agents, narrow execution-ஐ விட sustained organizational control-இல் குறிப்பிடத்தக்க அளவில் சிறப்பாக இருக்கின்றனர். அதனால் underlying systems வணிக சூழல்களில் பயனற்றவை என்று அர்த்தமல்ல. broad authority கொண்ட autonomous decision-makers ஆக இருப்பதை விட, human-led operation-களுக்குள் உள்ள tools ஆக அவை அதிக நம்பகமானவை என இது குறிக்கிறது.

இது நிறுவனங்கள் agent deployment-ஐ எப்படிச் சிந்திக்க வேண்டும் என்பதிலும் தாக்கம் செலுத்துகிறது. internal operations-க்காக AI-ஐ பயன்படுத்திப் பார்க்கும் businesses பெரும்பாலும் end-to-end automation பற்றி பேசுகின்றன, ஆனால் CEO-Bench, tasks நீளமாகவும் அதிகமாக entangled ஆகவும் மாறும்போது autonomy மிக ஆபத்தானதாகிறது என்று சுட்டிக்காட்டுகிறது. ஒரு agent தனித்த functions-ஐ நன்றாக கையாளலாம், ஆனால் அவற்றை ஒரு durable strategy-ஆக வரிசைப்படுத்த வேண்டிய judgment அதற்கு இல்லாமல் இருக்கலாம்.

இந்த முடிவு குறிப்பாக கவனிக்கத்தக்கது, ஏனெனில் ஒரு non-AI heuristic கிட்டத்தட்ட ஒவ்வொரு model-ஐயும் மிஞ்சியது. இதனால் தோல்வி என்பது abstract வகையில் raw intelligence பற்றிய ஒன்றே அல்ல என்பதைக் காட்டுகிறது. அது stability, discipline, மற்றும் தெளிவில்லாத சூழல்களில் self-defeating moves-ஐத் தவிர்க்கும் திறன் பற்றியும் இருக்கலாம். சில contexts-இல், conservative fixed policy, overreact ஆகும், noise-ஐத் துரத்தும், அல்லது resources-ஐத் தவறாக ஒதுக்கும் ஒரு அதிக flexible system-ஐ விட மேம்பட்டதாக இருக்கலாம்.

AI vendors managerial மற்றும் agentic work-க்கு systems-ஐ market செய்யும் நிலையில், CEO-Bench போன்ற benchmarks மேலும் பயனுள்ளதாக மாறலாம். தற்போதைய evaluations பெரும்பாலும் task completion-ஐப் பாராட்டுகின்றன, ஆனால் ஒரு model காலப்போக்கில் value-ஐ காக்க முடியுமா என்பதை அவை எப்போதும் வெளிப்படுத்தாது. operations, budgeting, அல்லது strategyக்காக AI-ஐ நம்ப வேண்டுமா என்று தீர்மானிக்கும் ஒரு company, அந்த உண்மை உலகக் கேள்விக்குத் தொடுப்பான ஆதாரங்களை வேண்டும்.

CEO-Bench எதை நிரூபிக்கிறது, எதை நிரூபிப்பதில்லை

இந்த benchmark இன்னும் ஒரு simulation ஆகும், மற்றும் எந்த simulation-க்கும் வரம்புகள் உள்ளன. ஒரு கற்பனை startup, நிஜ நிறுவனங்கள், தொழில்கள், அல்லது leadership dynamics-ன் முழு சிக்கல்களையும் பிரதிபலிக்க முடியாது. வழங்கப்பட்ட பொருட்கள் அனைத்து models-ன் முழு ranking-ஐ, விரிவான methodology குறிப்புகளை, அல்லது எந்த strategy வெற்றிக்கோ தோல்விக்கோ வழிவகுத்தது என்பதற்கான breakdown-களையும் வழங்கவில்லை. ஆகவே இந்த கண்டறிதல்களை AI management குறித்து ஒரு universal verdict-ஆக மிகைப்படுத்தக் கூடாது.

எனினும், evidence ஒரு தெளிவான திசையைச் சுட்டிக்காட்டுகிறது. short tasks-இல் கிடைக்கும் வலுவான செயல்திறன், long-term steering-இல் திறனாக தானாக மாறாது. அந்த gap முக்கியமானது, ஏனெனில் மிக உயர்ந்த மதிப்பு கொண்ட பல business முடிவுகள் நீண்ட காலத்திலேயே நடைபெறுகின்றன, incomplete information-ஐ கொண்டிருக்கின்றன, மேலும் சிறிய தவறுகள் சேர்ந்து பெருகிய பிறகே தண்டிக்கின்றன.

இப்போது CEO-Bench, autonomous AI executive-க்கு coronation அளிப்பதைக் காட்டிலும் அந்தக் கருத்தின் ஒரு stress test போலத் தெரிகிறது. தொடக்க முடிவுகள், sustained uncertainty-ன் நடுவில் நம்பகமாக ஒரு company-ஐ நடத்தக்கூடிய agents-இலிருந்து industry இன்னும் சில தூரத்தில் இருப்பதாகக் காட்டுகின்றன. அதேசமயம், இந்த benchmark AI-க்கு ஒரு அதிக அடிப்படை கொண்ட near-term role-ஐ வெளிச்சமிடுகிறது: leadership-ஐ மாற்றுவது அல்ல, மனிதர்கள் priorities, tradeoffs, மற்றும் தவறு ஏற்பட்டால் அதன் விளைவுகள் மீது கட்டுப்பாட்டை வைத்திருக்கும்போது அதை augment செய்வது.

இந்தக் கட்டுரை The Decoder-ன் செய்தியறிக்கையை அடிப்படையாகக் கொண்டது. மூலக் கட்டுரையைப் படிக்கவும்.