CEO-Bench পরীক্ষা করে AI কি 500 দিন একটি স্টার্টআপ চালাতে পারে

CEO-Bench বেশিরভাগ AI মূল্যায়নের চেয়ে কঠিন প্রশ্ন করে

কৃত্রিম বুদ্ধিমত্তা ব্যবস্থা কোডিং সংশোধন, গ্রাহক-সেবা বিনিময়, এবং কাঠামোবদ্ধ ওয়েব ওয়ার্কফ্লোয়ের মতো সীমিত-পরিসরের কাজে শক্তিশালী ফল দেখিয়েছে। কিন্তু এসব পরীক্ষা সাধারণত ছোট চক্রে কর্মক্ষমতা মাপে: মডেলকে একটি স্পষ্ট লক্ষ্য দেওয়া হয়, সে সীমিত কিছু পদক্ষেপ নেয়, এবং দ্রুত প্রতিক্রিয়া পায়। প্রিন্সটন বিশ্ববিদ্যালয়ের গবেষকদের বর্ণিত একটি নতুন বেঞ্চমার্ক এর চেয়ে অনেক কঠিন কিছুকে লক্ষ্য করেছে: একটি AI এজেন্ট কি বহু আন্তঃসংযুক্ত ব্যবসায়িক সিদ্ধান্ত দীর্ঘ সময় ধরে নিতে পারে, নিজেকে ব্যর্থতার দিকে ঠেলে না দিয়ে।

CEO-Bench নামের এই বেঞ্চমার্কে NovaMind নামে একটি কাল্পনিক subscription software কোম্পানির দায়িত্ব একটি AI এজেন্টকে 500 simulated দিনের জন্য দেওয়া হয়। কোম্পানিটি শূন্য গ্রাহক এবং $1 million নগদ নিয়ে শুরু করে। subscriber growth, cancellations, support outcomes, market signals, এবং অবশিষ্ট cash-এর মতো সূচক দেখে এজেন্টকে ব্যবসা চালানোর সিদ্ধান্ত নিতে হয়। যদি কোম্পানির balance একবারও শূন্যের নিচে নেমে যায়, তাহলে রান bankruptcy-তে শেষ হয়।

শিরোনাম-স্তরের ফলাফল তাদের জন্য হতাশাজনক, যারা আশা করেন বর্তমান frontier models স্বায়ত্তশাসিত নির্বাহীর কাজও করতে পারবে। সরবরাহকৃত প্রতিবেদনের মতে, মাত্র তিনটি AI model পুরো 500-day simulation শেষ করতে পেরেছে এবং শুরুতে থাকা অর্থের চেয়ে বেশি cash নিয়ে শেষ করেছে। বেশিরভাগ model capital ধরে রাখতে ব্যর্থ হয়েছে, এবং AI-ক্ষমতাহীন একটি সহজ rule-based heuristic প্রায় সবার চেয়ে ভালো করেছে।

বেঞ্চমার্কটি কী মাপতে চায়

গবেষকেরা CEO-Bench-কে তারা “steering intelligence” বলেন এমন কিছুর একটি পরীক্ষা হিসেবে দেখেন: অনিশ্চয়তার মধ্যে একটি প্রতিষ্ঠানকে দীর্ঘমেয়াদি লক্ষ্যের দিকে পরিচালনা করার ক্ষমতা। এটি একবারে একটি কাজ সমাধানের ক্ষমতা থেকে আলাদা। একটি simulated company চালাতে হলেও অসম্পূর্ণ বিকল্পের মধ্যে অগ্রাধিকার নির্ধারণ, দুষ্প্রাপ্য সম্পদ বণ্টন, noisy signals পড়া, এবং শত শত ধাপে পরিবর্তিত অবস্থার সঙ্গে মানিয়ে নেওয়া দরকার। একটি ভুল সিদ্ধান্ত সবসময় সঙ্গে সঙ্গে ব্যর্থ করে না। বরং সমস্যাগুলি ধীরে ধীরে জমে গিয়ে একটি ব্যবসাকে অকার্যকর করে তুলতে পারে।

এই পার্থক্য গুরুত্বপূর্ণ, কারণ সাম্প্রতিক জনপরিসরের আলোচনার বড় অংশ AI agents-এর সীমিত কাজের ক্ষেত্রে বাড়তে থাকা দক্ষতার ওপর কেন্দ্রীভূত হয়েছে। যে agent code লিখতে পারে, database query করতে পারে, বা social posts-এর খসড়া তৈরি করতে পারে, সেটিও কোন কাজগুলো সবচেয়ে গুরুত্বপূর্ণ, কখন টাকা খরচ করা উচিত, কতটা আক্রমণাত্মকভাবে growth-এ এগোনো উচিত, বা কখন সংযমই ভালো কৌশল তা নির্ধারণ করতে হিমশিম খেতে পারে। CEO-Bench এই gap-টি প্রকাশ করার জন্য তৈরি।

গবেষকেরা বৃহত্তর ধারণাটি বোঝাতে একটি বিখ্যাত মানব উদাহরণ দেন: 1997 সালে Apple-এর প্রায়-সংকট, যখন Steve Jobs কোম্পানির product focus-কে চারটি core quadrant-এ সরলীকৃত করেছিলেন। এই গল্পকে ব্যবসায়িক নেতৃত্বের সম্পূর্ণ মডেল হিসেবে কেউ মানুক বা না মানুক, তুলনাটি দেখায় বেঞ্চমার্ক কী খুঁজছে। কৌশলগত বিচার শুধু execution নয়। এটি কী না করা উচিত তা বেছে নেওয়া, এবং তা এমন সময়ে করা যাতে সেই সিদ্ধান্তগুলোর প্রভাব পড়তে পারে।

সিমুলেশনের মধ্যে NovaMind কীভাবে পরিচালিত হয়

CEO-Bench-এ AI শুধু ছোট canned সিদ্ধান্তের তালিকা থেকে বেছে নেয় না। এটি 34 tools-সহ একটি Python API এবং 19 tables-সহ একটি database-এ প্রবেশাধিকার নিয়ে কাজ করে। agent নিজের code লিখতে পারে, SQL queries চালাতে পারে, business information পর্যালোচনা করতে পারে, management-style tools-এর সঙ্গে interact করতে পারে, এবং যা শিখে তা থেকে custom workflows তৈরি করতে পারে। তাই এই simulationটি স্পষ্ট উত্তরসহ একটি কুইজের বদলে আরও বাস্তবসম্মত operational environment অনুকরণ করার চেষ্টা করে।

এই সেটআপটি গুরুত্বপূর্ণ, কারণ দীর্ঘ-দিগন্তের management সমস্যাগুলি খুব কমই একটি চাল দিয়ে সমাধান হয়। একটি model-কে customer data-কে operational signals-এর সঙ্গে একত্র করতে হতে পারে, নতুন তথ্য এলে priorities বদলাতে হতে পারে, অথবা কোনো business effect দৃশ্যমান হওয়ার আগে একাধিক action সমন্বয় করতে হতে পারে। agent-কে এমন একটি business context-এও চলতে হয় যেখানে market cycles, support tickets, subscriber trends, এবং cash flow একে অপরকে প্রভাবিত করে।

বাস্তবভাবে এর মানে, একটি model স্থানীয়ভাবে দক্ষ দেখালেও সামগ্রিকভাবে ব্যর্থ হতে পারে। এটি activity তৈরি করা বা একটি নির্দিষ্ট backlog কমানোর মতো একটি দৃশ্যমান subproblem optimize করতে পারে, কিন্তু এমন tradeoff করতে পারে যা কোম্পানির সামগ্রিক অবস্থান দুর্বল করে। বেঞ্চমার্কের cash-based final score এই বৃহত্তর ফলাফলটি ধরতে চায়। কোম্পানির টাকা শেষ হয়ে গেলে, স্বল্পমেয়াদি চতুরতার মূল্য কম।

একটি কাল্পনিক কোম্পানির বাইরেও এই ফলাফল কেন গুরুত্বপূর্ণ

সবচেয়ে তাৎক্ষণিক takeaway হলো, বর্তমান AI agents সংকীর্ণ execution-এর তুলনায় sustained organizational control-এ অনেক বেশি ভালো বলে মনে হচ্ছে। এর মানে এই নয় যে underlying systems ব্যবসায়িক প্রেক্ষাপটে অপ্রয়োজনীয়। এর মানে তারা broad authority-সহ autonomous decision-maker হওয়ার চেয়ে human-led operation-এর ভেতরে tool হিসেবে বেশি নির্ভরযোগ্য হতে পারে।

এটি কোম্পানিগুলো agent deployment কীভাবে দেখবে তাতেও প্রভাব ফেলে। অভ্যন্তরীণ operations-এর জন্য AI নিয়ে পরীক্ষা করা ব্যবসাগুলো প্রায়ই end-to-end automation-এর কথা বলে, কিন্তু CEO-Bench ইঙ্গিত দেয় যে task যত দীর্ঘ হয় এবং যত বেশি entangled হয়, autonomy তত বেশি ঝুঁকিপূর্ণ হয়ে ওঠে। একটি agent বিচ্ছিন্ন functions ভালোভাবে সামলাতে পারে, কিন্তু সেগুলোকে durable strategy-তে সাজাতে যে judgment দরকার, তা নাও থাকতে পারে।

এই ফলাফল আরও উল্লেখযোগ্য, কারণ একটি non-AI heuristic প্রায় সব model-কে ছাড়িয়ে গেছে। এটি ইঙ্গিত করে যে ব্যর্থতা কেবল বিমূর্ত অর্থে raw intelligence-এর বিষয় নয়। এটি stability, discipline, এবং অস্পষ্ট পরিবেশে self-defeating move এড়ানোর ক্ষমতার বিষয়ও হতে পারে। কিছু পরিস্থিতিতে একটি conservative fixed policy এমন আরও flexible system-এর চেয়ে ভালো করতে পারে, যা অতিরিক্ত প্রতিক্রিয়া দেখায়, noise-এর পিছনে ছুটে, বা resources ভুলভাবে বণ্টন করে।

AI vendor-রা managerial এবং agentic কাজের জন্য systems বিপণন করার সঙ্গে সঙ্গে CEO-Bench-এর মতো benchmarks আরও উপকারী হতে পারে। বর্তমান evaluations প্রায়ই task completion-কে পুরস্কৃত করে, কিন্তু সবসময় দেখায় না যে একটি model সময়ের সঙ্গে value বজায় রাখতে পারে কি না। operations, budgeting, বা strategy-এর জন্য AI-কে বিশ্বাস করবে কি না, তা নির্ধারণকারী একটি কোম্পানির এমন প্রমাণ দরকার যা বাস্তব প্রশ্নটির আরও কাছাকাছি।

CEO-Bench কী প্রমাণ করে এবং কী করে না

বেঞ্চমার্কটি এখনও একটি simulation, এবং যেকোনো simulation-এর সীমা থাকে। একটি কাল্পনিক startup বাস্তব কোম্পানি, শিল্প, বা নেতৃত্বের গতিশীলতার সম্পূর্ণ জটিলতা ধরতে পারে না। সরবরাহকৃত উপকরণে সব model-এর সম্পূর্ণ ranking, বিস্তারিত methodology note, বা কোন কৌশল success কিংবা failure-এর দিকে নিয়ে গেছে তার ভাঙনও নেই। তাই এই findings-কে AI management নিয়ে সর্বজনীন রায় হিসেবে অতিরঞ্জিত করা উচিত নয়।

তবু evidence একটি স্পষ্ট দিক নির্দেশ করে। স্বল্পমেয়াদি কাজে ভালো পারফরম্যান্স স্বয়ংক্রিয়ভাবে দীর্ঘমেয়াদি steering-এ দক্ষতায় রূপ নেয় না। এই gap গুরুত্বপূর্ণ, কারণ সবচেয়ে বেশি মূল্যবান business সিদ্ধান্তগুলোর অনেকগুলোই দীর্ঘ সময় ধরে ঘটে, অসম্পূর্ণ তথ্য জড়িত থাকে, এবং ছোট ভুল একত্র হয়ে গেলে তবেই সেগুলোকে শাস্তি দেয়।

এখনের জন্য CEO-Bench autonomous AI executive-এর রাজ্যাভিষেকের চেয়ে ধারণাটির একটি stress test-এর মতো দেখাচ্ছে। প্রাথমিক ফলাফল ইঙ্গিত করে যে শিল্প এখনও এমন agent থেকে কিছুটা দূরে, যারা দীর্ঘস্থায়ী অনিশ্চয়তার মধ্যে নির্ভরযোগ্যভাবে একটি কোম্পানি চালাতে পারে। বরং, এই বেঞ্চমার্ক AI-এর জন্য একটি আরও বাস্তবসম্মত স্বল্পমেয়াদি ভূমিকা দেখায়: নেতৃত্বের বদলি নয়, বরং তার সহায়ক, যেখানে priorities, tradeoffs, এবং ভুলের ফলাফল নিয়ে নিয়ন্ত্রণ মানুষের হাতে থাকে।

এই নিবন্ধটি The Decoder-এর প্রতিবেদনের ভিত্তিতে লেখা। মূল নিবন্ধটি পড়ুন.