METR का नया लागत मापदंड देखता है कि AI एजेंट कब सौदा नहीं रह जाते

एक नया बेंचमार्क AI से कठिन सवाल पूछता है: क्या एजेंट मदद कर सकते हैं, यह नहीं, बल्कि वे कब फायदेमंद हैं?

जैसे-जैसे AI प्रणालियाँ बेहतर हो रही हैं, सबसे महत्वपूर्ण व्यावहारिक सवाल यह कम हो रहा है कि वे कोई काम कर भी सकती हैं या नहीं, और अधिक यह कि क्या वे लोगों की तुलना में उसे कम कुल लागत पर कर सकती हैं। उन्नत AI प्रणालियों के मूल्यांकन पर केंद्रित शोध संगठन METR ने इस सवाल को सीधे संबोधित करने के लिए एक नया मापदंड प्रस्तावित किया है। इसे “expenditure horizon” कहा गया है, और इसका आधार सरल है: देखना कि AI प्रणाली और मानव दोनों को समान स्तर के सुधार के लिए कितना खर्च करना पड़ता है, फिर वह बिंदु पहचानना जहाँ उनकी लागत बराबर हो जाती है।

यह विचार महत्वपूर्ण है क्योंकि कई सामान्य AI बेंचमार्क प्रदर्शन को केवल सफलता या विफलता के रूप में समेट देते हैं। ऐसे परीक्षण दिखा सकते हैं कि कोई मॉडल किसी समस्या को हल कर पाया या नहीं, लेकिन वे अक्सर वहाँ तक पहुँचने की आर्थिक लागत के बारे में बहुत कम बताते हैं। कंपनियों, प्रयोगशालाओं और नीति-निर्माताओं के लिए यह कमी अब अनदेखी करना कठिन होती जा रही है।

Expenditure horizon कैसे काम करता है

स्रोत सामग्री के अनुसार, METR का ढाँचा मानव श्रम लागत, AI प्रणालियों को चलाने की लागत, और प्रयोगों में उपयोग किए गए compute को एक ही तुलना में रखता है। परिणाम एक द्विआधारी स्कोर के बजाय मूल्य का अधिक सतत माप बनता है। यदि AI के लिए आवश्यक बजट, उसी सुधार के लिए किसी व्यक्ति के बजट से कम है, तो AI अनुकूल पक्ष में है। यदि AI को अधिक खर्च चाहिए, तो मानव अब भी सस्ता विकल्प है।

यह ढाँचा उपयोगी है क्योंकि यह उन फैसलों से मेल खाता है जो कई संगठन वास्तव में लेते हैं। वे शायद ही कभी यह पूछ रहे होते हैं कि AI कोई आउटपुट दे सकता है या नहीं। वे पूछ रहे होते हैं कि oversight, experimentation, retries, और infrastructure को शामिल करने के बाद क्या इसका उपयोग लागत, समय, या दोनों घटाता है। एक agent जो डेमो में प्रभावशाली दिखे, वह फिर भी इस कसौटी पर असफल हो सकता है यदि वह बहुत अधिक compute खाता है या बहुत अधिक सहायक रन माँगता है।

METR का तर्क है कि इस विधि के दो मुख्य लाभ हैं, परिचित मूल्यांकन की तुलना में। पहला, यह pass-fail label के बजाय बारीक आर्थिक मूल्य देता है। दूसरा, यह कई अलग-अलग इनपुट को एक मुद्रा में बदल देता है, जिससे मानव और मशीन श्रम की एक ही फ्रेम में तुलना आसान हो जाती है।

NanoGPT speedruns पर विचार की जाँच

मेट्रिक का परीक्षण करने के लिए METR ने NanoGPT speedrun का उपयोग किया, जो एक सार्वजनिक सामुदायिक परियोजना है जहाँ योगदानकर्ता मानकीकृत hardware पर एक language model को जितनी जल्दी हो सके train करने की प्रतिस्पर्धा करते हैं। वे स्वयं कार्य को बदले बिना प्रशिक्षण दृष्टिकोण को सुधारकर ऐसा करते हैं। यह परियोजना तुलना के लिए असामान्य रूप से साफ़ सेटिंग देती है, क्योंकि लक्ष्य स्थिर रहता है जबकि प्रदर्शन में सुधार समय के साथ ट्रैक किए जा सकते हैं।

स्रोत के अनुसार, speedrun ने मई 2024 से 82 documented improvement steps दर्ज किए, जिससे cumulative training time लगभग 45 मिनट से घटकर दो मिनट से भी कम रह गया। इस ऐतिहासिक रिकॉर्ड ने METR को यह अनुमान लगाने का आधार दिया कि हर मामूली लाभ में कितना मानवीय प्रयास लगा, और फिर उसकी तुलना AI systems से समान प्रगति कराने की लागत से की।

मानवीय प्रयास का अनुमान लगाने के लिए METR ने परियोजना के दो सबसे सक्रिय contributors से बातचीत की, और Opus-4.6 नामक AI मॉडल का उपयोग भी प्रत्येक सुधार के पीछे के कार्य का अनुमान लगाने के लिए किया। दोनों तरीकों से लगभग समान मोटा आँकड़ा निकला: हर एक प्रतिशत speedup के लिए लगभग 16 घंटे का काम। स्रोत मानव पक्ष को हर एक प्रतिशत speedup के लिए लगभग $2,500 खर्च के रूप में भी वर्णित करता है।

AI agents के लिए शुरुआती नतीजा क्यों चिंताजनक है

स्रोत में वर्णित शुरुआती निष्कर्ष उत्सव मनाने वाला नहीं है। इस बेंचमार्क पर expenditure horizon आज के agents के लिए कमजोर लगता है। इसका मतलब यह नहीं कि AI प्रणालियाँ optimization-heavy काम में बेकार हैं। लेकिन यह बताता है कि पूर्ण लागतों को जोड़ने के बाद वे अब भी अधिक कठिन या उच्च-बजट सुधार कार्यों में मानव योगदानकर्ताओं से बेहतर प्रदर्शन करने में संघर्ष कर सकती हैं।

यह पैटर्न AI मूल्यांकन के व्यापक अनुभव से मेल खाता है: agents अक्सर छोटे, सस्ते, अच्छी तरह परिभाषित समस्याओं पर सबसे मजबूत दिखते हैं, लेकिन जैसे-जैसे काम अधिक जटिल और महँगा होता है, उनका लाभ कमज़ोर पड़ जाता है। स्रोत पाठ कहता है कि METR ने पहले के परीक्षणों में भी कुछ ऐसा ही देखा है। AI सरल, कम लागत वाले कार्यों पर इंसानों को हरा सकता है, लेकिन जैसे-जैसे बजट बढ़ता है और समस्याएँ कठिन होती हैं, लोग अधिक किफायती विकल्प बन जाते हैं।

यह autonomous AI engineering के आसपास की अतिशयोक्तिपूर्ण कथाओं के लिए एक महत्वपूर्ण सुधार है। यदि कोई agent जल्दी से उपयोगी बदलाव कर सकता है, तो वह सीमित परिचालन क्षेत्र में लागत-प्रभावी हो सकता है। लेकिन यदि उसे व्यापक experimentation, बार-बार prompting, बड़े inference बिल, या महंगे support compute की आवश्यकता हो, तो व्यावसायिक तर्क जल्दी कमजोर पड़ सकता है। expenditure horizon यह ठीक-ठीक मापने का प्रयास है कि यह क्षरण कब शुरू होता है।

मेट्रिक क्या स्पष्ट करता है, और क्या छोड़ देता है

METR के प्रस्ताव का मूल्य यह है कि यह बातचीत को raw capability से cost-adjusted capability की ओर ले जाता है। यह एक अधिक कठोर मानक है और वास्तविक दुनिया में तैनाती के लिए शायद सही भी। Enterprises tools को इसलिए नहीं अपनाते कि वे नए हैं। वे उन्हें इसलिए अपनाते हैं क्योंकि वे throughput बढ़ाते हैं, लागत घटाते हैं, क्षमता बढ़ाते हैं, या इन तीनों का कोई संयोजन देते हैं। ऐसा बेंचमार्क जो इन परिणामों पर कुछ न कह सके, उसका व्यावहारिक मूल्य सीमित है।

साथ ही, स्रोत पाठ बताता है कि इस मेट्रिक की कुछ सीमाएँ भी हैं। ऐसा कोई ढाँचा जो मानव श्रम, प्रयोगात्मक compute, और AI संचालन को एक डॉलर तुलना में समेट देता है, उसमें धारणाएँ शामिल होंगी। मानव कार्य की गुणवत्ता अलग-अलग हो सकती है। प्रति घंटा दरें बदल सकती हैं। कुछ AI-generated ideas आसानी से छोड़ी जा सकती हैं, जबकि कुछ असाधारण लाभ दे सकती हैं। benchmark task का चुनाव भी मायने रखता है। NanoGPT speedrunning सार्वजनिक, मापने योग्य, और तकनीकी रूप से प्रासंगिक है, लेकिन यह फिर भी केवल एक डोमेन है।

स्रोत में एक और महत्वपूर्ण चेतावनी है: नए model generations तस्वीर को जल्दी बदल सकते हैं। आज का निराशाजनक expenditure horizon अगले वर्ष के लिए वही निष्कर्ष नहीं देता। यदि model quality सुधरती है, tool use अधिक विश्वसनीय होती है, या inference costs कम होती हैं, तो मानव और AI अर्थशास्त्र के बीच crossover point काफी आगे-पीछे हो सकता है।

यह एक बेंचमार्क से आगे क्यों मायने रखता है

इन चेतावनियों के बावजूद, METR का प्रस्ताव उपयुक्त समय पर आया है। AI चर्चाएँ productivity, acceleration, और self-improving systems के दावों से भरी हैं। उस बहस का बड़ा हिस्सा अभी भी अमूर्त है क्योंकि क्षेत्र में मानव और मशीन श्रम की बराबर तुलना के साझा तरीके नहीं हैं। expenditure horizon ऐसा ही एक तरीका बनाने का प्रयास है।

इसका सबसे बड़ा योगदान तकनीकी जितना सांस्कृतिक भी हो सकता है। यह मूल्यांकन को नाटकीय demos से हटाकर बजट वास्तविकता की ओर धकेलता है। यह उस बाज़ार में सही दबाव है जहाँ कंपनियों को बढ़ते AI खर्च को मापने योग्य returns से उचित ठहराना पड़ता है। यदि यह मेट्रिक फैलती है, तो यह उन workflows को अलग करने में मदद कर सकती है जहाँ agents वास्तव में किफायती हैं, और उन workflows को जहाँ वे केवल तब तक कुशल लगते हैं जब तक सभी लागतें नहीं जोड़ दी जातीं।

फिलहाल, METR के शुरुआती परिणाम एक संयमित निष्कर्ष सुझाते हैं। AI agents कुछ सीमित optimization tasks में उपयोगी हो सकते हैं, लेकिन उनकी लागत-श्रेष्ठता मानकर नहीं चलनी चाहिए। खरीदारों और निर्माताओं के लिए सबसे महत्वपूर्ण जगहों पर सवाल अब सिर्फ यह नहीं है कि model क्या कर सकता है। सवाल यह है कि वह किसी व्यक्ति से सस्ता क्या कर सकता है।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.