AI एजंट खरोखरच स्वस्त नाहीत, तो क्षण तपासणारा METR चा नवीन खर्च मापदंड

नवीन बेंचमार्क AI ला कठीण प्रश्न विचारतो: एजंट मदत करू शकतात का, हा नाही, तर ते कधी किफायतशीर ठरतात?

AI प्रणाली सुधारत चालल्याने, सर्वात महत्त्वाचा व्यावहारिक प्रश्न आता त्या एखादे काम करू शकतात का यापासून बदलून, त्या लोकांपेक्षा कमी एकूण खर्चात ते काम करू शकतात का याकडे जात आहे. प्रगत AI प्रणालींचे मूल्यमापन करणारी संशोधन संस्था METR ने हा प्रश्न थेट हाताळण्यासाठी एक नवीन मापदंड सुचवला आहे. याला “expenditure horizon” असे म्हटले आहे, आणि त्याचा आधार सोपा आहे: AI प्रणाली आणि मानव समान पातळीची सुधारणा साधण्यासाठी प्रत्येकी किती खर्च करावा लागतो याची तुलना करा, आणि ज्या बिंदूवर त्यांचा खर्च समान होतो तो शोधा.

अनेक सामान्य AI बेंचमार्क कामगिरीला फक्त यश किंवा अपयशाच्या परिणामात रूपांतरित करतात, म्हणून ही कल्पना महत्त्वाची आहे. अशा चाचण्या एखादे model समस्या सोडवू शकले का ते दाखवू शकतात, पण तेथे पोहोचण्यासाठी कोणते आर्थिक तडजोडी कराव्या लागल्या याबद्दल फारसे सांगत नाहीत. कंपन्या, प्रयोगशाळा आणि धोरणकर्ते AI automation खरोखर कुठे व्यवहार्य आहे हे ठरवत असताना, ती उणीव दुर्लक्षित करणे कठीण होत आहे.

Expenditure horizon कसे कार्य करते

स्रोत साहित्याप्रमाणे, METR च्या चौकटीत मानवी श्रम खर्च, AI प्रणाली चालवण्याचा खर्च, आणि प्रयोगांमध्ये वापरलेला compute एका तुलनेत आणला जातो. याचा परिणाम बायनरी स्कोरऐवजी मूल्याचे अधिक सातत्यपूर्ण मोजमाप असा होतो. समान सुधारणा साधण्यासाठी AI ला मानवी खर्चापेक्षा कमी बजेट लागल्यास, AI अनुकूल बाजूला असतो. AI ला अधिक खर्च लागल्यास, मानव अजूनही स्वस्त पर्याय राहतो.

ही चौकट उपयुक्त आहे कारण ती अनेक संस्था प्रत्यक्षात कसे निर्णय घेतात याशी जुळते. त्या क्वचितच फक्त AI काहीतरी आउटपुट देऊ शकते का हे विचारत असतात. त्या विचारतात की oversight, experimentation, retries, आणि infrastructure यांचा समावेश केल्यानंतर ते खर्च, वेळ, किंवा दोन्ही कमी करते का. डेमोमध्ये प्रभावी दिसणारा agent देखील जर तो खूप compute खर्च करत असेल किंवा जास्त सहाय्यक रन लागले तर या चाचणीत अपयशी ठरू शकतो.

परिचित मूल्यांकनांच्या तुलनेत या पद्धतीचे दोन मुख्य फायदे असल्याचे METR म्हणते. पहिले, ते pass-fail label ऐवजी सूक्ष्म आर्थिक मूल्य देते. दुसरे, ते अनेक वेगवेगळे inputs एका चलनात रूपांतरित करते, ज्यामुळे मानवी आणि यंत्रांच्या श्रमांची तुलना एकाच चौकटीत करणे सोपे होते.

NanoGPT speedrun वर कल्पनेची चाचणी

हा मापदंड वापरून पाहण्यासाठी METR ने NanoGPT speedrun वापरला. हा एक सार्वजनिक समुदाय प्रकल्प आहे, जिथे सहभागी मानकीकृत hardware वर language model शक्य तितक्या वेगाने train करण्यासाठी स्पर्धा करतात, आणि काम न बदलता प्रशिक्षण पद्धती सुधारतात. उद्दिष्ट स्थिर असल्याने आणि कामगिरीतील सुधारणा वेळोवेळी मोजता येत असल्याने, तुलना करण्यासाठी हा अत्यंत स्वच्छ सेटअप आहे.

स्रोत म्हणते की speedrun ने मे 2024 पासून 82 documented improvement steps नोंदवले, ज्यामुळे cumulative training time सुमारे 45 मिनिटांवरून दोन मिनिटांपेक्षाही कमी झाला. या ऐतिहासिक नोंदीमुळे METR ला प्रत्येक छोट्या सुधारण्यात किती मानवी श्रम गेले याचा अंदाज लावता आला, आणि मग त्याची तुलना AI systems कडून तशीच प्रगती मिळवण्याच्या खर्चाशी करता आली.

मानवी श्रमाचा अंदाज लावण्यासाठी METR ने प्रकल्पातील दोन सर्वात सक्रिय contributors ची मुलाखत घेतली आणि Opus-4.6 या AI model चा वापर करून प्रत्येक सुधारण्यामागील कामाचा अंदाज घेतला. दोन्ही पद्धतींनी जवळपास समान अंदाज दिला: प्रत्येक 1 टक्के speedup साठी सुमारे 16 तासांचे काम. स्रोत मानवी बाजूला प्रत्येक 1 टक्के speedup साठी सुमारे $2,500 खर्च असेही वर्णन करते.

AI agents साठी सुरुवातीचा निकाल निराशाजनक का आहे

स्रोतामध्ये वर्णन केलेला सुरुवातीचा निष्कर्ष उत्साहवर्धक नाही. या बेंचमार्कवर expenditure horizon आजच्या agents साठी कमी समाधानकारक दिसतो. याचा अर्थ AI systems optimization-heavy कामात निरुपयोगी आहेत असे नाही. पण पूर्ण खर्च धरला तर ते अजूनही अधिक कठीण किंवा उच्च-बजेट सुधारणा कामांमध्ये मानवी contributors पेक्षा वरचढ ठरण्यात कमी पडू शकतात, हे यातून सूचित होते.

हा नमुना AI मूल्यमापनातील व्यापक जाणिवेशी जुळतो: छोटे, स्वस्त, नीट परिभाषित प्रश्नांवर agents सर्वात मजबूत दिसतात, पण कामे अधिक गुंतागुंतीची आणि खर्चिक होत गेल्यावर त्यांचा फायदा कमी होतो. स्रोत मजकूर म्हणतो की METR ने पूर्वीच्या चाचण्यांतही असेच काहीसे पाहिले आहे. AI सोपी, कमी खर्चाची कामे मनुष्यांपेक्षा चांगली करू शकते, पण बजेट वाढत गेले आणि समस्या कठीण होत गेल्या की लोकच अधिक अर्थकारक पर्याय ठरतात.

स्वायत्त AI engineering भोवतीच्या अतिरंजित कथांना हा एक महत्त्वाचा दुरुस्त करणारा दृष्टिकोन आहे. एखादा agent पटकन उपयुक्त बदल देऊ शकला, तर तो मर्यादित कार्यात्मक क्षेत्रात खर्च-प्रभावी ठरू शकतो. पण जर त्याला मोठ्या प्रमाणावर experimentation, वारंवार prompting, मोठे inference बिल, किंवा महागडे support compute लागले, तर व्यावसायिक बाजूचा हिशोब पटकन कोलमडू शकतो. expenditure horizon हेच नेमके कधी घसरण सुरू होते ते मोजण्याचा प्रयत्न आहे.

मापदंड काय स्पष्ट करतो, आणि काय चुकवतो

METR च्या प्रस्तावाचे महत्त्व म्हणजे तो संभाषण raw capability पासून cost-adjusted capability कडे वळवतो. हे अधिक कठोर मानक आहे, आणि प्रत्यक्ष वापरासाठी कदाचित योग्यही आहे. कंपन्या tools ते नवीन आहेत म्हणून स्वीकारत नाहीत. त्या throughput वाढवतात, खर्च कमी करतात, क्षमता वाढवतात, किंवा या तिन्हींचे मिश्रण देतात म्हणून स्वीकारतात. अशा परिणामांबद्दल बोलू न शकणाऱ्या benchmark चे व्यावहारिक मूल्य मर्यादितच असते.

त्याच वेळी, स्रोत मजकूरात या मापदंडाच्या काही मर्यादा नमूद केल्या आहेत. मानवी श्रम, प्रयोगात्मक compute, आणि AI operation एका डॉलर तुलनेत एकत्र करणाऱ्या कोणत्याही चौकटीत गृहितके असतात. मानवी कामाची गुणवत्ता बदलू शकते. तासिक दर बदलू शकतात. काही AI-generated कल्पना सहज फेकून दिल्या जाऊ शकतात, तर काही मोठे लाभ देऊ शकतात. benchmark task ची निवडही महत्त्वाची आहे. NanoGPT speedrunning सार्वजनिक, मोजण्याजोगा, आणि तांत्रिकदृष्ट्या संबंधित आहे, पण तो तरीही फक्त एकच domain आहे.

स्रोतामधील आणखी एक महत्त्वाची खबरदारी म्हणजे नवीन model generations चित्र पटकन बदलू शकतात. आजचा निराशाजनक expenditure horizon पुढच्या वर्षासाठी अंतिम निष्कर्ष नसतो. जर model quality सुधारली, tool use अधिक विश्वासार्ह झाले, किंवा inference costs कमी झाल्या, तर मानवी आणि AI अर्थव्यवस्थेमधील crossover point लक्षणीयरीत्या हलू शकतो.

एका बेंचमार्कपलीकडे हे का महत्त्वाचे आहे

या caveats असूनही, METR चा प्रस्ताव योग्य वेळी आला आहे. AI चर्चेत productivity, acceleration, आणि self-improving systems याविषयीच्या दाव्यांची रेलचेल आहे. त्या वादाचा मोठा भाग अजूनही अमूर्त आहे, कारण क्षेत्राकडे मानवी आणि यंत्रश्रम समान पातळीवर तुलना करण्याच्या सामायिक पद्धती नाहीत. expenditure horizon अशी एक पद्धत तयार करण्याचा प्रयत्न आहे.

त्याचे सर्वात मोठे योगदान तांत्रिकइतकेच सांस्कृतिकही असू शकते. ते मूल्यांकनाला नाट्यमय demos मधून बजेट वास्तवाकडे ढकलते. ज्या बाजारात कंपन्यांना वाढत्या AI खर्चाचे समर्थन मोजता येण्याजोग्या returns ने करावे लागते, तिथे हा योग्य दबाव आहे. हा मापदंड पसरला, तर कोणत्या workflows मध्ये agents खरोखरच अर्थकारक आहेत आणि कोणत्या फक्त सर्व खर्च धरल्यावरच कार्यक्षम दिसतात, हे वेगळे करण्यात तो मदत करू शकतो.

सध्या METR चे प्राथमिक निष्कर्ष एक संयमित निष्कर्ष सुचवतात. AI agents काही मर्यादित optimization tasks मध्ये आधीच उपयोगी असू शकतात, पण त्यांचा खर्चाचा फायदा गृहित धरू नये. खरेदी करणाऱ्यांसाठी आणि निर्मात्यांसाठी सर्वात महत्त्वाच्या ठिकाणी, प्रश्न आता फक्त model काय करू शकतो हा नाही. प्रश्न आहे तो माणसापेक्षा स्वस्तात काय करू शकतो.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.