Claude Opus 5 ने ARC-AGI-3 पर बड़ी बढ़त बनाई
The Decoder की कवरेज में उद्धृत बेंचमार्क आयोजकों के अनुसार, Anthropic का Claude Opus 5 ARC-AGI-3 पर 30.2 प्रतिशत के कथित स्कोर के साथ शीर्ष स्थान पर पहुंच गया है। यह पिछले अग्रणी परिणाम 7.8 प्रतिशत से उल्लेखनीय उछाल है, जिसे उसी रिपोर्ट में OpenAI के GPT-5.6 Sol (Max) से जोड़ा गया है। ऐसे क्षेत्र में भी, जहां बेंचमार्क में सुधार अक्सर क्रमिक या विवादित होते हैं, इस अंतर का आकार खास तौर पर ध्यान खींचता है।
यह परिणाम इसलिए महत्वपूर्ण है क्योंकि ARC-AGI-3 को संग्रहीत तथ्यों की परीक्षा के रूप में नहीं, बल्कि इस बात की परीक्षा के रूप में देखा जाता है कि कोई मॉडल पहले कभी न देखी गई नई समस्याओं को कितनी अच्छी तरह हल कर सकता है। ARC Prize द्वारा वर्णित सेटअप में मॉडल को इंटरैक्टिव वातावरण में रखा जाता है और उससे नियमों का अनुमान लगाने, क्रियाओं की योजना बनाने, और उन्हें चरण-दर-चरण लागू करने की अपेक्षा की जाती है। इससे यह बेंचमार्क नवीनता के बीच तर्कशक्ति का संकेतक बन जाता है, भले ही यह कई मापों में से केवल एक ही बना रहता है।
केवल बेंचमार्क प्रदर्शन से सामान्य बुद्धिमत्ता का प्रश्न कभी तय नहीं होता, और स्कोर अभी भी डिज़ाइन, मूल्यांकन और प्रॉम्प्टिंग की विशिष्टताओं को दर्शा सकते हैं। लेकिन नया परिणाम इसलिए अहम है क्योंकि स्वयं बेंचमार्क टीम केवल लीडरबोर्ड पर अंतिम संख्या नहीं, बल्कि इस बात की ओर संकेत कर रही है कि मॉडल कैसे तर्क करता हुआ दिखता है।
ARC Prize के अनुसार यह परिणाम अलग क्यों है
दिए गए स्रोत पाठ के अनुसार, ARC Prize Opus 5 की बढ़त का श्रेय अधिक मजबूत तार्किक तर्कशक्ति को देता है, जो अपरिचित वातावरण में अधिक स्वायत्त अन्वेषण, योजना और निष्पादन को संभव बनाती है। यह एक महत्वपूर्ण अंतर है। हाल के कई AI सुधार स्केल, टूल उपयोग, रिट्रीवल, या किसी मॉडल के चारों ओर सावधानीपूर्वक इंजीनियर की गई प्रणालियों से आए हैं। ARC Prize का कहना है कि यहां आधिकारिक स्कोर केवल भाषा मॉडल के अपने प्रदर्शन को गिनते हैं, उन अतिरिक्त सॉफ़्टवेयर हार्नेस को बाहर रखते हुए जो अन्य जगहों पर परिणामों को बढ़ा सकते हैं।
यही शर्त समझाती है कि यह बेंचमार्क लगातार ध्यान क्यों खींचता है। केंद्रीय प्रश्न यह नहीं है कि क्या किसी मॉडल को सहायक ढांचे के साथ कठिन कार्य हल करवाया जा सकता है, बल्कि यह है कि जब उसे नए परिवेश में अकेला छोड़ा जाए तो वह अपने दम पर कितना कर सकता है। यदि स्कोर में उछाल वास्तव में स्व-निर्देशित समस्या-समाधान में वृद्धि को दर्शाता है, तो यह क्षमताओं में केवल दिखावटी नहीं बल्कि सार्थक बदलाव का संकेत देगा।
रिपोर्ट यह भी कहती है कि Opus 5 ने पहले अनसुलझे पांच वातावरण हल किए, जिनमें से चार मानव-स्तर पर या उससे ऊपर थे। मानवों द्वारा अक्सर जल्दी समझ लिए जाने वाले कार्यों पर आधारित बेंचमार्क में इस तरह की प्रगति उल्लेखनीय है। यह केवल बेहतर औसत प्रदर्शन नहीं, बल्कि उन समस्याओं को पार करने की क्षमता को दर्शाता है जो पहले के सिस्टमों के लिए कठोर सीमा बनी हुई थीं।
परीक्षण के दौरान असामान्य व्यवहार
स्रोत सामग्री का सबसे रोचक पहलू सिर्फ शीर्षक स्कोर नहीं, बल्कि यह विवरण है कि कार्य हल करते समय Opus 5 ने कैसा व्यवहार किया। ARC Prize के शोधकर्ताओं ने कथित रूप से मॉडल को कार्यों को बीजगणितीय निरूपण में बदलते और स्वतंत्र रूप से प्रतिफल समीकरण तैयार करते हुए देखा, जो उनके अनुसार उन्होंने इस बेंचमार्क में पहले किसी मॉडल में नहीं देखा था।
इसका अर्थ यह नहीं कि सिस्टम ने मानव अर्थों में गणित को समझा, और न ही यह मशीन संज्ञान का कोई नया सिद्धांत सिद्ध करता है। लेकिन यह सतही पैटर्न-मैचिंग की तुलना में अधिक लचीली आंतरिक रणनीति का संकेत जरूर देता है। व्यावहारिक निहितार्थ यह है कि जब सीधे तरीके विफल हों, तो मॉडल अपने लिए मध्यवर्ती निरूपण स्वयं गढ़ सकता है।
ऐसी क्षमता बेंचमार्क संस्कृति से कहीं आगे तक मायने रखती है। वास्तविक दुनिया के परिदृश्यों में उपयोगी AI सिस्टमों को अक्सर अस्पष्ट समस्याओं को नए सिरे से परिभाषित करना, उन्हें छोटे चरणों में तोड़ना, और उत्तर तक पहुंचने से पहले कई संभावित रणनीतियों की जांच करनी पड़ती है। जो मॉडल स्वतः अमूर्तीकरण गढ़ सकता है, वह केवल याद की गई सहसंबंधों पर निर्भर रहने वाले मॉडल की तुलना में सॉफ़्टवेयर कार्यों, वैज्ञानिक सहायता, रोबोटिक्स योजना, और परिचालन निर्णय समर्थन के लिए अधिक उपयुक्त हो सकता है।
फिर भी, सावधानी जरूरी है। कुछ प्रभावशाली उदाहरण मॉडल के व्यवहार को उससे अधिक सुसंगत या सामान्य दिखा सकते हैं जितना वह वास्तव में है। आगे यह देखना महत्वपूर्ण होगा कि क्या यही प्रवृत्तियां व्यापक मूल्यांकनों और ऐसे तैनाती संदर्भों में भी लगातार दिखाई देती हैं जो बेंचमार्क वातावरणों की तुलना में कम नियंत्रित हों।
लीडरबोर्ड की व्यापक तस्वीर
दिए गए पाठ में Opus 5 को न केवल ARC-AGI-3 पर GPT-5.6 Sol (Max) से आगे रखा गया है, बल्कि Anthropic की अपनी Fable-class प्रणालियों से भी ऊपर बताया गया है, जिन्हें ARC Prize लगभग 20 प्रतिशत स्कोर करने वाला कहता है। यह आंतरिक तुलना बाहरी तुलना जितनी ही महत्वपूर्ण हो सकती है। यह संकेत देती है कि यह बढ़त केवल प्रयोगशालाओं के बीच एक बार का रैंक-परिवर्तन नहीं, बल्कि Anthropic की अपनी मॉडल श्रृंखला के भीतर प्रदर्शन में व्यापक उछाल का हिस्सा है।
बेंचमार्क के पुराने संस्करणों पर, स्रोत पाठ कहता है कि Opus 5 ARC-AGI-2 पर 90.4 प्रतिशत और ARC-AGI-1 पर 97.5 प्रतिशत तक पहुंचता है, और पिछले शीर्ष स्कोर की बराबरी करता है, हालांकि कुछ अधिक लागत पर। यह विवरण कथा को जटिल बनाता है। नवीनतम बेंचमार्क मॉडलों को अधिक स्पष्ट रूप से अलग करता दिखता है, जबकि पहले के संस्करण संभवतः शीर्ष स्तर पर पहले ही संतृप्ति के करीब थे। दूसरे शब्दों में, ARC-AGI-3 शायद अधिक उपयोगी है क्योंकि यह अभी भी अत्यंत सक्षम प्रणालियों के बीच अंतर करने की गुंजाइश छोड़ता है।
रिपोर्ट यह भी नोट करती है कि 25 सार्वजनिक डेमो वातावरणों में से छह अब हल किए जा चुके हैं, और पूर्ण परिणाम, रीप्ले, और बेंचमार्किंग कोड सार्वजनिक रूप से उपलब्ध हैं। इस मोर्चे पर पारदर्शिता महत्वपूर्ण है। बेंचमार्क दावे तब अधिक मूल्यवान होते हैं जब बाहरी शोधकर्ता न केवल अंतिम लीडरबोर्ड, बल्कि उदाहरणों, रीप्ले ट्रेस, और परिणाम के पीछे की मूल्यांकन पद्धति की भी जांच कर सकें।
इस परिणाम का क्या अर्थ है और क्या नहीं
AI उद्योग के लिए सबसे तात्कालिक निष्कर्ष यह है कि तर्कशक्ति बेंचमार्क प्रतिस्पर्धा का एक जीवंत मोर्चा बने हुए हैं। मॉडल डेवलपर पिछले दो वर्षों से चैट की सहजता से आगे बढ़कर ऐसे सिस्टम बनाने की कोशिश कर रहे हैं जो अपरिचित परिस्थितियों में विचार कर सकें, अनुकूलित हो सकें, और कार्रवाई कर सकें। नवीनता के इर्द-गिर्द स्पष्ट रूप से बनाए गए बेंचमार्क पर इस पैमाने की छलांग अनिवार्य रूप से शोध प्राथमिकताओं, विपणन दावों, और निवेशक कथाओं को प्रभावित करेगी।
लेकिन एक बेंचमार्क क्षेत्र की स्थिति तय नहीं करता। ARC-AGI-3 एक महत्वपूर्ण संकेत है, अंतिम निर्णय नहीं। यह विश्वसनीयता, सुरक्षा, सत्यनिष्ठा, या आर्थिक रूप से महत्वपूर्ण कार्यों की पूरी श्रृंखला में प्रदर्शन को सीधे नहीं मापता। यह भी नहीं दिखाता कि कोई मॉडल वास्तविक उत्पादन सीमाओं के तहत इन व्यवहारों को कितनी कुशलता से बनाए रख सकता है।
यदि बेंचमार्क टीम का विश्लेषण सही साबित होता है, तो यह दिखाता है कि अपरिचित समस्याओं पर तर्क करने वाले मॉडल बनाने की दौड़ एक नए चरण में प्रवेश कर रही है। महीनों से सार्वजनिक चर्चा अतिरंजना और खारिज करने के बीच झूलती रही है: या तो AI सामान्यीकृत क्षमता के कगार पर है, या बेंचमार्क सुधार ज्यादातर दिखावा हैं। इस तरह के परिणाम दोनों स्थितियों को जटिल बनाते हैं। वे यह सिद्ध नहीं करते कि सामान्य बुद्धिमत्ता आ गई है, लेकिन वे यह जरूर बताते हैं कि कम-से-कम कुछ सिस्टमों को केवल ऑटोकम्प्लीट कहकर समझा देना अब कठिन होता जा रहा है।
अगला प्रश्न यह है कि क्या ये क्षमताएं स्थानांतरित होती हैं। यदि होती हैं, तो यह स्कोर केवल लीडरबोर्ड अपडेट नहीं बल्कि इस शुरुआती संकेत के रूप में याद किया जाएगा कि तर्कशक्ति में सुधार एक-दूसरे पर चढ़कर असर डालना शुरू कर चुके थे। यदि नहीं, तो यह उन लंबी सूची वाले बेंचमार्क में शामिल हो जाएगा जिन्होंने गर्मी तो पैदा की, लेकिन AI तैनाती की अंतर्निहित अर्थव्यवस्था नहीं बदली। फिलहाल, यह परिणाम इसलिए महत्वपूर्ण है क्योंकि यह विशिष्ट, मापनीय, और इतना बड़ा है कि क्षेत्र के बाकी हिस्से को इसका जवाब देना होगा।
यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.
Originally published on the-decoder.com