OpenAI का GPT-6 Astra 80% सटीकता के साथ IKEA असेंबली की गलतियाँ पकड़ सकता है

जिसने भी फ्लैट-पैक बुककेस बनाना पूरा किया हो और फिर फर्श पर लुढ़कती एक अतिरिक्त स्क्रू देखी हो, वह IKEA असेंबली में कुछ गड़बड़ होने की उस खामोश आशंका को जानता है। अब शायद एक ऐसी मशीन मौजूद है जो इस बहस को निपटा सकती है। Epoch AI के Furniture Assembly Benchmark (FAB) के अनुसार, OpenAI का GPT-6 Astra निर्माण के दौरान फर्नीचर की तस्वीर की जाँच कर सकता है और ठीक-ठीक बता सकता है कि असेंबली कहाँ पटरी से उतरी, इस कार्य में 80 प्रतिशत सटीकता हासिल करते हुए।

यह नतीजा उस बेंचमार्क के सर्वश्रेष्ठ प्रदर्शनकर्ता, Claude Opus 4.5, के केवल 28 प्रतिशत हासिल करने के लगभग दस महीने बाद आया है। लगभग पूर्ण विफलता से लेकर डाली गई अधिकांश गलतियों को पकड़ने तक की यह छलांग FAB लीडरबोर्ड के नवीनतम अपडेट की मुख्य खबर है।

Furniture Assembly Benchmark कैसे काम करता है

FAB जानबूझकर साधारण है, और यही इसका उद्देश्य प्रतीत होता है। यह बेंचमार्क असेंबली के दौरान तीन IKEA फर्नीचर टुकड़ों की तस्वीरें लेता है, जिनमें जानबूझकर गलतियाँ डाली जाती हैं। फिर एक मॉडल को निर्माता के निर्देशों के साथ-साथ ये तस्वीरें दिखाई जाती हैं, और उसे एक साथ दो काम करने होते हैं: गलती को इंगित करना और शब्दों में बताना कि क्या गलत हुआ।

यही संयोजन इस कार्य को साधारण इमेज-क्लासिफिकेशन समस्या से कठिन बनाता है। मॉडल केवल यह नहीं बता सकता कि कुछ गड़बड़ लग रही है। उसे आंशिक रूप से जुड़ी हुई वस्तु के भीतर गलती का स्थान निर्धारित करना होता है और फिर उसे इतनी स्पष्टता से समझाना होता है कि कोई मानव निर्माता उस विवरण पर कार्रवाई कर सके। इसलिए बेंचमार्क दृश्य तर्क, निर्देश-पालन और भाषा निर्माण को एक ही स्कोर में समेटता है।

फ्लैट-पैक फर्नीचर एक उपयोगी तनाव परीक्षण साबित होता है, ठीक इसलिए क्योंकि यह उबाऊ है। टुकड़े कठोर होते हैं, निर्देश आरेखीय होते हैं, और सही-गलत स्पष्ट होता है। या तो शेल्फ रेल गलत सतह पर लगी है या नहीं। उस प्रकार के व्यक्तिपरक निर्णय के लिए बहुत कम जगह है जो छवि-आधारित मूल्यांकन को धुँधला कर सकता है।

दस महीनों में 28 प्रतिशत से 80 प्रतिशत तक

सुधार का पैमाना इस अपडेट का सबसे चौंकाने वाला तत्व है। नवंबर 2025 में, सबसे मजबूत उपलब्ध मॉडल ने बेंचमार्क के एक-तिहाई से कहीं कम स्कोर किया था। दस महीने बाद, लीडर उस बिंदु के करीब पहुँच रहा है जहाँ यह उपकरण गलत होने की तुलना में कहीं अधिक बार सही होगा।

• नवंबर 2025: Claude Opus 4.5 28 प्रतिशत के साथ शीर्ष पर।
• सितंबर 2026: OpenAI का GPT-6 Astra 80 प्रतिशत तक पहुँचता है, प्रति फोटो औसतन लगभग तीन मिनट लेते हुए।
• Claude Fable 5.1 70 प्रतिशत पर है।
• Claude Opus 5 61 प्रतिशत पर पहुँचता है।
• Kimi K3 जैसे चीनी ओपन-वेट मॉडल लीडर्स से कम से कम सात महीने पीछे हैं।

पाँच डेटा बिंदुओं में से तीन एक ऐसे क्षेत्र का वर्णन करते हैं जो एकल अजेय विजेता के बजाय एक सार्थक दायरे में केंद्रित है। Astra का बढ़त है, लेकिन Fable 5.1 इतना करीब है कि अगले दौर की रिलीज़ के साथ क्रम बदल सकता है। अधिक खुलासा करने वाला अंतर फ्रंटियर और ओपन-वेट चुनौती देने वालों के बीच का है, जहाँ Kimi K3 और उसके साथी लगभग सात महीने पीछे हैं।

यह वक्र इतनी तेज़ी से क्यों मुड़ा

स्रोत सामग्री इस लाभ को एक अलग उपलब्धि के बजाय व्यापक बदलाव के हिस्से के रूप में प्रस्तुत करती है। कुछ समय पहले तक मॉडल बहुत सरल दृश्य कार्यों में विफल हो रहे थे, जो एक बहु-चरणीय निरीक्षण समस्या पर 80 प्रतिशत परिणाम को उल्लेखनीय बनाता है। जैसे-जैसे विज़न-लैंग्वेज सिस्टम छवि में वास्तव में जो दिखाई दे रहा है उस पर अपने विवरणों को आधारित करने में बेहतर होते गए हैं, भौतिक वस्तुओं के इर्द-गिर्द बने बेंचमार्क उस तरह से साध्य हो गए हैं जैसे पहले नहीं थे।

गति ही शेष बाधा है

Astra के स्कोर के साथ एक महत्वपूर्ण चेतावनी जुड़ी है: प्रति फोटो तीन मिनट। यह रीयल-टाइम असेंबली सहायता के लिए बहुत धीमा है, वह परिदृश्य जिसकी सबसे पहले कल्पना की जाएगी। जो सहायक निर्णय देने में तीन मिनट लेता है, वह तब उपयोगी नहीं होता जब आपके हाथ व्यस्त हों और आप चरण चार के बीच में हों।

फिर भी शोधकर्ता इस क्षमता को एक सीढ़ी के पत्थर के रूप में देखते हैं। उनका सुझाव है कि अंतर्निहित कौशल को अंततः कार मरम्मत या उपकरण ठीक करने जैसे कार्यों पर लगाया जा सकता है, जहाँ एक मॉडल खराब या आंशिक रूप से खोले गए सिस्टम की तस्वीर की तुलना दस्तावेज़ीकरण से करेगा और खराबी का वर्णन करेगा। वे क्षेत्र बुकशेल्फ से अधिक गंदे हैं: घटक छिपे होते हैं, प्रकाश भिन्न होता है, और पिछली मरम्मतें मशीन को गैर-मानक स्थिति में छोड़ सकती हैं।

गति भी सिद्धांत रूप से सटीकता की तुलना में हमला करने के लिए एक आसान समस्या है। इन्फरेंस लागत घटती रही है और थ्रूपुट क्रमिक मॉडल पीढ़ियों में बढ़ता रहा है, इसलिए आज तीन मिनट का समय किसी कठोर सीमा के बजाय कला की वर्तमान स्थिति के बारे में अधिक बताता है।

फ्लैट-पैक से आगे: दृश्य रोबोटिक्स

यह बेंचमार्क परिणाम अकेला नहीं है। स्रोत सामग्री के अनुसार, Astra दृश्य रोबोटिक कार्यों पर भी मजबूत प्रदर्शन करता है, जो सुझाव देता है कि वही अंतर्निहित क्षमता, एक दृश्य को पढ़ना और भौतिक व्यवस्था के बारे में तर्क करना, फर्नीचर की स्थिर तस्वीरों से आगे भी स्थानांतरित होती है।

यह संबंध महत्वपूर्ण है क्योंकि रोबोटिक्स हमेशा एक्चुएटर्स की तुलना में धारणा और सामान्य ज्ञान से अधिक सीमित रही है। एक रोबोट जो आधे-अधूरे असेंबली को देख सकता है, उसकी तुलना योजना से कर सकता है और बता सकता है कि क्या गलत है, संरचनात्मक रूप से हेरफेर के समान कुछ कर रहा है: यह किसी वस्तु की सही स्थिति का आंतरिक मॉडल बना रहा है और उसकी तुलना वास्तविकता से कर रहा है। इस प्रकार की त्रुटि पहचान त्रुटि सुधार की एक तार्किक पूर्ववर्ती है।

ईमानदार बने रहने के लिए बनाया गया बेंचमार्क

FAB का डिज़ाइन यह भी बताता है कि AI मूल्यांकन कैसे परिपक्व हो रहा है। अमूर्त पहेली-समाधान का परीक्षण करने के बजाय, यह साधारण जीवन से एक कार्य उधार लेता है और नियंत्रित दोष डालता है, जो स्कोरिंग को वस्तुनिष्ठ और प्रतिलिपि प्रस्तुत करने योग्य बनाता है। जानबूझकर की गई गलतियों को सूचीबद्ध किया जा सकता है, इसलिए सही उत्तर सत्यापन योग्य है और गलत उत्तर स्पष्ट है।

इस कठोरता की कीमत संकीर्णता है। तीन IKEA टुकड़े एक छोटा नमूना हैं, और उन पर सफलता किसी रसोई कैबिनेट या साइकिल पर सफलता की गारंटी नहीं देती। लेकिन दृश्य तर्क प्रगति के दिशात्मक संकेत के रूप में, यह बेंचमार्क असामान्य रूप से सुपाठ्य है: यह मापता है कि कोई मॉडल किसी भौतिक वस्तु को देखकर बता सकता है कि उसमें क्या गलत है।

आगे क्या देखना है

तीन बातें तय करेंगी कि यह परिणाम एक मील का पत्थर लगता है या एक फुटनोट। पहली यह कि आने वाले महीनों में Fable 5.1 और Opus 5 पर Astra की बढ़त बढ़ती है या घटती है। दूसरी यह कि क्या इन्फरेंस समय इतना कम होता है कि रीयल-टाइम मार्गदर्शन संभव लगे। तीसरी यह कि क्या त्रुटि-पहचान कौशल फ्लैट-पैक फर्नीचर से उन गंदे मरम्मत कार्यों तक सामान्यीकृत होता है जो शोधकर्ताओं के मन में हैं।

फिलहाल, व्यावहारिक निष्कर्ष मामूली लेकिन वास्तविक है: जो तकनीक एक साल से भी कम समय पहले उलटे शेल्फ ब्रैकेट को विश्वसनीय रूप से नहीं पहचान सकती थी, अब दस में से आठ बार गलती की पहचान कर सकती है और उसे समझा सकती है। जिसने भी कभी अपने साथी के साथ इस पर बहस की हो कि डॉवेल किस दिशा में जाता है, वह इस प्रगति को पाने योग्य मान सकता है।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें।