फ्लॅट-पॅक बुककेस पूर्ण केल्यावर जमिनीवर एक अतिरिक्त स्क्रू लोळताना दिसला, की IKEA बांधणीत काहीतरी चुकले असल्याची शांत भीती प्रत्येकाला जाणवते. आता हा वाद मिटवू शकणारे यंत्र उपलब्ध असू शकते. Epoch AI च्या Furniture Assembly Benchmark (FAB) नुसार, OpenAI चा GPT-6 Astra बांधणी अर्धवट असलेल्या फर्निचरचा फोटो तपासून नेमकी कुठे चूक झाली हे ओळखू शकतो आणि या कामात ८० टक्के अचूकता मिळवतो.
हा निकाल बेंचमार्कच्या सर्वोत्तम कामगिरी करणाऱ्या Claude Opus 4.5 ने केवळ २८ टक्के मिळवल्यानंतर सुमारे दहा महिन्यांनी आला आहे. जवळपास पूर्ण अपयशाकडून सादर केलेल्या बहुतांश चुका ओळखण्यापर्यंतची ही झेप FAB लीडरबोर्डच्या नव्या अद्ययावतमधील मुख्य बातमी आहे.
Furniture Assembly Benchmark कसे काम करते
FAB जाणीवपूर्वक कंटाळवाणे आहे आणि तोच त्याचा उद्देश असल्याचे दिसते. बेंचमार्क तीन IKEA फर्निचर तुकड्यांचे बांधणीदरम्यान फोटो घेतो आणि त्यात हेतुपुरस्सर चुका आणल्या जातात. त्यानंतर मॉडेलला ते फोटो आणि उत्पादकाच्या सूचना एकत्र दाखवल्या जातात, आणि त्याला एकाच वेळी दोन गोष्टी कराव्या लागतात: चूक नेमकी कुठे आहे हे दाखवणे आणि काय चुकले हे शब्दांत सांगणे.
हे संयोजनच काम साध्या इमेज-वर्गीकरण समस्येपेक्षा कठीण बनवते. मॉडेलला फक्त काहीतरी विसंगत वाटते असे सांगून चालत नाही. त्याला अर्धवट जोडलेल्या वस्तूत चूक शोधून काढावी लागते आणि नंतर ती इतक्या स्पष्टपणे समजावून सांगावी लागते की माणूस बांधणारा त्या वर्णनावर कृती करू शकेल. त्यामुळे बेंचमार्क दृश्य तर्क, सूचना-पालन आणि भाषा-निर्मिती एकाच गुणात एकत्र करते.
फ्लॅट-पॅक फर्निचर हा उपयुक्त ताण-चाचणी ठरतो, कारण तो कंटाळवाणा आहे. तुकडे कठीण असतात, सूचना आकृतींच्या स्वरूपात असतात आणि बरोबर-चूक निःसंदिग्ध असते. एकतर शेल्फ रेल चुकीच्या बाजूला बसवलेली असते किंवा नाही. इमेज-आधारित मूल्यांकनात गोंधळ घालू शकणाऱ्या व्यक्तिनिष्ठ निर्णयाला फारसा वाव नसतो.
दहा महिन्यांत २८ टक्क्यांवरून ८० टक्क्यांपर्यंत
या अद्ययावतमधील सर्वात ठळक बाब म्हणजे सुधारणेचे प्रमाण. नोव्हेंबर २०२५ मध्ये उपलब्ध सर्वात मजबूत मॉडेलने बेंचमार्कवर एक तृतीयांशांपेक्षा बरेच कमी गुण मिळवले होते. दहा महिन्यांनंतर, आघाडीवरील मॉडेल त्या टप्प्याजवळ पोहोचत आहे जिथे हे साधन चुकण्यापेक्षा बरेच जास्त वेळा बरोबर ठरेल.
- नोव्हेंबर २०२५: Claude Opus 4.5 ने २८ टक्क्यांसह आघाडी घेतली.
- सप्टेंबर २०२६: OpenAI चा GPT-6 Astra ८० टक्क्यांपर्यंत पोहोचला, प्रति फोटो सुमारे तीन मिनिटे घेतली.
- Claude Fable 5.1 ७० टक्क्यांवर आहे.
- Claude Opus 5 ६१ टक्क्यांवर पोहोचला.
- Kimi K3 सारखे चिनी ओपन-वेट मॉडेल्स आघाडीवरील मॉडेल्सपेक्षा किमान सात महिने मागे आहेत.
पाचपैकी तीन माहिती-बिंदू एकच अनिर्बंध विजेता नसून अर्थपूर्ण पट्ट्यात एकवटलेले क्षेत्र दर्शवतात. Astra चे आघाडीचे स्थान आहे, पण Fable 5.1 इतका जवळ आहे की पुढील प्रकाशनांसह क्रम बदलू शकतो. अधिक उलगडणारी तफावत म्हणजे फ्रंटियर आणि ओपन-वेट आव्हान देणाऱ्यांमधील अंतर, जिथे Kimi K3 आणि त्याचे समकक्ष सुमारे सात महिने मागे आहेत.
हा आलेख इतका तीव्र का वळला
स्त्रोत सामग्री ही वाढ एका वेगळ्या कामगिरीऐवजी व्यापक बदलाचा भाग म्हणून मांडते. फार पूर्वी मॉडेल्स अगदी सोप्या दृश्य कामांमध्ये अपयशी ठरत होते, त्यामुळे बहु-टप्प्यांच्या तपासणीच्या समस्येवर ८० टक्के निकाल लक्षणीय ठरतो. दृष्टी-भाषा प्रणाली प्रतिमेत प्रत्यक्ष दिसणाऱ्या गोष्टींवर वर्णने आधारित करण्यात अधिक सक्षम झाल्यामुळे, भौतिक वस्तूंभोवती तयार केलेले बेंचमार्क पूर्वी नव्हते तितके साध्य होऊ लागले आहेत.
वेग ही उरलेली अडचण
Astra च्या गुणांशी एक महत्त्वाची अट जोडलेली आहे: प्रति फोटो तीन मिनिटे. बहुतेकांना पहिली आठवणारी परिस्थिती, म्हणजे रिअल-टाइम असेंब्ली सहाय्यासाठी हे खूपच संथ आहे. तुमचे हात भरलेले असताना आणि तुम्ही चौथ्या पायरीच्या मध्यावर असताना, निर्णय देण्यासाठी तीन मिनिटे घेणारा सहाय्यक उपयोगी ठरत नाही.
तरीही संशोधक ही क्षमता पुढील टप्प्यासाठीचा दगड मानतात. त्यांच्या मते, यामागील कौशल्य पुढे कार दुरुस्ती किंवा उपकरण दुरुस्ती यांसारख्या कामांसाठी वापरले जाऊ शकते, जिथे मॉडेल बिघडलेल्या किंवा अर्धवट उघडलेल्या प्रणालीचा फोटो दस्तऐवजांशी तुलना करून बिघाडाचे वर्णन करेल. ती क्षेत्रे बुकशेल्फपेक्षा अधिक गोंधळलेली असतात: भाग लपलेले असतात, प्रकाश बदलतो आणि पूर्वीच्या दुरुस्त्या यंत्राला अ-मानक स्थितीत सोडू शकतात.
तत्त्वतः वेग ही अचूकतेपेक्षा सोपी समस्या आहे. इन्फरन्स खर्च कमी होण्याची आणि थ्रूपुट वाढण्याची प्रवृत्ती पिढ्यानुपिढ्या दिसते, त्यामुळे आजची तीन मिनिटांची विलंब ही कोणत्याही कठोर मर्यादेपेक्षा सध्याच्या तंत्रज्ञानाची स्थिती अधिक दर्शवते.
फ्लॅट-पॅकच्या पलीकडे: दृश्य रोबोटिक्स
हे बेंचमार्क निकाल एकटे उभे राहत नाही. स्त्रोत सामग्रीनुसार Astra दृश्य रोबोटिक कामांमध्येही चांगली कामगिरी करतो, जे सूचित करते की दृश्य वाचून भौतिक मांडणीबद्दल तर्क करण्याची तीच मूलभूत क्षमता फर्निचरच्या स्थिर फोटोंपलीकडेही संक्रमित होते.
हे नाते महत्त्वाचे आहे कारण रोबोटिक्स नेहमी ॲक्च्युएटर्सपेक्षा आकलन आणि सामान्य ज्ञानानेच मर्यादित राहिले आहे. अर्धवट बांधलेली रचना पाहून, तिची योजनेशी तुलना करून काय चुकले हे सांगू शकणारा रोबोट संरचनात्मकदृष्ट्या हाताळणीसारखेच काहीतरी करत असतो: तो वस्तूच्या योग्य स्थितीचे अंतर्गत मॉडेल तयार करून त्याची वास्तवाशी तुलना करतो. या प्रकारची त्रुटी-ओळख ही त्रुटी-सुधारणेची तार्किक पूर्वअट आहे.
प्रामाणिक राहण्यासाठी तयार केलेले बेंचमार्क
FAB ची रचना AI मूल्यांकन कसे परिपक्व होत आहे हेही सांगते. अमूर्त कोडे सोडवण्याऐवजी ते दैनंदिन जीवनातील एक काम घेते आणि नियंत्रित त्रुटी आणते, ज्यामुळे गुणांकन वस्तुनिष्ठ आणि पुनरुत्पादक होते. हेतुपुरस्सर केलेल्या चुका नोंदवता येतात, त्यामुळे बरोबर उत्तर पडताळणीयोग्य आणि चुकीचे उत्तर स्पष्टपणे ओळखता येते.
या कठोरतेची किंमत म्हणजे संकुचितता. तीन IKEA तुकडे हा लहान नमुना आहे, आणि त्यांवरील यश स्वयंपाकघरातील कपाट किंवा सायकलवरील यशाची हमी देत नाही. पण दृश्य तर्कातील प्रगतीचा दिशादर्शक संकेत म्हणून हे बेंचमार्क असामान्यपणे स्पष्ट आहे: ते मोजते की मॉडेल भौतिक वस्तू पाहून त्यात काय चुकले आहे हे सांगू शकते का.
पुढे काय पाहावे
हा निकाल मैलाचा दगड ठरेल की तळटीप, हे तीन गोष्टी ठरवतील. पहिली म्हणजे Fable 5.1 आणि Opus 5 वर Astra ची आघाडी पुढील महिन्यांत वाढते की कमी होते. दुसरी म्हणजे रिअल-टाइम मार्गदर्शन शक्य करण्याइतका इन्फरन्स वेळ कमी होतो का. तिसरी म्हणजे त्रुटी-ओळखीचे कौशल्य फ्लॅट-पॅक फर्निचरवरून संशोधकांच्या मनातील अधिक गोंधळलेल्या दुरुस्ती कामांपर्यंत सामान्यीकृत होते का.
सध्या व्यावहारिक निष्कर्ष मर्यादित पण खरा आहे: वर्षभरापूर्वी उलट्या बसवलेल्या शेल्फ ब्रॅकेटला विश्वासाने ओळखू न शकणारे तंत्रज्ञान आता दहापैकी आठ वेळा चूक ओळखू आणि समजावून सांगू शकते. डोवेल कोणत्या बाजूला जातो यावर जोडीदाराशी कधी वाद घातलेल्या कोणालाही ही प्रगती उपयुक्त वाटेल.
हा लेख The Decoder च्या अहवालावर आधारित आहे. मूळ लेख वाचा.
Originally published on the-decoder.com
