ஒரு பிளாட்-பேக் புத்தக அலமாரியை முடித்த பிறகு, தரையில் உருண்டு கொண்டிருக்கும் ஒரு உதிரி திருகாணியைப் பார்க்கும் எவரும், IKEA அசெம்பிளி தவறாகிவிட்டதன் அமைதியான பயத்தை அறிவார்கள். இப்போது அந்த விவாதத்தைத் தீர்க்கக்கூடிய ஒரு இயந்திரம் இருக்கலாம். Epoch AI-இன் Furniture Assembly Benchmark (FAB) படி, OpenAI-இன் GPT-6 Astra, அசெம்பிளி நடந்து கொண்டிருக்கும் நிலையில் எடுக்கப்பட்ட தளபாடத்தின் புகைப்படத்தை ஆராய்ந்து, அசெம்பிளி எங்கு தவறாகிவிட்டது என்பதைத் துல்லியமாகக் கண்டறிய முடியும்; இந்தப் பணியில் 80 சதவீத துல்லியத்தைப் பெறுகிறது.
இந்த முடிவு, இந்த பெஞ்ச்மார்க்கின் சிறந்த செயல்திறன் கொண்ட Claude Opus 4.5 வெறும் 28 சதவீதத்தை மட்டுமே எட்டிய சுமார் பத்து மாதங்களுக்குப் பிறகு வந்துள்ளது. கிட்டத்தட்ட முழுமையான தோல்வியிலிருந்து, அறிமுகப்படுத்தப்பட்ட தவறுகளில் பெரும்பாலானவற்றைக் கண்டறியும் நிலைக்கு இந்த முன்னேற்றம், சமீபத்திய FAB லீடர்போர்டு புதுப்பிப்பின் முக்கிய செய்தியாகும்.
Furniture Assembly Benchmark எவ்வாறு செயல்படுகிறது
FAB வேண்டுமென்றே சாதாரணமானதாக வடிவமைக்கப்பட்டுள்ளது, அதுவே அதன் நோக்கமாகத் தெரிகிறது. இந்த பெஞ்ச்மார்க், அசெம்பிளியின் போது மூன்று IKEA தளபாடப் பொருட்களைப் புகைப்படம் எடுக்கிறது; அப்போது வேண்டுமென்றே தவறுகள் அறிமுகப்படுத்தப்படுகின்றன. பின்னர் ஒரு மாடலுக்கு அந்தப் புகைப்படங்களும் உற்பத்தியாளரின் வழிமுறைகளும் காட்டப்படுகின்றன; அது ஒரே நேரத்தில் இரண்டு விஷயங்களைச் செய்ய வேண்டும்: தவறைத் துல்லியமாகக் கண்டறிந்து, என்ன தவறு நடந்தது என்பதை வார்த்தைகளில் விவரிக்க வேண்டும்.
இந்தக் கலவையே இந்தப் பணியை எளிய பட வகைப்படுத்தல் சிக்கலை விட கடினமாக்குகிறது. ஏதோ ஒன்று தவறாகத் தெரிகிறது என்று மாடல் வெறுமனே சுட்டிக்காட்ட முடியாது. பகுதியளவு அசெம்பிள் செய்யப்பட்ட ஒரு பொருளுக்குள் ஒரு தவறை அது கண்டறிந்து, மனித அசெம்பிளர் அந்த விவரிப்பின் அடிப்படையில் செயல்படக்கூடிய அளவுக்குத் தெளிவாக விளக்க வேண்டும். எனவே, இந்த பெஞ்ச்மார்க் காட்சிப் பகுத்தறிவு, வழிமுறைப் பின்பற்றல் மற்றும் மொழி உருவாக்கம் ஆகியவற்றை ஒரே மதிப்பெண்ணில் இணைக்கிறது.
பிளாட்-பேக் தளபாடம் ஒரு பயனுள்ள அழுத்தச் சோதனையாக மாறுவது, அது சலிப்பூட்டுவதாக இருப்பதால்தான். பகுதிகள் உறுதியானவை, வழிமுறைகள் வரைபட வடிவிலானவை, சரியான தன்மை தெளிவற்றதல்ல. அலமாரி தண்டவாளம் தவறான பக்கத்தில் பொருத்தப்பட்டுள்ளதா இல்லையா என்பது தெளிவானது. பட அடிப்படையிலான மதிப்பீடுகளைக் குழப்பக்கூடிய அகநிலைத் தீர்ப்புக்கு இதில் மிகக் குறைவான இடமே உள்ளது.
பத்து மாதங்களில் 28 சதவீதத்திலிருந்து 80 சதவீதத்திற்கு
இந்த முன்னேற்றத்தின் அளவே இந்தப் புதுப்பிப்பின் மிகக் கவனிக்கத்தக்க அம்சமாகும். நவம்பர் 2025-இல், கிடைக்கக்கூடிய வலுவான மாடல் இந்த பெஞ்ச்மார்க்கில் மூன்றில் ஒரு பங்குக்கும் குறைவாகவே பெற்றது. பத்து மாதங்களுக்குப் பிறகு, இந்தக் கருவி தவறாக இருப்பதை விடச் சரியாக இருப்பது அதிகமாக இருக்கும் நிலையை முன்னணி மாடல் நெருங்கி வருகிறது.
- நவம்பர் 2025: Claude Opus 4.5, 28 சதவீதத்துடன் முன்னிலையில்.
- செப்டம்பர் 2026: OpenAI-இன் GPT-6 Astra, ஒரு புகைப்படத்திற்கு சராசரியாக மூன்று நிமிடங்கள் எடுத்து, 80 சதவீதத்தை எட்டுகிறது.
- Claude Fable 5.1, 70 சதவீதத்தில் உள்ளது.
- Claude Opus 5, 61 சதவீதத்தை எட்டுகிறது.
- Kimi K3 போன்ற சீன open-weight மாடல்கள், முன்னணி மாடல்களை விட குறைந்தது ஏழு மாதங்கள் பின்தங்கியுள்ளன.
ஐந்து தரவுப் புள்ளிகளில் மூன்று, ஒரே ஒரு பெரும் வெற்றியாளர் அல்லாமல், ஒரு அர்த்தமுள்ள வரம்பில் குவிந்துள்ள துறையை விவரிக்கின்றன. Astra ஒரு முன்னிலையைக் கொண்டுள்ளது, ஆனால் Fable 5.1 அதற்கு மிக நெருக்கமாக உள்ளதால், அடுத்த சுற்று வெளியீடுகளுடன் தரவரிசை மாறக்கூடும். மேலும் வெளிப்படையான இடைவெளி, முன்னணிக்கும் open-weight போட்டியாளர்களுக்கும் இடையிலானது; அங்கு Kimi K3 மற்றும் அதன் சகாக்கள் சுமார் ஏழு மாதங்கள் பின்தங்கியுள்ளன.
வளைவு ஏன் இவ்வளவு கூர்மையாக வளைந்தது
இந்த முன்னேற்றத்தை ஆதாரப் பொருள் ஒரு தனிமைப்படுத்தப்பட்ட சாதனையாக அல்லாமல், ஒரு பரந்த மாற்றத்தின் பகுதியாகக் காட்டுகிறது. சற்று காலத்திற்கு முன்பு வரை மாடல்கள் மிக எளிய காட்சிப் பணிகளிலும் தோல்வியடைந்து வந்தன; எனவே பல-படி ஆய்வுச் சிக்கலில் 80 சதவீத முடிவு குறிப்பிடத்தக்கது. காட்சி-மொழி அமைப்புகள், ஒரு படத்தில் உண்மையில் தெரிவதை அடிப்படையாகக் கொண்டு விவரிப்புகளை இணைப்பதில் சிறந்து வருவதால், இயற்பியல் பொருட்களைச் சுற்றியமைக்கப்பட்ட பெஞ்ச்மார்க்குகள் முன்பு இல்லாத வகையில் இப்போது சாத்தியமாகியுள்ளன.
வேகமே மீதமுள்ள தடையாக உள்ளது
Astra-வின் மதிப்பெண்ணுடன் ஒரு முக்கியமான எச்சரிக்கை இணைந்துள்ளது: ஒரு புகைப்படத்திற்கு மூன்று நிமிடங்கள். நேரடி நேர அசெம்பிளி உதவிக்கு இது மிக மெதுவானது; பெரும்பாலானோர் முதலில் கற்பனை செய்யும் சூழல் அதுவே. உங்கள் கைகள் நிரம்பியிருந்து, நான்காம் படியின் நடுவில் இருக்கும்போது, ஒரு தீர்ப்பை வழங்க மூன்று நிமிடங்கள் எடுக்கும் உதவியாளர் பயனுள்ளதாக இருக்காது.
ஆயினும்கூட, ஆராய்ச்சியாளர்கள் இந்தத் திறனை ஒரு படிக்கட்டுக் கல்லாகக் காண்கிறார்கள். அடிப்படைத் திறன் இறுதியில் கார் பழுதுபார்ப்பு அல்லது உபகரணப் பழுதுநீக்கம் போன்ற பணிகளுக்குப் பயன்படுத்தப்படலாம் என்று அவர்கள் கூறுகிறார்கள்; அங்கு ஒரு மாடல், செயலிழந்த அல்லது பகுதியளவு பிரிக்கப்பட்ட ஒரு அமைப்பின் புகைப்படத்தை ஆவணங்களுடன் ஒப்பிட்டு, குறையை விவரிக்கும். அந்தத் துறைகள் ஒரு புத்தக அலமாரியை விட அதிக குழப்பமானவை: பாகங்கள் மறைந்திருக்கும், வெளிச்சம் மாறுபடும், முன்னைய பழுதுபார்ப்புகள் ஒரு இயந்திரத்தை தரமற்ற நிலையில் விட்டுச் செல்லலாம்.
வேகமும், கொள்கையளவில், துல்லியத்தை விடத் தாக்குவதற்கு எளிதான சிக்கலாகும். அடுத்தடுத்த மாடல் தலைமுறைகளில் inference செலவுகள் குறையவும், throughput உயரவும் வழக்கமாக உள்ளது; எனவே இன்றைய மூன்று நிமிட சுழற்சி, எந்தவொரு கடினமான உச்சவரம்பைப் பற்றியதை விட, தற்போதைய நிலையைப் பற்றியதே அதிகம் கூறுகிறது.
பிளாட்-பேக்கிற்கு அப்பால்: காட்சி ரோபாட்டிக்ஸ்
இந்த பெஞ்ச்மார்க் முடிவு தனித்து நிற்கவில்லை. ஆதாரப் பொருளின் படி, Astra காட்சி ரோபாட்டிக் பணிகளிலும் வலுவாகச் செயல்படுகிறது; இது ஒரு காட்சியைப் படித்து, இயற்பியல் அமைப்பைப் பற்றி பகுத்தறியும் அதே அடிப்படைத் திறன், தளபாடத்தின் நிலையான புகைப்படங்களுக்கு அப்பாலும் செல்கிறது என்பதைக் குறிக்கிறது.
இந்தத் தொடர்பு முக்கியமானது, ஏனெனில் ரோபாட்டிக்ஸ் எப்போதும் actuatators-ஐ விட perception மற்றும் பொது அறிவால் அதிகம் வரம்பிடப்பட்டுள்ளது. பாதி முடிந்த ஒரு அசெம்பிளியைப் பார்த்து, அதை ஒரு திட்டத்துடன் ஒப்பிட்டு, என்ன தவறு எனக் கூறக்கூடிய ஒரு ரோபோ, கையாளுதலுக்கு அமைப்புரீதியாக ஒத்த ஒன்றைச் செய்கிறது: அது ஒரு பொருளின் சரியான நிலையின் உள் மாதிரியை உருவாக்கி, அதை யதார்த்தத்துடன் ஒப்பிடுகிறது. இத்தகைய பிழை கண்டறிதல், பிழை திருத்தத்திற்கான ஒரு தர்க்கரீதியான முன்னோடியாகும்.
நேர்மையாக இருக்க வடிவமைக்கப்பட்ட ஒரு பெஞ்ச்மார்க்
FAB-இன் வடிவமைப்பு, AI மதிப்பீடு எவ்வாறு முதிர்ச்சியடைந்து வருகிறது என்பதையும் எடுத்துக்காட்டுகிறது. சுருக்கமான புதிர் தீர்வைச் சோதிப்பதற்குப் பதிலாக, அது அன்றாட வாழ்விலிருந்து ஒரு பணியைக் கடன் வாங்கி, கட்டுப்படுத்தப்பட்ட பிழைகளை அறிமுகப்படுத்துகிறது; இது மதிப்பீட்டை புறநிலையாகவும் மீளுருவாக்கக்கூடியதாகவும் ஆக்குகிறது. வேண்டுமென்றே செய்யப்பட்ட பிழைகளைப் பட்டியலிட முடியும், எனவே சரியான பதிலைச் சரிபார்க்க முடியும், தவறான பதில் தெளிவாகத் தெரியும்.
இந்தக் கண்டிப்பின் விலை குறுகிய தன்மையே. மூன்று IKEA பொருட்கள் ஒரு சிறிய மாதிரி; அவற்றில் வெற்றி பெறுவது ஒரு சமையலறை அலமாரி அல்லது ஒரு சைக்கிளில் வெற்றி பெறும் என உத்தரவாதம் அளிக்காது. ஆனால் காட்சிப் பகுத்தறிவு முன்னேற்றத்தின் ஒரு திசைச் சமிக்ஞையாக, இந்த பெஞ்ச்மார்க் அசாதாரணமாகத் தெளிவாக உள்ளது: ஒரு மாடல் ஒரு இயற்பியல் பொருளைப் பார்த்து, அதில் என்ன தவறு எனக் கூற முடியுமா என்பதை இது அளவிடுகிறது.
அடுத்து கவனிக்க வேண்டியவை
இந்த முடிவு ஒரு மைல்கல்லாகத் தெரிகிறதா அல்லது ஒரு அடிக்குறிப்பாகத் தெரிகிறதா என்பதை மூன்று விஷயங்கள் தீர்மானிக்கும். முதலாவது, Fable 5.1 மற்றும் Opus 5 மீதான Astra-வின் முன்னிலை வரும் மாதங்களில் விரிவடைகிறதா அல்லது குறைகிறதா என்பதே. இரண்டாவது, நேரடி நேர வழிகாட்டலைச் சாத்தியமாக்கும் அளவுக்கு inference நேரங்கள் குறையுமா என்பதே. மூன்றாவது, பிழை கண்டறியும் திறன், பிளாட்-பேக் தளபாடத்திலிருந்து ஆராய்ச்சியாளர்கள் மனதில் கொண்டுள்ள அதிக குழப்பமான பழுதுபார்ப்புப் பணிகளுக்குப் பொதுமைப்படுத்தப்படுமா என்பதே.
இப்போதைக்கு, நடைமுறை எடுத்துக்காட்டு அளவில் சிறியது ஆனால் உண்மையானது: ஒரு வருடத்திற்கும் குறைவான காலத்திற்கு முன்பு தலைகீழாகப் பொருத்தப்பட்ட அலமாரி அடைப்புக்குறியை நம்பகமாகக் கண்டறிய முடியாத தொழில்நுட்பம், இப்போது பத்தில் எட்டு முறை அந்தத் தவறைக் கண்டறிந்து விளக்க முடியும். ஒரு dowel எந்தப் பக்கம் செல்ல வேண்டும் என்பதைப் பற்றி துணையுடன் வாதிட்ட எவரும், அந்த முன்னேற்றத்தை மதிப்புள்ள ஒன்றாகக் கருதலாம்.
இந்தக் கட்டுரை The Decoder-இன் செய்தி அறிக்கையை அடிப்படையாகக் கொண்டது. மூலக் கட்டுரையைப் படிக்கவும்.
Originally published on the-decoder.com
