ఫ్లాట్-ప్యాక్ బుక్‌షెల్ఫ్‌ను పూర్తి చేసిన తర్వాత ఒక అదనపు స్క్రూ నేలపై దొర్లుతూ కనిపిస్తే, IKEA అసెంబ్లీ ఏదో తప్పు జరిగిందనే నిశ్శబ్ద భయం ఎవరికైనా కలుగుతుంది. ఇప్పుడు ఆ వాదనను పరిష్కరించగల యంత్రం ఉండవచ్చు. Epoch AI యొక్క Furniture Assembly Benchmark (FAB) ప్రకారం, OpenAI యొక్క GPT-6 Astra, నిర్మాణం మధ్యలో ఉన్న ఫర్నిచర్ ఫోటోను పరిశీలించి, అసెంబ్లీ ఎక్కడ తప్పు జరిగిందో ఖచ్చితంగా గుర్తించగలదు. ఈ పనిలో అది 80 శాతం ఖచ్చితత్వం సాధించింది.
ఈ ఫలితం వచ్చిన సుమారు పది నెలల క్రితం, బెంచ్‌మార్క్‌లో అత్యుత్తమ ప్రదర్శన చేసిన Claude Opus 4.5 కేవలం 28 శాతం మాత్రమే సాధించింది. దాదాపు పూర్తి వైఫల్యం నుండి, ప్రవేశపెట్టిన తప్పులలో పెద్ద మెజారిటీని పట్టుకునే స్థాయికి ఈ పెరుగుదలే తాజా FAB లీడర్‌బోర్డ్ నవీకరణలో ప్రధానాంశం.
Furniture Assembly Benchmark ఎలా పనిచేస్తుంది
FAB ఉద్దేశపూర్వకంగా సాధారణం, అదే దాని ప్రధానాంశం అనిపిస్తుంది. ఈ బెంచ్‌మార్క్ మూడు IKEA ఫర్నిచర్ ముక్కలను అసెంబ్లీ సమయంలో ఫోటో తీస్తుంది, అలాగే ఉద్దేశపూర్వకంగా తప్పులు ప్రవేశపెడుతుంది. తర్వాత మోడల్‌కు ఆ ఫోటోలు మరియు తయారీదారు సూచనలు చూపించి, ఒకేసారి రెండు పనులు చేయాలని కోరుతారు: తప్పును గుర్తించడం మరియు ఏమి తప్పు జరిగిందో మాటల్లో వివరించడం.
ఈ కలయికే ఈ పనిని సాధారణ ఇమేజ్-వర్గీకరణ సమస్య కంటే కష్టతరం చేస్తుంది. ఏదో తప్పుగా కనిపిస్తోందని మోడల్ కేవలం సూచించలేదు. పాక్షికంగా అసెంబుల్ చేసిన వస్తువులో తప్పును గుర్తించి, మానవ నిర్మాత ఆ వివరణ ఆధారంగా చర్య తీసుకోగలిగే స్థాయిలో స్పష్టంగా వివరించాలి. అందువల్ల ఈ బెంచ్‌మార్క్ దృశ్య తార్కికత, సూచనల అనుసరణ మరియు భాషా ఉత్పత్తిని ఒకే స్కోరులో కలుపుతుంది.
ఫ్లాట్-ప్యాక్ ఫర్నిచర్ బోరింగ్‌గా ఉండటం వల్లనే ఇది ఉపయోగకరమైన ఒత్తిడి పరీక్షగా మారుతుంది. ముక్కలు దృఢంగా ఉంటాయి, సూచనలు చిత్రాల రూపంలో ఉంటాయి, మరియు సరైనది ఏదో స్పష్టంగా ఉంటుంది. షెల్ఫ్ రైలు తప్పు ముఖంపై అమర్చబడిందా లేదా అనేది స్పష్టం. ఇమేజ్ ఆధారిత మూల్యాంకనాలను గందరగోళపరచగల ఆత్మాశ్రయ తీర్పుకు ఇక్కడ చాలా తక్కువ స్థానం ఉంది.
పది నెలల్లో 28 శాతం నుండి 80 శాతానికి
ఈ నవీకరణలో అత్యంత ఆకర్షణీయమైన అంశం మెరుగుదల పరిమాణం. నవంబర్ 2025లో, అత్యంత బలమైన అందుబాటులో ఉన్న మోడల్ బెంచ్‌మార్క్‌లో మూడో వంతు కంటే తక్కువ స్కోరు చేసింది. పది నెలల తర్వాత, ఈ సాధనం తప్పు కంటే ఎక్కువసార్లు సరైనది చెప్పే స్థాయికి లీడర్ చేరుకుంటోంది.
- నవంబర్ 2025: Claude Opus 4.5 28 శాతంతో అగ్రస్థానంలో నిలిచింది.
- సెప్టెంబర్ 2026: OpenAI యొక్క GPT-6 Astra 80 శాతం చేరుకుంది, ఫోటోకు సగటున సుమారు మూడు నిమిషాలు తీసుకుంటుంది.
- Claude Fable 5.1 70 శాతంతో ఉంది.
- Claude Opus 5 61 శాతంతో నిలిచింది.
- Kimi K3 వంటి చైనీస్ ఓపెన్-వెయిట్ మోడల్స్ లీడర్ల కంటే కనీసం ఏడు నెలలు వెనుకబడి ఉన్నాయి.
ఐదు డేటా పాయింట్లలో మూడు, ఒకే ఒక అపారమైన విజేత కాకుండా అర్థవంతమైన బ్యాండ్‌లో కేంద్రీకృతమైన రంగాన్ని వివరిస్తాయి. Astra కొంత ఆధిక్యం కలిగి ఉంది, కానీ Fable 5.1 దానికి దగ్గరగా ఉంది, తదుపరి విడుదలల రౌండ్‌తో క్రమం మారవచ్చు. మరింత వెల్లడించే అంతరం ఫ్రాంటియర్ మరియు ఓపెన్-వెయిట్ సవాళ్ల మధ్య ఉంది, అక్కడ Kimi K3 మరియు దాని సహచరులు సుమారు ఏడు నెలలు వెనుకబడి ఉన్నాయి.
వక్రరేఖ ఎందుకు అంత తీవ్రంగా వంగింది
మూల పదార్థం ఈ లాభాన్ని ఒక వివిక్త ఘనతగా కాకుండా విస్తృత మార్పులో భాగంగా చూపుతుంది. కొంతకాలం క్రితం వరకు మోడల్స్ చాలా సరళమైన దృశ్య పనుల్లో విఫలమవుతున్నాయి, అందువల్ల బహుళ-దశల తనిఖీ సమస్యపై 80 శాతం ఫలితం గమనార్హం. విజన్-లాంగ్వేజ్ వ్యవస్థలు చిత్రంలో వాస్తవంగా కనిపించే విషయాలపై వివరణలను ఆధారపడే సామర్థ్యం మెరుగుపడుతున్న కొద్దీ, భౌతిక వస్తువుల చుట్టూ నిర్మించిన బెంచ్‌మార్క్‌లు గతంలో కంటే ఇప్పుడు సాధ్యమయ్యేవిగా మారాయి.
వేగమే మిగిలిన అడ్డంకి
Astra స్కోరుకు ఒక ముఖ్యమైన షరతు ఉంది: ఫోటోకు మూడు నిమిషాలు. నిజ-సమయ అసెంబ్లీ సహాయానికి ఇది చాలా నెమ్మది, చాలామంది మొదట ఊహించే దృశ్యం అదే. మీ చేతులు నిండి ఉన్నప్పుడు, నాలుగో దశలో సగం దాటినప్పుడు, తీర్పు చెప్పడానికి మూడు నిమిషాలు తీసుకునే సహాయకుడు ఉపయోగకరం కాదు.
అయినప్పటికీ పరిశోధకులు ఈ సామర్థ్యాన్ని ఒక మెట్టుగా చూస్తారు. కారు మరమ్మతులు లేదా ఉపకరణాల మరమ్మతులు వంటి పనుల వైపు ఈ అంతర్లీన నైపుణ్యాన్ని భవిష్యత్తులో మళ్లించవచ్చని వారు సూచిస్తారు. అక్కడ మోడల్ పనిచేయని లేదా పాక్షికంగా విడదీసిన వ్యవస్థ ఫోటోను డాక్యుమెంటేషన్‌తో పోల్చి లోపాన్ని వివరిస్తుంది. ఆ రంగాలు బుక్‌షెల్ఫ్ కంటే గందరగోళంగా ఉంటాయి: భాగాలు దాచి ఉంటాయి, లైటింగ్ మారుతుంది, మరియు మునుపటి మరమ్మతులు యంత్రాన్ని ప్రామాణికం కాని స్థితిలో వదిలివేయవచ్చు.
సూత్రప్రాయంగా వేగం కూడా ఖచ్చితత్వం కంటే పరిష్కరించడానికి సులభమైన సమస్య. వరుస మోడల్ తరాల్లో ఇన్ఫరెన్స్ ఖర్చులు తగ్గుతూ, థ్రూపుట్ పెరుగుతూ ఉన్నాయి, కాబట్టి ఈరోజు మూడు నిమిషాల టర్న్‌అరౌండ్ ఏదైనా కఠిన పరిమితి గురించి కాకుండా ప్రస్తుత సాంకేతిక స్థితి గురించి ఎక్కువ చెబుతుంది.
ఫ్లాట్-ప్యాక్ దాటి: దృశ్య రోబోటిక్స్
ఈ బెంచ్‌మార్క్ ఫలితం ఒంటరిగా నిలవదు. మూల పదార్థం ప్రకారం, Astra దృశ్య రోబోటిక్ పనులలో కూడా బలంగా ప్రదర్శన చేస్తుంది, ఇది ఒక దృశ్యాన్ని చదివి భౌతిక అమరికపై తార్కికంగా ఆలోచించే అదే అంతర్లీన సామర్థ్యం, ఫర్నిచర్ స్థిర ఫోటోలను దాటి వ్యాపిస్తుందని సూచిస్తుంది.
ఆ సంబంధం ముఖ్యం ఎందుకంటే రోబోటిక్స్ ఎప్పుడూ యాక్చుయేటర్ల కంటే అవగాహన మరియు సామాన్య జ్ఞానం వల్ల ఎక్కువ పరిమితమైంది. సగం పూర్తయిన అసెంబ్లీని చూసి, దాన్ని ప్రణాళికతో పోల్చి, ఏమి తప్పు ఉందో చెప్పగల రోబోట్ నిర్వహణకు నిర్మాణాత్మకంగా సమానమైన పని చేస్తుంది: అది వస్తువు యొక్క సరైన స్థితి యొక్క అంతర్గత నమూనాను నిర్మించి, దాన్ని వాస్తవికతతో పోలుస్తుంది. ఇలాంటి లోప గుర్తింపు లోప సవరణకు తార్కిక పూర్వగామి.
నిజాయితీగా ఉండేలా నిర్మించిన బెంచ్‌మార్క్
FAB రూపకల్పన కూడా AI మూల్యాంకనం ఎలా పరిపక్వం చెందుతోందో చెబుతుంది. నైరూప్య పజిల్-పరిష్కారాన్ని పరీక్షించడం బదులు, ఇది సాధారణ జీవితం నుండి ఒక పనిని తీసుకొని నియంత్రిత లోపాలను ప్రవేశపెడుతుంది, ఇది స్కోరింగ్‌ను లక్ష్యాధారితంగా మరియు పునరుత్పాదకంగా చేస్తుంది. ఉద్దేశపూర్వక తప్పులను జాబితా చేయవచ్చు, కాబట్టి సరైన సమాధానం ధృవీకరించదగినది మరియు తప్పు సమాధానం స్పష్టంగా తెలుస్తుంది.
ఆ కఠినత్వం ధర సంకుచితత్వం. మూడు IKEA ముక్కలు చిన్న నమూనా, మరియు వాటిపై విజయం వంటగది క్యాబినెట్ లేదా సైకిల్‌పై విజయానికి హామీ ఇవ్వదు. కానీ దృశ్య తార్కికత పురోగతికి దిశాత్మక సంకేతంగా, ఈ బెంచ్‌మార్క్ అసాధారణంగా స్పష్టంగా ఉంటుంది: ఇది ఒక మోడల్ భౌతిక వస్తువును చూసి దానిలో ఏమి తప్పు ఉందో చెప్పగలదా అనేది కొలుస్తుంది.
తర్వాత ఏమి గమనించాలి
ఈ ఫలితం ఒక మైలురాయిగా కనిపిస్తుందా లేదా ఒక పాదసూచికగా మిగులుతుందా అనేది మూడు విషయాలు నిర్ణయిస్తాయి. మొదటిది, Fable 5.1 మరియు Opus 5 పై Astra ఆధిక్యం రాబోయే నెలల్లో పెరుగుతుందా లేదా తగ్గుతుందా. రెండవది, నిజ-సమయ మార్గదర్శకత్వాన్ని సాధ్యమయ్యేలా చేసే స్థాయికి ఇన్ఫరెన్స్ సమయాలు తగ్గుతాయా. మూడవది, లోప గుర్తింపు నైపుణ్యం ఫ్లాట్-ప్యాక్ ఫర్నిచర్ నుండి పరిశోధకులు ఊహించిన గందరగోళ మరమ్మతు పనులకు సాధారణీకరించబడుతుందా.
ప్రస్తుతానికి, ఆచరణాత్మక ముఖ్యాంశం నిరాడంబరమైనది కానీ నిజమైనది: ఏడాది కంటే తక్కువ కాలం క్రితం తలకిందులైన షెల్ఫ్ బ్రాకెట్‌ను నమ్మదగిన విధంగా గుర్తించలేని సాంకేతికత, ఇప్పుడు పదిసార్లలో ఎనిమిదిసార్లు ఆ తప్పును గుర్తించి వివరించగలదు. డోవెల్ ఏ వైపు వెళ్లాలనే దానిపై భాగస్వామితో ఎప్పుడైనా వాదించిన ఎవరైనా, ఆ పురోగతిని కలిగి ఉండదగినదిగా భావించవచ్చు.
ఈ వ్యాసం The Decoder యొక్క రిపోర్టింగ్ ఆధారంగా రూపొందించబడింది. అసలు వ్యాసాన్ని చదవండి.
Originally published on the-decoder.com
