AI బెంచ్‌మార్క్‌లు పురోగతిని పోల్చేందుకు ఉపయోగపడతాయి. ఒక మోడల్ ప్రమాణీకరించిన పరీక్ష రాస్తుంది, దాని స్కోర్ ప్రత్యామ్నాయాలను పోల్చడానికి సులభమైన మార్గమవుతుంది. కానీ ఈ సరళత కొలవాల్సిన రంగాన్నే బెంచ్‌మార్క్ మార్చే సమస్యను దాచవచ్చు.

కంప్యూటర్ శాస్త్రవేత్త Moritz Hardt ఆధునిక AI బెంచ్‌మార్కింగ్ ప్రాథమికంగా లోపభూయిష్టమని అంటున్నారు. స్కోర్లను తెలివితేటలు, సామర్థ్యం లేదా వాస్తవ ప్రపంచ విశ్వసనీయతకు రుజువుగా చూడటం ఆయన ఆందోళన.

స్కోర్ లక్ష్యంగా మారినప్పుడు

ఒక కొలత లక్ష్యంగా మారితే ప్రజలు అదే కొలతను మెరుగుపరచడానికి ప్రయత్నిస్తారు. machine learningలో ఇది ఒక నిర్దిష్ట dataset లేదా leaderboardలో బాగా పనిచేసే కానీ విస్తృత సామర్థ్యం లేని వ్యవస్థలకు దారితీయవచ్చు.

వ్యవస్థలు “తెలివైన పని ఏదీ చేయకుండా” leaderboardలో మెరుగుపడవచ్చని Hardt హెచ్చరించారు. అధిక స్కోర్ నిజమైన పురోగతి కావచ్చు; కానీ పరీక్ష ప్రత్యేకతలకు సరిపోయే ఫలితమూ కావచ్చు.

ఆకుపచ్చ సోఫాపై కూర్చున్న వ్యక్తి.
Moritz Hardt బెంచ్‌మార్క్‌లను “machine learningను సృష్టించిన పొరపాటు” అంటారు. Jerrit Peinelt for Quanta Magazine

పెద్ద language models కోసం కొత్త పరీక్షలు తరచూ వస్తున్నాయి. అవి ఉపయోగకరమైన ఆధారాలు ఇవ్వగలిగినా, పరీక్షను కనుగొని దానికి శిక్షణ ఇచ్చి గత స్కోర్‌ను అధిగమించే సంకుచిత పోటీని ప్రోత్సహించవచ్చు.

The uranium cubes that exposed Nazi Germany’s nuclear failure
More in Science

నాజీ జర్మనీ పనిచేసే రియాక్టర్‌కు చాలా దూరంగా ఉందని యురేనియం క్యూబ్‌లు సూచిస్తున్నాయి

మిగిలిన యురేనియం క్యూబ్‌లు మరియు యుద్ధకాల ఆధారాల కొత్త విశ్లేషణ, తుది రియాక్టర్ ప్రయోగానికి అవసరమైన యురేనియం, హెవీ వాటర్ నాజీ జర్మనీ వద్ద లేవని సూచిస్తోంది.

Read article

అతిపెద్ద ప్రభావం చరిత్ర

బెంచ్‌మార్క్‌లు AI పరిశోధన దిశను పలుమార్లు మార్చాయి. 1987లో Defense Advanced Research Projects Agency speech-to-text బెంచ్‌మార్క్, సరళమైన statistical పద్ధతులను ప్రముఖ వ్యవస్థలు అధిగమించలేదని చూపింది. దాంతో AIపై ఆసక్తి, నిధులు తగ్గాయి.

2012లో ImageNet ఎనిమిది-పొరల neural network పనితీరును చూపించి deep-learning విప్లవానికి ఊతమిచ్చింది. బెంచ్‌మార్క్‌లు పురోగతిని మాత్రమే కొలవవు; పురోగతి అంటే ఏమిటో కూడా నిర్వచిస్తాయి.

Hardt తన 2026 పుస్తకం The Emerging Science of Machine Learning Benchmarksలో బెంచ్‌మార్క్‌లను “machine learningను సృష్టించిన పొరపాటు” అంటారు. అయినప్పటికీ అవి నిజమైన పురోగతికి దోహదపడ్డాయని చెబుతారు.

మెరుగైన మూల్యాంకనానికి అవసరమైనవి

బెంచ్‌మార్కింగ్‌ను తుది పరీక్షగా కాకుండా నిరంతర పరిశోధనా సమస్యగా చూడాలి. బెంచ్‌మార్క్ ఏమి కొలుస్తుంది, ఉపయోగించే పరిస్థితిని ఎంతవరకు ప్రతిబింబిస్తుంది, మోడళ్లు దానికోసమే సిద్ధమయ్యాయా అనే ప్రశ్నలు అడగాలి.

కంప్యూటర్ వద్ద కూర్చున్న వ్యక్తి పక్కచూపు.
1980ల AI winter మరియు 2010ల deep learning విప్లవం రెండింటినీ బెంచ్‌మార్క్‌లు ఎలా ప్రభావితం చేశాయో Hardt ఆసక్తిగా అధ్యయనం చేశారు. Jerrit Peinelt for Quanta Magazine

సంక్లిష్ట సామర్థ్యాలను ఒకే సంఖ్యలో కుదించకూడదు. ఆచరణలో మోడల్ పరిమితులను తెలుసుకోవడం అత్యధిక స్కోర్ కంటే ముఖ్యం.

ప్రమాణీకరించిన మూల్యాంకనాన్ని వదిలేయాల్సిన అవసరం లేదు. భాగస్వామ్య పరీక్షలు లేకుండా పోలిక కష్టం. అయితే వాటి పరిమితులను స్పష్టంగా చూపించే మూల్యాంకనాలు అవసరం.

USC scientists discover how to create a never-ending supply of cancer-fighting cells
More in Science

క్యాన్సర్ కోసం పునరుత్పత్తి చేయగల ఇంజినీర్డ్ రోగనిరోధక కణాలను USC అధ్యయనం పరిశీలించింది

ఎలుకల ఎముక మజ్జలో స్థిరపడిన ఇంజినీర్డ్ అపరిపక్వ రోగనిరోధక కణాలు కొత్త రోగనిరోధక కణాలను ఉత్పత్తి చేసి రక్త, ఘన కణితుల పురోగతిని మందగించాయని USC పరిశోధకులు తెలిపారు.

Read article

AI వినియోగంతో పందెం పెరుగుతుంది

AI మరిన్ని రంగాల్లో ఉపయోగించబడుతున్నందున బెంచ్‌మార్క్ వాదనలు పరిశోధనా ప్రయోగశాలలను దాటి వెళ్తున్నాయి. అవి కొనుగోళ్లు, పెట్టుబడులు మరియు వ్యవస్థ సిద్ధతపై నిర్ణయాలను ప్రభావితం చేయవచ్చు.

పెరుగుతున్న leaderboard ఎల్లప్పుడూ లోతైన తెలివితేటలను సూచించదని Hardt గుర్తుచేస్తున్నారు. స్కోర్లు ఆధారాలు మాత్రమే, తుది తీర్పులు కావు.

ఈ కథనం Quanta Magazine రిపోర్టింగ్ ఆధారంగా రూపొందించబడింది. అసలు కథనాన్ని చదవండి.

Originally published on quantamagazine.org