AI बेंचमार्क प्रगति को समझने योग्य बनाने के लिए बनाए जाते हैं। मॉडल एक मानकीकृत परीक्षा देता है और उसका स्कोर अलग प्रणालियों की तुलना का सरल तरीका बन जाता है। लेकिन यही सरलता गंभीर समस्या छिपा सकती है: बेंचमार्क उस क्षेत्र को बदल सकता है जिसे वह मापने का दावा करता है।
कंप्यूटर वैज्ञानिक Moritz Hardt के अनुसार आधुनिक AI बेंचमार्किंग मूल रूप से त्रुटिपूर्ण है, हालांकि उसने machine learning की प्रगति को गति भी दी है। उनकी चिंता यह है कि स्कोर को बुद्धिमत्ता, क्षमता या वास्तविक विश्वसनीयता का प्रमाण मान लिया जाता है।
जब स्कोर लक्ष्य बन जाता है
किसी माप को लक्ष्य बना देने पर लोग उसी माप को बेहतर करने लगते हैं। machine learning में इसका अर्थ ऐसे सिस्टम हो सकते हैं जो एक निश्चित dataset या leaderboard पर अच्छा प्रदर्शन करें, पर व्यापक क्षमता हासिल न करें।
Hardt ने चेताया है कि सिस्टम “बुद्धिमानी का कोई काम किए बिना” leaderboard में ऊपर जा सकते हैं। उच्च स्कोर वास्तविक प्रगति भी हो सकता है, लेकिन वह किसी परीक्षण की विशेषताओं के अनुरूप ढलने का परिणाम भी हो सकता है।
बड़े language models के लिए नए परीक्षण लगातार सामने आ रहे हैं। वे उपयोगी प्रमाण दे सकते हैं, लेकिन तेज़ी से बनने और हल होने वाले बेंचमार्क एक संकीर्ण दौड़ भी पैदा करते हैं: परीक्षण खोजो, उसके लिए प्रशिक्षण दो और पिछला स्कोर पार करो।
अत्यधिक प्रभाव का इतिहास
बेंचमार्क ने AI शोध की दिशा कई बार बदली है। 1987 में Defense Advanced Research Projects Agency के speech-to-text benchmark ने दिखाया कि सरल statistical तरीकों की तुलना में अग्रणी सिस्टम बेहतर नहीं थे। इससे AI में रुचि और वित्तपोषण घटा।
2012 में ImageNet ने आठ-परत neural network के प्रदर्शन को उजागर किया और deep-learning क्रांति को गति दी। इससे पता चलता है कि बेंचमार्क केवल तकनीकी काम का सारांश नहीं बनाते; वे प्रगति की परिभाषा और पूरे क्षेत्र का ध्यान भी तय कर सकते हैं।
Hardt की 2026 की पुस्तक The Emerging Science of Machine Learning Benchmarks में वे बेंचमार्क को “वह गलती जिसने machine learning को बनाया” कहते हैं। फिर भी उनके अनुसार उन्होंने वास्तविक प्रगति में योगदान दिया।
बेहतर मूल्यांकन के लिए क्या जरूरी है
बेंचमार्किंग को कठोर विज्ञान बनाने का अर्थ मूल्यांकन को अंतिम परीक्षा के बजाय निरंतर शोध समस्या मानना है। यह पूछना होगा कि बेंचमार्क वास्तव में क्या मापता है और क्या मॉडल उसके लिए विशेष रूप से तैयार किए गए हैं।
जटिल क्षमताओं को एक संख्या में समेटने से भी बचना होगा। कोई मॉडल एक प्रकार के प्रश्न में मजबूत और दूसरे में कमजोर हो सकता है। व्यावहारिक उपयोग में इन सीमाओं की जानकारी सर्वोच्च स्कोर से अधिक महत्वपूर्ण है।
मानकीकृत मूल्यांकन छोड़ना समाधान नहीं है। साझा परीक्षणों के बिना तुलना और सुधार पहचानना कठिन होगा। लक्ष्य ऐसे मूल्यांकन बनाना है जो अपनी सीमाएं स्पष्ट करें और सतही अनुकूलन के प्रति कम संवेदनशील हों।
AI अपनाने के साथ दांव बढ़ते हैं
AI के अधिक क्षेत्रों में उपयोग से बेंचमार्क के दावे शोध प्रयोगशालाओं से बाहर जा रहे हैं। वे खरीद, निवेश और किसी काम के लिए सिस्टम की तैयारी से जुड़े निर्णयों को प्रभावित कर सकते हैं।
Hardt की आलोचना याद दिलाती है कि बढ़ता leaderboard हमेशा गहरी बुद्धिमत्ता नहीं दर्शाता। स्कोर उपयोगी प्रमाण हैं, अंतिम निर्णय नहीं।
यह लेख Quanta Magazine की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें।
Originally published on quantamagazine.org