AI बेंचमार्कना स्कोअरबोर्ड नव्हे, तर विज्ञान बनणे गरजेचे आहे

AI बेंचमार्क प्रगतीची तुलना करण्यासाठी वापरले जातात. मॉडेल प्रमाणित परीक्षा देते आणि त्याचा स्कोअर पर्यायांची तुलना करण्याचा सोपा मार्ग बनतो. मात्र ही साधेपणा मोजायच्या क्षेत्रालाच बेंचमार्क बदलू शकतो ही समस्या लपवू शकतो.

संगणकशास्त्रज्ञ Moritz Hardt यांच्या मते आधुनिक AI बेंचमार्किंग मूलभूतरीत्या सदोष आहे. स्कोअरला बुद्धिमत्ता, क्षमता किंवा प्रत्यक्ष विश्वासार्हतेचा पुरावा मानले जाणे ही त्यांची मुख्य चिंता आहे.

स्कोअर लक्ष्य बनतो तेव्हा

एखादे मोजमाप लक्ष्य झाले की लोक त्याच मोजमापात सुधारणा करण्याचा प्रयत्न करतात. machine learningमध्ये यामुळे विशिष्ट dataset किंवा leaderboardवर चांगली कामगिरी करणाऱ्या पण व्यापक क्षमता नसलेल्या प्रणाली तयार होऊ शकतात.

प्रणाली “बुद्धिमान काहीही न करता” leaderboardवर वर जाऊ शकतात, असा Hardt यांचा इशारा आहे. मोठा स्कोअर खरी प्रगती असू शकतो; पण तो परीक्षेच्या वैशिष्ट्यांशी जुळवून घेतल्याचा परिणामही असू शकतो.

मोठ्या language modelsसाठी नवीन चाचण्या नियमितपणे येत आहेत. त्या उपयोगी पुरावे देऊ शकतात, पण चाचणी शोधणे, तिच्यासाठी प्रशिक्षण देणे आणि जुना स्कोअर मागे टाकणे अशी अरुंद स्पर्धाही निर्माण करतात.

अतिप्रभावाचा इतिहास

बेंचमार्कने AI संशोधनाची दिशा अनेकदा बदलली आहे. १९८७ मध्ये Defense Advanced Research Projects Agencyच्या speech-to-text बेंचमार्कने अग्रगण्य प्रणाली साध्या statistical पद्धतींना मागे टाकत नसल्याचे दाखवले. त्यामुळे AI संशोधनातील रस आणि निधी कमी झाला.

२०१२ मध्ये ImageNetने आठ-स्तरीय neural networkची कामगिरी दाखवून deep-learning क्रांतीला चालना दिली. बेंचमार्क केवळ तांत्रिक कामाचा सारांश देत नाहीत; ते प्रगतीची व्याख्याही ठरवू शकतात.

Hardt यांच्या २०२६ च्या The Emerging Science of Machine Learning Benchmarks या पुस्तकात बेंचमार्कना “machine learning घडवून आणणारी चूक” म्हटले आहे. तरीही त्यांनी वास्तविक प्रगतीलाही हातभार लावला, असे ते मानतात.

चांगल्या मूल्यांकनासाठी काय आवश्यक आहे

बेंचमार्किंगला अंतिम परीक्षेऐवजी सततची संशोधन समस्या मानले पाहिजे. बेंचमार्क नेमके काय मोजतो, तो प्रत्यक्ष वापराचे किती प्रतिनिधित्व करतो आणि मॉडेल्स त्यासाठी खास तयार केली आहेत का, हे तपासणे आवश्यक आहे.

गुंतागुंतीच्या क्षमतांना एका संख्येत मर्यादित करणे टाळले पाहिजे. प्रत्यक्ष वापरात मॉडेलच्या मर्यादा जाणून घेणे सर्वोच्च स्कोअरपेक्षा महत्त्वाचे आहे.

प्रमाणित मूल्यांकन सोडण्याची गरज नाही. मात्र त्याच्या मर्यादा स्पष्ट करणाऱ्या आणि वरवरच्या अनुकूलनाला कमी बळी पडणाऱ्या पद्धती हव्यात.

AI स्वीकार वाढत असताना धोके वाढतात

AI अधिक क्षेत्रांत वापरले जात असल्याने बेंचमार्कचे दावे संशोधन प्रयोगशाळांबाहेर पोहोचत आहेत. ते खरेदी, गुंतवणूक आणि प्रणाली कामासाठी तयार आहे का यावरील निर्णयांवर परिणाम करू शकतात.

वाढता leaderboard नेहमीच अधिक खोल बुद्धिमत्ता दर्शवत नाही, हे Hardt यांची टीका स्पष्ट करते. स्कोअर हा पुरावा आहे, अंतिम निकाल नव्हे.

हा लेख Quanta Magazineच्या वृत्तांकनावर आधारित आहे. मूळ लेख वाचा.