Gemini साठी Google डबल-ब्लाइंड AI बेंचमार्क चाचणीचा पायलट करत आहे

AI बेंचमार्क लीक रोखण्यासाठी Google चे पाऊल

Google Deepmind म्हणते की ते प्रगत AI प्रणालींचे मूल्यांकन करण्याचा एक नवा मार्ग तपासत आहे, ज्यात ना चाचणी प्रश्न उघड केले जातील ना मॉडेल स्वतः. स्वामित्व असलेल्या frontier AI मॉडेलचे पहिले डबल-ब्लाइंड मूल्यांकन असे वर्णन केलेला हा पायलट, क्षेत्रातील सर्वाधिक सातत्याने जाणवणाऱ्या मापन समस्यांपैकी एक, benchmark contamination, यावर लक्ष केंद्रित करतो.

समस्या सोपी आहे, पण परिणाम गंभीर आहेत. जर एखाद्या मॉडेलने प्रशिक्षण किंवा optimization दरम्यान आधीच बेंचमार्क प्रश्न आत्मसात केले असतील, तर मजबूत स्कोर्सचे अर्थ लावणे कठीण होते. असा निकाल व्यापक क्षमतेऐवजी पाठांतर, थेट संपर्क, किंवा टेस्ट-विशिष्ट tuning दर्शवू शकतो. कंपन्या, संशोधक, नियामक आणि बाह्य मूल्यांकनकर्त्यांसाठी, मॉडेलची तुलना आणि जोखीम मोजण्यासाठी वापरल्या जाणाऱ्या मुख्य साधनांपैकी एकावरील विश्वास त्यामुळे कमी होतो.

दिलेल्या अहवालानुसार, Google ची पद्धत गोपनीय चाचणी साहित्य एका cryptographically protected वातावरणात ठेवते, त्यामुळे model provider ला प्रॉम्प्ट्स आधीच पाहता येत नाहीत. त्याच वेळी, evaluator ला model weights वर प्रवेश मिळत नाही. ही रचना बाह्य चाचणीत दीर्घकाळ असलेली तडजोड दूर करण्यासाठी आहे, जिथे साधारणपणे एका बाजूला sensitive benchmark data सोडावे लागते किंवा proprietary model assets सामायिक करावे लागतात.

Gemini Flash Lite केंद्रित पायलट

हा पायलट प्रकल्प Gemini Flash Lite मालिकेतील एक मॉडेल वापरतो आणि Singapore AI Safety Institute यांसह भागीदारांसोबत confidential benchmarks वर चालतो. दोन्ही पक्षांची गोपनीयता जपत कठोर बाह्य मूल्यांकन करता यावे, हे नोंदवलेले उद्दिष्ट आहे. प्रत्यक्षात, benchmark Google पासून लपवला जातो आणि मॉडेलचे अंतर्गत तपशील मूल्यांकनकर्त्यापासून लपवले जातात.

हे महत्त्वाचे आहे कारण प्रगत मॉडेल चाचणी वाढत्या प्रमाणात sensitive materials वर अवलंबून आहे. cybersecurity, misuse potential, किंवा सरकारी मूल्यांकनांसारख्या क्षेत्रांमध्ये, benchmark prompts स्वतःच मौल्यवान किंवा जोखमीचे असू शकतात. ते प्रश्न लीक झाले, तर चाचणी आपले बरेचसे मूल्य गमावू शकते. model weights देण्यास सांगितल्यास, model providers ना त्यांच्या बौद्धिक संपदा आणि सुरक्षिततेच्या चिंता भेडसावतात.

लेख हा नवा प्रक्रिया दोन्ही समस्या एकाच वेळी सोडवण्याचा प्रयत्न म्हणून मांडतो. Google Cloud च्या confidential computing portfolio मधील Confidential Space वापरून संरक्षित execution environment तयार करत असल्याचे Google म्हणते. याचा उद्देश केवळ policy-based confidentiality किंवा contractual restriction नाही, तर cryptographic verification ने समर्थित तांत्रिक अलगाव आहे.

Benchmark contamination मोठी समस्या का बनली आहे

Machine learning मध्ये benchmark contamination ही नवी चिंता नाही, पण मॉडेल्स मोठी होत गेल्यावर, प्रशिक्षण डेटा वाढत गेल्यावर आणि स्पर्धात्मक दबाव तीव्र होत गेल्यावर ती अधिक गंभीर होते. Proprietary frontier systems इंटरनेट-स्तरावरील आणि curated data च्या प्रचंड प्रमाणावर प्रशिक्षित केले जातात. त्यामुळे benchmarkसदृश साहित्य, किंवा त्यांची जवळची रूपे, आधीच training pipeline मध्ये गेली असण्याची शक्यता वाढते.

एखादा benchmark थेट समाविष्ट नसला, तरी fine-tuning, human feedback loops, synthetic training material, किंवा टेस्ट स्वरूपांवर वारंवार होणाऱ्या सार्वजनिक चर्चेमुळे optimization मधून leakage होऊ शकते. असे झाल्यावर headline स्कोर्स वास्तविक-जगातील क्षमता जास्त दाखवू शकतात. बाह्य निरीक्षकांसाठी मुख्य प्रश्न हा राहतो की benchmark सामान्यीकरण मोजत आहे की rehearsal.

Google चे प्रस्तावित उत्तर प्रक्रियात्मक तितकेच तांत्रिक आहे: चाचणी model developer साठी ब्लाइंड ठेवा, आणि मॉडेल test owner साठी अपारदर्शक ठेवा. त्यामुळे प्रत्येक मूल्यांकन समस्या सुटत नाही, पण सर्वात घातक समस्यांपैकी एकाला थेट लक्ष्य केले जाते. मॉडेलला प्रॉम्प्ट्स आधीच दिसत नसतील, तर प्रदात्याकडे त्या विशिष्ट घटकांसाठी खास optimize करण्याच्या कमी संधी असतील.

संवेदनशील बाह्य मूल्यांकनांमध्ये पूर्वी तडजोड करावी लागत असल्याचेही अहवालात नमूद केले आहे. मूल्यांकनकर्त्यांना प्रॉम्प्ट्स द्यावे लागत आणि प्रदात्यावर त्यांचा साठा करणार नाही किंवा गैरवापर करणार नाही असा विश्वास ठेवावा लागत असे, किंवा प्रदात्यांना model weights सामायिक करून त्यासोबतचा exposure स्वीकारावा लागत असे. डबल-ब्लाइंड व्यवस्था हा पर्यायच काढून टाकण्याचा उद्देश ठेवते.

हा केवळ Google चा प्रश्न नाही, तर उद्योगाचा विश्वासाचा प्रश्न आहे

याचे व्यापक महत्त्व असे की AI benchmarking आता केवळ leaderboard चा मुद्दा राहिलेला नाही, तर governance चा मुद्दा झाला आहे. स्कोर्स उत्पादन लाँच, enterprise procurement, safety debates, आणि policy चर्चांमध्ये वाढत्या प्रमाणात उद्धृत केले जातात. जर या दाव्यांमागील चाचण्या विश्वसनीय नसतील, तर AI performance भोवतीचा सार्वजनिक evidence base चा मोठा भाग कमी विश्वासार्ह ठरतो.

लेख Anthropic च्या Fable 5 साठी अलीकडील ARC-AGI मूल्यांकनातील विलंबाचे उदाहरण देतो, जिथे data-retention निर्बंधांमुळे स्वतंत्र चाचणी गुंतागुंतीची झाली. हे उदाहरण मजबूत मॉडेल्स आणि गोपनीय बाह्य बेंचमार्क्स समोरासमोर आल्यावर निर्माण होणारा operational friction दाखवते. दिलेल्या अहवालातून inference: Google आपला पायलट अशा प्रकारे मांडत आहे की दोन्ही बाजूंना अस्वस्थ disclosure मध्ये ढकलल्याशिवाय हे मूल्यांकन अधिक सुलभ होतील.

इथे standard-setting ची महत्त्वाकांक्षा देखील आहे. हा प्रयत्न उद्योगाला अधिक विश्वासार्ह आणि व्यापकपणे भरोसेमंद AI systems तयार करण्यात मदत करेल, असे Google म्हणते. हे विधान काळजीपूर्वक वाचले पाहिजे. पायलट हा संपूर्ण क्षेत्राचा उपाय नाही, आणि benchmark वरचा विश्वास फक्त प्रॉम्प्ट गुप्ततेवर अवलंबून नसतो. test design ची गुणवत्ता, statistical rigor, reproducibility, benchmark scope, आणि evaluator independence अजूनही महत्त्वाची आहेत. पण चाचणी प्रक्रियेभोवतीचे तांत्रिक संरक्षण stack चा अर्थपूर्ण भाग बनू शकते.

पुढे काय पाहावे

सर्वात महत्त्वाचा पुढचा प्रश्न म्हणजे ही पद्धत एका पायलटपलीकडे पसरते का. इतर प्रमुख model developers, स्वतंत्र संस्था, आणि सरकारी मूल्यांकनकर्ते अशा यंत्रणा स्वीकारल्यास, हा approach frontier-model oversight चा सामान्य भाग बनू शकतो. तो एकदाच दाखवलेल्या प्रात्यक्षिकांपुरताच राहिला, तर त्याचा प्रभाव मर्यादित राहील.

दुसरा खुला प्रश्न म्हणजे कोणत्या प्रकारच्या मूल्यांकनांना सर्वाधिक फायदा होतो. लेख सूचित करतो की cybersecurity आणि government testing हे विशेषतः मजबूत उमेदवार आहेत, कारण प्रॉम्प्ट्स स्वतःच sensitive असू शकतात. हाच तर्क काही biosecurity, national security, किंवा commercial red-team परिस्थितींनाही लागू होऊ शकतो, जरी दिलेल्या मजकुरात त्या क्षेत्रांचा थेट उल्लेख नाही.

सध्या मुख्य घडामोड स्पष्ट आहे: Google Deepmind AI benchmarking ला trust-me प्रकारच्या व्यवस्थांपासून दूर नेऊन तांत्रिकरीत्या enforced confidentiality कडे वळवण्याचा प्रयत्न करत आहे. अशा क्षेत्रात, जिथे performance claims स्वतः systems इतक्याच तीव्रतेने वादग्रस्त ठरतात, हा उल्लेखनीय बदल आहे. हा पायलट AI capability कशी मोजावी या मोठ्या वादाला सोडवत नाही, पण तो एक मूलभूत credibility gap दूर करतो. जर benchmark चा उद्देश मॉडेल काय करू शकते हे तपासणे असेल, तर मॉडेलला आधीच परीक्षा माहित नसावी.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.