NIST ने अंधे मॉडल मूल्यांकन के लिए AI टेस्टबेड लॉन्च किया

NIST AI मॉडल परीक्षण को औपचारिक रूप देने की ओर बढ़ रहा है

अमेरिका का नेशनल इंस्टीट्यूट ऑफ स्टैंडर्ड्स एंड टेक्नोलॉजी एक नया कृत्रिम बुद्धिमत्ता मूल्यांकन प्लेटफ़ॉर्म लेकर आया है, जिसका उद्देश्य शोधकर्ताओं और डेवलपर्स को मॉडल प्रदर्शन और सुरक्षा का परीक्षण करने का अधिक संरचित तरीका देना है। AI Technology Evaluation, या AITE, नामक इस कार्यक्रम की घोषणा 27 जुलाई को की गई थी और इसे एक स्वैच्छिक परीक्षण माध्यम के रूप में तैयार किया गया है, जिसमें मॉडल ब्लाइंड डेटा का उपयोग करते हुए एक पृथक वातावरण के भीतर आंके जाएंगे।

यह पहल इसलिए महत्वपूर्ण है क्योंकि यह AI शासन और तैनाती में एक बढ़ती समस्या को संबोधित करती है: मॉडल क्षमता के बारे में कई दावे अलग-अलग प्रयोगशालाओं, विक्रेताओं और उपयोग मामलों के बीच तुलना करना कठिन होते हैं। बेंचमार्क महंगाई, असमान परीक्षण स्थितियाँ, और सार्वजनिक डेटासेट का उपयोग, जो पहले ही प्रशिक्षण पाइपलाइनों में समाहित हो चुके हो सकते हैं, सुर्खियों वाले प्रदर्शन आंकड़ों को उनकी वास्तविकता से कम या अधिक अर्थपूर्ण बना सकते हैं।

AITE का उद्देश्य एक अधिक नियंत्रित विकल्प प्रदान करना है। स्रोत पाठ के अनुसार, यह प्लेटफ़ॉर्म सामान्य डेटा, मेट्रिक्स और स्कोरिंग उपलब्ध कराएगा ताकि डेवलपर्स बेहतर समझ सकें कि उनके सिस्टम कैसे प्रदर्शन करते हैं। प्लेटफ़ॉर्म के माध्यम से दिया गया परीक्षण डेटा प्रशिक्षण डेटा नहीं बनने के लिए है, जो मूल्यांकन को स्वतंत्र बनाए रखने के लिए एक महत्वपूर्ण डिज़ाइन विकल्प है।

AITE किस लिए बनाया गया है

NIST इस प्रणाली को एक पृथक टेस्टबेड के रूप में वर्णित करता है, जहाँ AI मॉडल ब्लाइंड डेटा को संसाधित करते हुए कई प्रकार के निर्देशों के विरुद्ध आंके जा सकते हैं। यह संरचना क्षमता और सुरक्षा-संबंधी व्यवहार दोनों पर वस्तुनिष्ठ अंतर्दृष्टि उत्पन्न करने के लिए बनाई गई है। केवल खुले, व्यापक रूप से प्रचलित बेंचमार्क पर निर्भर रहने के बजाय, यह प्लेटफ़ॉर्म ऐसे डेटासेट का उपयोग करता है जो सार्वजनिक रूप से उपलब्ध नहीं हैं।

व्यावहारिक प्रभाव सीधा है: मॉडलों के उन सामग्रियों पर आंके जाने की संभावना कम रहती है जिन्हें उन्होंने पहले ही देख लिया हो, और शोधकर्ताओं को परिणामों की तुलना के लिए अधिक विश्वसनीय आधार मिलता है। AI मूल्यांकन में यह एक महत्वपूर्ण अंतर है। कोई बेंचमार्क तब सबसे उपयोगी होता है जब वह दिखाए कि मॉडल वास्तव में अपरिचित कार्यों को कैसे संभालता है, न कि यह कि वह ऐसे डेटा के पैटर्न को कितनी अच्छी तरह दोहराता है जो पहले से उसके वज़नों में समाहित हो सकते हैं।

AITE की शुरुआत बड़े विज़न-लैंग्वेज मॉडलों के लिए छवि-विश्लेषण कार्यों से होगी, जो तीन क्षेत्रों पर केंद्रित होंगे: क्वांटम विज्ञान, जीनोमिक्स, और सार्वजनिक सुरक्षा। NIST का कहना है कि बाद में और कार्य जोड़े जाएंगे। शुरुआती फोकस एक व्यावहारिक विकल्प को दर्शाता है। विज़न-लैंग्वेज सिस्टम वाणिज्यिक और सरकारी दोनों संदर्भों में तेजी से महत्वपूर्ण हो रहे हैं, फिर भी डोमेन-विशिष्ट प्रदर्शन के लिए मूल्यांकन मानक असमान बने हुए हैं।

ब्लाइंड डेटा चर्चा को क्यों बदलता है

प्लेटफ़ॉर्म का सबसे प्रभावशाली तत्व शायद इसका ब्लाइंड डेटासेट का उपयोग है। AI में सार्वजनिक बेंचमार्क मानकीकरण के लिए उपयोगी होते हैं, लेकिन वे सीधे टेस्ट के लिए अनुकूलन करने के प्रोत्साहन भी पैदा करते हैं। इससे वास्तविक सामान्यीकरण और बेंचमार्क-विशिष्ट ट्यूनिंग के बीच का अंतर धुंधला हो सकता है। सार्वजनिक रूप से उपलब्ध न होने वाले मूल डेटासेट का उपयोग करके, AITE इस विकृति को कम करने का प्रयास करता है।

कार्यक्रम में भाग लेने वाले डेटा प्रदाताओं से अपेक्षा की जाती है कि वे मूल, गैर-सार्वजनिक डेटासेट और उन डेटासेट के अनुरूप सार्थक कार्य प्रस्तुत करें। बदले में, मॉडल डेवलपर्स अपने मॉडल इन सामग्रियों के विरुद्ध परीक्षण के लिए प्रस्तुत करते हैं। NIST की भूमिका परीक्षण अवसंरचना और सामान्य स्कोरिंग ढाँचा उपलब्ध कराने की है।

इस व्यवस्था के दो निहितार्थ हैं। पहला, यह डेटा स्वामियों को ऐसा मार्ग देता है जिससे वे डोमेन-विशिष्ट मूल्यांकन सामग्री में योगदान कर सकें, बिना उसे सार्वजनिक प्रशिक्षण संसाधन बनाए। दूसरा, यह मॉडल डेवलपर्स को तीसरे पक्ष के प्रदर्शन संकेत प्राप्त करने का तरीका देता है, जो स्वयं-रिपोर्ट किए गए बेंचमार्क परिणामों की तुलना में अधिक विश्वसनीय हो सकते हैं।

यह AITE को AI मूल्यांकन का सार्वभौमिक समाधान नहीं बनाता। बहुत कुछ डेटासेट की गुणवत्ता, कार्य-डिज़ाइन, और चुनी गई स्कोरिंग विधियों पर निर्भर करेगा कि वे उन विफलताओं को कितना प्रतिबिंबित करती हैं जो व्यवहार में मायने रखती हैं। लेकिन एक रूपरेखा के रूप में, यह मूल्यांकन को अधिक यथार्थवादी और अधिक कठिन परीक्षण स्थितियों की ओर ले जाता है।

स्वैच्छिक AI सुरक्षा अवसंरचना में संघीय भूमिका

यह लॉन्च प्रमुख AI डेवलपर्स के साथ स्वैच्छिक सहयोग पर केंद्रित व्यापक संघीय रणनीति में भी फिट बैठता है। स्रोत पाठ AITE को ट्रंप प्रशासन की मॉडल प्रस्तुतियों के माध्यम से मॉडल सुरक्षा को आगे बढ़ाने की स्वैच्छिक पद्धति का नवीनतम चरण बताता है। यह मई में Commerce Department की उस घोषणा के बाद आता है, जिसमें Google DeepMind, Microsoft, और xAI को Center for AI Standards and Innovation के माध्यम से मॉडल मूल्यांकन के लिए एक संशोधित व्यवस्था शामिल थी।

यह संदर्भ महत्वपूर्ण है। अमेरिकी सरकार केवल किनारे से मार्गदर्शन जारी नहीं कर रही; वह साझा परीक्षण अवसंरचना बना रही है, जिसका उद्देश्य यह तय करना है कि मॉडल गुणवत्ता और सुरक्षा को कैसे मापा जाए। स्वैच्छिक कार्यक्रम औपचारिक विनियमन की तुलना में तेज़ी से आगे बढ़ सकते हैं, खासकर ऐसे क्षेत्र में जहाँ मॉडल आर्किटेक्चर और तैनाती के पैटर्न तेजी से बदलते हैं। साथ ही, उनका प्रभाव इस पर निर्भर करता है कि प्रमुख डेवलपर्स भाग लेना चुनते हैं या नहीं, और क्या व्यापक पारिस्थितिकी तंत्र परिणामस्वरूप मूल्यांकन को विश्वसनीय मानता है।

NIST की संस्थागत भूमिका इस प्रयास को अतिरिक्त महत्व देती है। एजेंसी लंबे समय से तकनीकी क्षेत्रों में मापन, मानक, और मूल्यांकन ढाँचों के केंद्र में रही है। इस परंपरा को AI पर लागू करना एक तार्किक कदम है, खासकर तब जब नीति-निर्माता, एजेंसियाँ, और एंटरप्राइज़ खरीदार विपणन दावों से आगे सिस्टमों की तुलना करने के लिए बेहतर साधन खोज रहे हों।

पहला चरण क्या संकेत देता है

प्रारंभिक क्षेत्रों का चुनाव इस बात के संकेत देता है कि NIST निकट-अवधि की मूल्यांकन चुनौती को कैसे देखता है। क्वांटम विज्ञान और जीनोमिक्स दोनों विशिष्ट ज्ञान और जटिल डेटा व्याख्या से जुड़े हैं, जिससे वे यह जाँचने के उपयोगी परीक्षण मामले बनते हैं कि विज़न-लैंग्वेज मॉडल विशेषज्ञ संदर्भों में विश्वसनीय रूप से काम कर सकते हैं या नहीं। सार्वजनिक सुरक्षा एक अधिक परिचालनात्मक आयाम जोड़ती है, जहाँ गलतियाँ अधिक तात्कालिक परिणाम ला सकती हैं।

वहाँ से शुरुआत करके, AITE स्वयं को केवल एक सामान्य बेंचमार्क केंद्र के बजाय, कार्य-विशिष्ट, उच्च-जोखिम मूल्यांकन के लिए एक स्थल के रूप में स्थापित करता दिखता है। यह सरकारी खरीद और अनुसंधान वित्तपोषण के लिए संभावित रूप से महत्वपूर्ण है, जहाँ एजेंसियों को तेजी से इस बात के प्रमाण चाहिए कि कोई मॉडल सीमित, डोमेन-संबंधित परिस्थितियों में प्रदर्शन कर सकता है।

पहला मूल्यांकन अगस्त 2026 में शुरू होने की योजना है, इसलिए प्रारंभिक नतीजे जल्द आ सकते हैं। संभवतः यही परिणाम तय करेंगे कि AITE एक विशिष्ट तकनीकी कार्यक्रम बनता है या अमेरिकी AI निगरानी और मॉडल तुलना में एक अधिक केंद्रीय संदर्भ बिंदु।

आगे क्या देखना है

तत्काल प्रश्न भागीदारी का है। कोई भी स्वैच्छिक मूल्यांकन ढाँचा उतना ही प्रभावशाली होता है जितनी अच्छी उसके द्वारा प्रस्तुत की गई डेटासेट की गुणवत्ता और उसमें आकर्षित होने वाले मॉडलों की क्षमता। यदि प्रमुख डेवलपर्स को ब्लाइंड कार्यों पर स्वतंत्र स्कोरिंग में मूल्य दिखाई देता है, तो AITE खरीदारों, नियामकों, और शोधकर्ताओं के लिए एक महत्वपूर्ण संकेत बन सकता है। यदि भागीदारी सीमित रहती है, तो इसका प्रभाव भी अधिक सीमित रह सकता है।

दूसरा प्रश्न विस्तार का है। NIST ने कहा है कि समय के साथ और कार्य जोड़े जाएंगे। यदि यह प्लेटफ़ॉर्म अतिरिक्त मोडैलिटीज़ और क्षेत्रों तक बढ़ता है, तो यह मॉडल प्रदर्शन पर चर्चा के लिए अधिक टिकाऊ साझा भाषा स्थापित करने में मदद कर सकता है। यह विशेष रूप से ऐसे उद्योग में उपयोगी होगा, जहाँ “state of the art” वाक्यांश अक्सर मापे जाने की तुलना में अधिक आसानी से दावा किया जाता है।

अभी के लिए, AITE व्यापक AI-सुरक्षा चर्चा से हटकर परिचालन मूल्यांकन अवसंरचना की दिशा में एक ठोस बदलाव दर्शाता है। बेंचमार्क और प्रतिस्पर्धी दावों से भरे बाजार में, NIST द्वारा संचालित ब्लाइंड-डेटा टेस्टबेड AI मूल्यांकन को अधिक कठोर बनाने के सबसे महत्वपूर्ण प्रयोगों में से एक बन सकता है।

यह लेख Defense One की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.