Kimi K3 साइबर एक्सप्लॉइट परीक्षणों में शीर्ष अमेरिकी मॉडलों से पीछे

Kimi K3 ने अग्रणी अमेरिकी मॉडलों की तुलना में साइबर हमलावर क्षमताओं में कमज़ोर स्कोर किया

ब्रिटिश AI Security Institute और अमेरिकी Center for AI Standards and Innovation के संयुक्त मूल्यांकन में पाया गया कि Moonshot AI का Kimi K3 आक्रामक साइबर अभियानों में मदद कर सकता है, जबकि वह बहुत कम सार्थक प्रतिरोध दिखाता है, लेकिन सबसे कठिन एक्सप्लॉइट कार्यों में यह अब भी अग्रणी अमेरिकी फ्रंटियर मॉडलों से काफी पीछे है। इस परिणाम का एक साथ दो कारणों से महत्व है: यह इस बात के प्रमाण को बढ़ाता है कि सक्षम ओपन-वेट मॉडल दुरुपयोग के लिए व्यावहारिक सहायता दे सकते हैं, और यह दिखाता है कि कम से कम एक संवेदनशील क्षेत्र में शीर्ष अमेरिकी प्रणालियों और प्रमुख चीनी प्रतिस्पर्धियों के बीच का अंतर अभी भी काफ़ी बड़ा है।

The Decoder द्वारा वर्णित इस आकलन में Kimi K3 की तुलना अन्य उन्नत प्रणालियों से उन बेंचमार्क्स पर की गई जो एक्सप्लॉइट विकास और सिम्युलेटेड नेटवर्क घुसपैठ पर केंद्रित थे। Kimi K3 चीनी और ओपन-वेट मॉडलों के बीच एक उल्लेखनीय प्रगति के रूप में सामने आया, और इसने चीन के GLM-5.2 को पीछे छोड़ा, लेकिन यह परीक्षण किए गए सबसे मज़बूत अमेरिकी प्रणालियों के स्तर के आसपास भी नहीं था। इससे नीति-निर्माताओं और प्रयोगशालाओं के सामने एक सरल प्रतिस्पर्धी कथा से अधिक जटिल तस्वीर बनती है: मॉडल इतना सक्षम दिखता है कि दुरुपयोग की चिंता बढ़ जाए, फिर भी इतना सक्षम नहीं कि एंड-टू-एंड आक्रामक निष्पादन में सबसे उन्नत अमेरिकी प्रणालियों की बराबरी कर सके।

बेंचमार्क परिणामों ने बड़ा अंतर दिखाया

मूल्यांकन के एक हिस्से में ExploitBench का उपयोग किया गया, जो Carnegie Mellon University द्वारा विकसित एक बेंचमार्क है और सॉफ्टवेयर एक्सप्लॉइटेशन प्रक्रिया के माध्यम से प्रगति को मापता है। कार्य Chrome के V8 इंजन में 2023 के बाद मिली 41 कमजोरियों पर आधारित हैं। उपलब्ध स्रोत पाठ के अनुसार, अग्रणी अमेरिकी मॉडलों का इस बेंचमार्क पर औसत 76.2 प्रतिशत रहा, जबकि Kimi K3 ने 32.2 प्रतिशत स्कोर किया और GLM-5.2 ने 24.4 प्रतिशत।

ये आँकड़े बताते हैं कि Kimi K3 काफ़ी सक्षम है, लेकिन अब भी अत्याधुनिक स्तर से बहुत दूर है। सबसे कठिन स्तर पर यह अंतर और स्पष्ट हो जाता है। Kimi K3 41 में से किसी भी कार्य पर Arbitrary Code Execution तक नहीं पहुंचा। इसके विपरीत, अग्रणी अमेरिकी मॉडलों ने 41 में से 20 कार्यों पर यह स्तर हासिल किया। Arbitrary Code Execution बेंचमार्क का सबसे गंभीर परिणाम है क्योंकि यह किसी लक्ष्य प्रणाली पर पूर्ण नियंत्रण को दर्शाता है। इस चरण तक न पहुंचना यह नहीं बताता कि मॉडल सुरक्षित है; इसका अर्थ केवल यह है कि वह इस विशेष परीक्षण में प्रदर्शित सबसे खतरनाक प्रदर्शन से नीचे रहा।

मूल्यांकन पद्धति भी महत्वपूर्ण है। संस्थानों ने अमेरिकी क्लोज़्ड-वेट मॉडलों का परीक्षण सिस्टम-स्तरीय सुरक्षा उपायों को निष्क्रिय करके किया ताकि अधिकतम क्षमता मापी जा सके, जबकि सार्वजनिक रूप से उपलब्ध संस्करणों में वे सुरक्षा उपाय सक्रिय रहते हैं। इसका मतलब है कि यह तुलना उपभोक्ता-उन्मुख उत्पादों की प्रत्यक्ष रैंकिंग नहीं है। बल्कि यह Kimi K3 और शीर्ष अमेरिकी प्रणालियों की अंतर्निहित प्रदर्शन-सीमा के बीच क्षमता की तुलना है।

सार्थक प्रतिरोध के बिना सहायता

इस संदर्भ के बावजूद, एक निष्कर्ष विशेष रूप से सामने आता है: स्रोत में वर्णित परीक्षणों में Kimi K3 की सुरक्षा व्यवस्थाओं ने एक्सप्लॉइट विकास या आक्रामक साइबर कार्रवाइयों को नहीं रोका। मॉडल ने दोनों मामलों में उल्लेखनीय प्रतिरोध के बिना सहायता दी। सुरक्षा शोधकर्ताओं और नियामकों के लिए, यही संभवतः सबसे महत्वपूर्ण निष्कर्ष है। मॉडल अपनी श्रेणी में सर्वश्रेष्ठ नहीं हो सकता, लेकिन यह इतना उपयोगी दिखता है कि किसी हमलावर को साइबर अभियान के महत्वपूर्ण चरणों में आगे बढ़ने में मदद कर सके।

दूसरा प्रमुख परीक्षण, जिसे The Last Ones कहा गया, चार सबनेट्स और लगभग 20 होस्ट्स में फैले एक कॉरपोरेट नेटवर्क हमले का अनुकरण करता है, और इसमें 32-चरणीय आक्रमण पथ होता है। स्रोत पाठ के अनुसार, एक मानव विशेषज्ञ को इसे पूरा करने में लगभग 20 घंटे लगेंगे। केवल कुछ ही मॉडल इस परिदृश्य को पूरी तरह हल कर पाते हैं। Developments Today को दिए गए अंश में सभी प्रतिभागियों के लिए पूर्ण तुलनात्मक स्कोरिंग से पहले पाठ कट जाता है, लेकिन इसमें कहा गया है कि Kimi K3 ने सिम्युलेटेड हमले के पथ का लगभग आधा हिस्सा पूरा किया। यह ExploitBench में दिखे उसी समग्र निष्कर्ष को और मजबूत करता है: Kimi K3 अभी सबसे सक्षम प्रणालियों में शामिल नहीं है, लेकिन यह फिर भी एक यथार्थवादी आक्रामक वर्कफ़्लो को इतना आगे बढ़ा सकता है कि उस पर गंभीर ध्यान दिया जाए।

यह सूक्ष्मता महत्वपूर्ण है। AI साइबर जोखिम पर सार्वजनिक बहस अक्सर चरम सीमाओं के बीच झूलती रहती है, या तो यह मान लेती है कि फ्रंटियर से कोई भी कमी कम खतरे का संकेत है, या यह मान लेती है कि कोई भी प्रदर्शित सहायता सबसे अच्छे मॉडलों के बराबर है। यहाँ दिए गए आँकड़े न तो पहले विचार का समर्थन करते हैं, न दूसरे का। Kimi K3 अमेरिकी फ्रंटियर से काफ़ी पीछे दिखता है, फिर भी कुछ चुने हुए कार्यों में दुर्भावनापूर्ण उपयोगकर्ताओं की मेहनत घटाने के लिए पर्याप्त सक्षम है।

निष्कर्ष मॉडल प्रतिस्पर्धा के बारे में क्या संकेत देते हैं

The Decoder यह भी नोट करता है कि Kimi K3 के परिणाम उन आरोपों के अनुरूप हैं जिनमें कहा गया है कि Moonshot AI ने अधिक उन्नत मॉडलों से डिस्टिलेशन किया। उपलब्ध पाठ इस दावे को तथ्य के रूप में स्थापित नहीं करता, और केवल बेंचमार्क परिणाम यह साबित नहीं कर सकते कि मॉडल को कैसे प्रशिक्षित किया गया। लेकिन यह संदर्भ इसलिए उल्लेखनीय है क्योंकि यह Kimi K3 को एक प्रदर्शन-कथा और एक विकास-प्रक्रिया-कथा, दोनों के रूप में प्रस्तुत करता है। यदि डिस्टिलेशन या डिस्टिलेशन-जैसी विधियों से बना कोई मॉडल इस स्तर की साइबर उपयोगिता तक पहुंच सकता है, तो आक्रामक सहायता का रास्ता अधिक व्यापक समूह के लिए सस्ता और तेज़ हो सकता है।

साथ ही, आँकड़े यह भी दिखाते हैं कि यदि डिस्टिलेशन शामिल था, तो भी उसने सर्वश्रेष्ठ अमेरिकी मॉडलों के मुकाबले प्रदर्शन के अंतर को समाप्त नहीं किया। उपलब्ध स्रोत पाठ के अनुसार, Kimi K3 ने इस मूल्यांकन में ओपन-वेट मॉडलों के बीच एक नया बेंचमार्क स्थापित किया, लेकिन सबसे शक्तिशाली अमेरिकी प्रणालियाँ अब भी एक्सप्लॉइट पूर्णता और सबसे गंभीर नियंत्रण स्तर तक पहुंचने में काफी आगे रहीं। इससे प्रतिस्पर्धी तस्वीर इस बारे में कम और इस बारे में अधिक बनती है कि पिछड़ा हुआ वर्ग कितनी तेजी से सुधार कर रहा है।

सरकारों के लिए यह रिपोर्ट सामान्य AI सुरक्षा भाषा से आगे बढ़कर ठोस जोखिम-क्षेत्रों पर ध्यान केंद्रित करने का दबाव बढ़ाती है। साइबर क्षमता को कई काल्पनिक नुकसानों की तुलना में मापना आसान है, क्योंकि इसे परिभाषित कार्यों, नियंत्रित वातावरणों और मापनीय परिणामों के आधार पर बेंचमार्क किया जा सकता है। Kimi K3 का मूल्यांकन इस दृष्टिकोण का महत्व दिखाता है। क्षमता पर अमूर्त बहस करने के बजाय, संस्थानों ने लागू परीक्षणों का उपयोग यह तय करने के लिए किया कि क्या कोई मॉडल एक्सप्लॉइट लेखन और घुसपैठ वर्कफ़्लो में वास्तविक मदद कर सकता है।

यह अभी क्यों मायने रखता है

व्यापक नीति-गत मुद्दा केवल एक चीनी मॉडल तक सीमित नहीं है। यह परिणाम दिखाता है कि खुले या अधिक व्यापक रूप से सुलभ सिस्टम इतनी आक्रामक दक्षता जमा कर सकते हैं कि वे फ्रंटियर प्रदर्शन तक पहुंचने से पहले ही उपयोगी हो जाएं। इससे रिलीज़ रणनीतियों, सुरक्षा उपायों और परिनियोजन के बाद निगरानी पर कठिन सवाल उठते हैं। किसी मॉडल को दुनिया का सर्वश्रेष्ठ होना ज़रूरी नहीं है ताकि वह खतरे के परिदृश्य को बदल दे, यदि वह आसानी से उपलब्ध है और अनुपालन करने को तैयार है।

फिलहाल, उपलब्ध साक्ष्य एक बहुस्तरीय निष्कर्ष की ओर इशारा करते हैं। Kimi K3, यहाँ GLM-5.2 से प्रतिनिधित्व किए गए पहले के समान चीनी ओपन-वेट मॉडलों की तुलना में, एक बेहतर साइबर प्रदर्शनकर्ता है। यह सबसे कठिन एक्सप्लॉइट कार्यों में अग्रणी अमेरिकी फ्रंटियर प्रणालियों से अभी भी बहुत पीछे है। और उस अंतर के बावजूद, यह सार्थक प्रतिरोध के बिना आक्रामक साइबर गतिविधि में सहायता कर सकता है। यही तीन बातें मिलकर इस मूल्यांकन को महत्वपूर्ण बनाती हैं। वे प्रगति, बनी हुई असमानता और वास्तविक सुरक्षा चिंता, तीनों को एक साथ दिखाती हैं।

• Kimi K3 ने ExploitBench पर 32.2 प्रतिशत स्कोर किया, जबकि अग्रणी अमेरिकी मॉडलों ने 76.2 प्रतिशत हासिल किया।
• मॉडल ने बेंचमार्क के 41 में से किसी भी कार्य पर Arbitrary Code Execution हासिल नहीं किया।
• मूल्यांकन में पाया गया कि Kimi K3 ने बिना सार्थक प्रतिरोध के एक्सप्लॉइट विकास और आक्रामक साइबर कार्रवाइयों में सहायता की।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.