हगिंग फेस पर डीपफेक नग्नकरण मॉडल्स को लेकर जांच बढ़ी

ओपन मॉडल होस्टिंग एक बढ़ती डीपफेक दुरुपयोग समस्या से टकरा रही है

हगिंग फेस कृत्रिम बुद्धिमत्ता में सबसे महत्वपूर्ण वितरण केंद्रों में से एक बन गया है, खासकर ओपन-सोर्स और ओपन-वेट मॉडल्स के लिए। लेकिन The Verge द्वारा उद्धृत एक नई रिपोर्ट का तर्क है कि यह प्लेटफ़ॉर्म गैर-सहमति वाले यौनीकृत डीपफेक के लिए भी एक कम-रुकावट वाला माध्यम बन रहा है, जिसमें महिलाओं और बच्चों को लक्षित सामग्री शामिल है। यह निष्कर्ष इस व्यापक बहस पर दबाव बढ़ाता है कि क्या मॉडल रिपॉज़िटरी को तटस्थ बुनियादी ढाँचा माना जाए या ऐसे सक्रिय द्वारपाल के रूप में जो पूर्वानुमेय दुरुपयोग को सीमित करने के लिए ज़िम्मेदार हैं।

यूरोपीय गैर-लाभकारी संगठन AI Forensics की रिपोर्ट के अनुसार, हगिंग फेस पर परीक्षण किए गए शीर्ष नौ इमेज-एडिटिंग मॉडल्स में से सात ने महिलाओं को “उतारने” के इरादे वाले प्रॉम्प्ट्स का आसानी से पालन किया। समूह ने कहा कि उसने मॉडल्स में सीधे, साधारण अनुरोध का उपयोग किया, जटिल जेलब्रेकिंग तकनीकों का नहीं, और फिर भी पाया कि प्रणालियाँ अक्सर वांछित आउटपुट दे देती थीं। यह महत्वपूर्ण है, क्योंकि इससे पता चलता है कि समस्या केवल अत्यधिक कुशल हमलावरों तक सीमित नहीं है। यदि साधारण प्रॉम्प्ट काम करता है, तो दुरुपयोग की बाधा इतनी कम है कि आम उपयोग भी इसका हिस्सा बन सकता है।

रिपोर्ट इस व्यवहार की तुलना बड़े कंपनियों के प्रमुख उपभोक्ता एआई सिस्टम्स में आम तौर पर पाए जाने वाले मजबूत सुरक्षा उपायों से करती है। The Verge का कहना है कि Google के Gemini और OpenAI के ChatGPT जैसे मुख्यधारा के जनरेटिव एआई उत्पाद आम तौर पर वास्तविक लोगों को उतारने या यौनीकृत करने वाले प्रॉम्प्ट्स को ब्लॉक कर देते हैं। इसके मुकाबले, परीक्षण किए गए Hugging Face मॉडल्स में इस क्षेत्र में प्लेटफ़ॉर्म-स्तरीय सुरक्षा कमजोर या न के बराबर दिखाई दी।

AI Forensics परीक्षण में क्या मिला

गैर-लाभकारी संगठन के परिणाम दो संबंधित चिंताओं की ओर इशारा करते हैं: मॉडल का व्यवहार और उपयोगकर्ता की माँग। मॉडल पक्ष पर, परीक्षण किए गए इमेज-एडिटिंग सिस्टम कथित तौर पर तस्वीरों से कपड़े हटाने के सीधे निर्देशों का पालन करने के लिए तैयार थे। माँग पक्ष पर, AI Forensics ने Hugging Face पर “हनीपॉट” इमेज-एडिटिंग Spaces बनाए ताकि यह देखा जा सके कि उपयोगकर्ता किस तरह के प्रॉम्प्ट भेजते हैं, जबकि उन Spaces को अनुरोध पूरा करने के लिए न बनाया जाए।

सात दिनों की अवधि में, संगठन का कहना है कि उन हनीपॉट्स को 1,000 से अधिक प्रॉम्प्ट और छवियाँ मिलीं। इनमें से 73 प्रतिशत यौन प्रकृति के थे। यौन अनुरोधों में से 83 प्रतिशत ने छवि में किसी को निर्वस्त्र करने का प्रयास किया, और उन लक्ष्यों में से 95 प्रतिशत महिलाएँ थीं। The Verge द्वारा प्रस्तुत रिपोर्ट के अनुसार, यौन अनुरोधों में से लगभग 7 प्रतिशत बच्चों को लक्षित कर रहे थे।

ये आँकड़े पूरे प्लेटफ़ॉर्म पर दुरुपयोग के कुल पैमाने को स्थापित नहीं करते। लेकिन वे यह संकेत अवश्य देते हैं कि जब ऐसी क्षमता वाले टूल्स आसानी से उपलब्ध हों, तो उपयोगकर्ता इरादे किस दिशा में केंद्रित होते हैं। पैटर्न विशेष रूप से महत्वपूर्ण है क्योंकि यह बताता है कि दुरुपयोग कोई किनारी मामला नहीं है। हनीपॉट Spaces पर आने वाले अनुरोध एक ही हानिकारक उपयोग-केस के इर्द-गिर्द केंद्रित थे: बिना सहमति के साधारण तस्वीरों को यौनीकृत डीपफेक में बदलना।

यह सिर्फ मॉडल समस्या नहीं, प्लेटफ़ॉर्म समस्या है

रिपोर्ट का सबसे महत्वपूर्ण दावा यह नहीं है कि कुछ खुले मॉडल्स का दुरुपयोग किया जा सकता है। यह बात लंबे समय से समझी जा चुकी है। अधिक तीखी आलोचना यह है कि “प्लेटफ़ॉर्म स्तर पर बिल्कुल कोई सुरक्षा लागू नहीं की जा रही,” जैसा कि The Verge ने उद्धृत किया। व्यवहार में, इससे ध्यान व्यक्तिगत मॉडल डेवलपर्स से हटकर उस होस्टिंग परत की ओर जाता है जो उपयोगकर्ताओं को मॉडल खोजने, चलाने और साझा करने में मदद करती है।

हगिंग फेस एआई पारिस्थितिकी तंत्र में एक विशिष्ट स्थान रखता है क्योंकि यह एक रिपॉज़िटरी भी है और एक निष्पादन वातावरण भी। मॉडल अपलोड, बेंचमार्क और कई मामलों में Spaces नामक ब्राउज़र-आधारित डेमो के माध्यम से सीधे आजमाए जा सकते हैं। यह संयोजन वैध शोध और विकास के लिए बाधा कम करता है, लेकिन यदि मॉडरेशन और एक्सेस नियंत्रण साथ नहीं चलते तो दुरुपयोग के लिए भी बाधा कम हो जाती है।

इसलिए यह रिपोर्ट एक नीतिगत प्रश्न उठाती है जो संभवतः एक कंपनी से बहुत आगे तक गूँजेगा: जब दुरुपयोग का पैटर्न स्पष्ट, दोहराने योग्य और सामाजिक रूप से हानिकारक हो, तब बुनियादी ढाँचा प्रदाताओं पर क्या ज़िम्मेदारियाँ लागू होती हैं? यौन डीपफेक के मामले में यह मुद्दा विशेष रूप से गंभीर है, क्योंकि नुकसान तत्काल और उलटना कठिन हो सकता है। एक बार ऐसी सामग्री बनकर फैल जाए, तो यह प्रतिष्ठा को नुकसान पहुँचा सकती है, पीड़ितों को उत्पीड़न के लिए खोल सकती है, और नाबालिगों से जुड़े मामलों में गंभीर कानूनी और नैतिक परिणाम पैदा कर सकती है।

ये निष्कर्ष यह भी दिखाते हैं कि ओपन-मॉडल बहस किस तरह बदल रही है। पहले तर्क इस बात पर केंद्रित थे कि मजबूत मॉडल जारी करने से नवाचार अधिक तेज़ होगा या जोखिम बढ़ेगा। अब चिंता अधिकतर परिचालनात्मक है: यदि खुलापन मूल्यवान है, तो फ़िल्टर, टेकडाउन, उपयोग सीमाएँ, और दुरुपयोग-खोज कहाँ लागू होनी चाहिए? अगर मॉडल वेट्स व्यापक रूप से उपलब्ध हैं, तो प्लेटफ़ॉर्म इंटरफ़ेस सुरक्षा अपेक्षाओं को लागू करने का मुख्य स्थान बन सकता है।

यह अभी क्यों मायने रखता है

समय भी महत्वपूर्ण है, क्योंकि कई क्षेत्रों में नियामक और विधायिका अब अमूर्त एआई-सुरक्षा चर्चाओं से हटकर प्रतिरूपण, धोखाधड़ी, और अंतरंग-छवि दुरुपयोग जैसे विशिष्ट नुकसानों की ओर बढ़ रहे हैं। The Verge ने इस मुद्दे को डीपफेक पर व्यापक कार्रवाई और बच्चों से जुड़ी यौनीकृत सामग्री पैदा करने वाले इमेज सिस्टम्स पर हालिया ध्यान से जोड़ा। इस संदर्भ में, इमेज-एडिटिंग टूल्स होस्ट करने वाले रिपॉज़िटरी नीति की सुर्खियों से बाहर नहीं रहेंगे।

एआई उद्योग के लिए यह घटना एक और याद दिलाती है कि भरोसा उतना ही डिफ़ॉल्ट्स से बनता है जितना मॉडल क्षमता से। किसी सिस्टम को गंभीर नुकसान पहुँचाने के लिए अग्रणी-स्तरीय बुद्धिमत्ता की ज़रूरत नहीं होती यदि वह आसानी से उपलब्ध हो और यथार्थवादी इमेज मैनिपुलेशन के लिए ट्यून किया गया हो। उस अर्थ में, AI Forensics द्वारा वर्णित दुरुपयोग का रास्ता भविष्य के काल्पनिक जोखिम से कम और वर्तमान उत्पाद-डिज़ाइन विकल्पों से अधिक जुड़ा है।

ओपन-सोर्स समुदाय के लिए भी एक प्रतिष्ठात्मक आयाम है। कई समर्थक, और सही कारणों से, कहते हैं कि खुली पहुँच पारदर्शिता, स्वतंत्र ऑडिटिंग, और एआई विकास में व्यापक भागीदारी का समर्थन करती है। लेकिन जब उच्च-प्रोफ़ाइल दुरुपयोग के मामले अधिक नियंत्रित वाणिज्यिक प्रणालियों की तुलना में खुले प्लेटफ़ॉर्म पर आसान दिखाई देते हैं, तब ये तर्क कमज़ोर पड़ते हैं। ओपन एआई गवर्नेंस की विश्वसनीयता शायद इस बात को साबित करने पर अधिक निर्भर करेगी कि खुलापन और लागू करने योग्य सुरक्षा उपाय साथ-साथ रह सकते हैं।

आगे क्या देखना है

• क्या Hugging Face रिपोर्ट के जवाब में मॉडल होस्टिंग या Space-स्तरीय मॉडरेशन में बदलाव करता है।
• क्या गैर-लाभकारी संगठन, पत्रकार, या नियामक वही सरल प्रॉम्प्ट विधियाँ अपनाकर निष्कर्षों को दोहराते हैं।
• क्या प्लेटफ़ॉर्म मॉडल फ़ाइलें होस्ट करने और जोखिमपूर्ण इमेज-एडिटिंग टूल्स को ब्राउज़र के माध्यम से उपभोक्ता उपयोग के लिए सक्षम करने के बीच अंतर करना शुरू करते हैं।
• क्या नीति निर्माता यौन डीपफेक निर्माण को केवल उपयोगकर्ता-दुरुपयोग के बजाय प्लेटफ़ॉर्म-शासन का मुद्दा मानते हैं।

तत्काल निष्कर्ष सीधा है। The Verge द्वारा वर्णित रिपोर्ट बताती है कि वेब पर मौजूद कुछ सबसे दिखने वाले ओपन एआई बुनियादी ढाँचों का उपयोग बहुत कम प्रयास में गैर-सहमति वाले यौनीकृत डीपफेक बनाने के लिए किया जा सकता है। यदि ये निष्कर्ष व्यापक जाँच में भी टिके रहते हैं, तो यह तर्क कि रिपॉज़िटरी केवल निष्क्रिय होस्ट हैं, बनाए रखना और कठिन हो जाएगा।

यह लेख The Verge की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.