डीपफेकचा गैरवापर संपादित क्लिप्समधून थेट सादरीकरणाकडे जात आहे
404 Media ने वर्णन केलेली एक कथित स्ट्रीमिंग घटना जनरेटिव्ह मीडिया गैरवापराच्या अधिक धोकादायक टप्प्याकडे निर्देश करते: थेट प्रेक्षकांसमोर रिअलटाइम इम्पर्सोनेशन. दिलेल्या स्रोत मजकुरानुसार, एका स्ट्रीमरने Delulu नावाचे सॉफ्टवेअर वापरून स्वतःला YouTube क्रिएटर MrBeastसारखे दाखवले, आणि त्याच वेळी ग्राफिक, संमतीशिवाय आणि संभाव्यतः बदनामीकारक विधाने केली. अहवालानुसार ही स्ट्रीम Kick वर झाली, जे प्रमुख प्रतिस्पर्ध्यांपेक्षा सैल मॉडरेशन मानकांसाठी अनेकदा टीकेचे लक्ष्य ठरते.
या प्रकरणाचे महत्त्व केवळ मजकुरात नाही, तर स्वरूपातही आहे. सुरुवातीला डीपफेक्सची चर्चा प्रामुख्याने नंतर प्रसारित होणाऱ्या संपादित व्हिडिओंप्रमाणे केली जात होती. रिअलटाइम टूल्स जोखीम प्रोफाइल बदलतात. ती इम्पर्सोनेशनसाठीची तांत्रिक अडथळे कमी करतात, गैरवापर थेट घडू देतात, आणि हस्तक्षेप कठीण करतात कारण प्रसारण आधीच पसरत असताना मॉडरेटरांना हाताळणी ओळखावी लागते.
थेट ओळख-गैरवापर ही वेगळ्या प्रकारची प्लॅटफॉर्म समस्या आहे
पारंपरिक बनावट व्हिडिओ प्रकरणात, प्लॅटफॉर्म अजूनही जलद प्रतिसाद देण्यात अपयशी ठरू शकतो; परंतु तपासणीसाठी एक स्वतंत्र मीडिया-आयटम असतो. लाइव्ह डीपफेक परिस्थितीत, मॉडरेशन सिस्टीमना हालचाल करणारा लक्ष्य हाताळावा लागतो: एक इम्पर्सोनेट केलेला चेहरा, रिअलटाइम परफॉर्मन्स आणि तत्काळ प्रेक्षक-वाढ. यामुळे छळ, ओळख चोरी, बदनामी आणि सिंथेटिक-मीडिया शोध यांचे मिश्रण असलेली संकरित समस्या निर्माण होते.
दिलेला स्रोत मजकूर सांगतो की हे सॉफ्टवेअर स्ट्रीमर्ससाठी बाजारात आणले जाते आणि वापरकर्त्यांना रिअलटाइममध्ये इतर लोकांमध्ये रूपांतरित करू शकते. अशा स्थानबळ असलेली साधने व्यापकपणे उपलब्ध झाली, तर ही समस्या एका क्रिएटरपुरती किंवा एका प्लॅटफॉर्मपुरती मर्यादित राहणार नाही. सेलिब्रिटी, पत्रकार, कार्यकारी, राजकारणी आणि सामान्य नागरिक हे सर्व लाइव्ह संदर्भात लक्ष्य होऊ शकतात, जिथे खोटी विधाने त्वरित परिचित चेहऱ्यांशी जोडली जातात.
लाइव्हस्ट्रीमिंगमध्ये सत्यतेचा एक गृहितक असतो, म्हणून ही समस्या विशेषतः गंभीर आहे. संपादित क्लिप्समध्ये छेडछाड होऊ शकते, हे प्रेक्षकांना समजते; पण लाइव्ह व्हिडिओने ऐतिहासिकदृष्ट्या स्क्रीनवरील व्यक्ती प्रत्यक्षात तीच आहे, असा अधिक मजबूत अंदाज दिला आहे. रिअलटाइम फेस सब्स्टिट्यूशन त्या गृहितकावर थेट हल्ला करते.
धोरण, उत्पादन आणि कायदेशीर व्यवस्था या सगळ्या मागे पडल्या आहेत
ही घटना सध्याचे बचाव किती विस्कळीत आहेत हेही दाखवते. प्लॅटफॉर्म नियम इम्पर्सोनेशन किंवा छळ निषिद्ध करू शकतात, पण अंमलबजावणी अनेकदा सक्रिय शोधाऐवजी अहवालांवर अवलंबून असते. सिंथेटिक-मीडिया साधने सतत सुधारत आहेत, तर ट्रस्ट-अँड-सेफ्टी सिस्टीम प्लॅटफॉर्मनुसार अस्थिरच राहतात. सैल मॉडरेशनसाठी ओळखल्या जाणाऱ्या सेवेवर गैरवापरासाठी विशेष आकर्षण निर्माण होऊ शकते, कारण अर्थपूर्ण पुनरावलोकन सुरू होण्यापूर्वीच सामाजिक आणि प्रतिमेचे नुकसान होऊ शकते.
कायदेशीर पैलूही आहे. दिलेला स्रोत मजकूर सामग्रीला स्पष्टपणे संभाव्य बदनामीकारक म्हणून वर्णन करतो. यावरून जनरेटिव्ह AI साधने आणि खोटी विधाने, हानी आणि ओळख-गैरवापर यांच्याशी संबंधित विद्यमान तत्त्वांमधील वाढता संघर्ष दिसतो. लाइव्ह सिंथेटिक इम्पर्सोनेशन पुराव्याशी संबंधित अडचणीही निर्माण करू शकते, विशेषतः क्लिप्स संदर्भ काढून प्लॅटफॉर्मवर पुन्हा पोस्ट केल्या गेल्यास.
व्यापक सांस्कृतिक मुद्दा असा आहे की डीपफेक तंत्रज्ञान आता केवळ निसर्गिक प्रयोगापुरते मर्यादित राहिलेले नाही. ते पॅकेज्ड, वापरण्यास सोपे आणि क्रिएटर वर्कफ्लोजशी सुसंगत होत आहे. एकदा मनोरंजन आणि प्रेक्षक-संलग्नता याभोवती सॉफ्टवेअर विकले जाऊ लागले, की गैरवापर हा अपवादात्मक प्रसंग राहत नाही, तर सुरुवातीपासूनच गार्डरेल्स नसल्यास अपेक्षित उत्पादन-परिणाम बनतो.
म्हणून येथे वर्णन केलेली घटना संबंधित व्यक्तींपलीकडेही महत्त्वाची आहे. ती दाखवते की AI-निर्मित ओळख-गैरवापर स्ट्रीमिंग प्लॅटफॉर्म, टूल विक्रेते आणि नियामकांसाठी एक लाइव्ह सिस्टीम समस्या बनत आहे. कंटेंट मॉडरेशनचा पुढचा टप्पा केवळ बनावट मीडिया ओळखण्यावर नाही, तर सामान्य सहभाग अशक्य न करता रिअलटाइममध्ये मानवी ओळख पडताळण्यावरही अवलंबून असेल.
- एका स्ट्रीमरने थेट प्रसारणादरम्यान MrBeastची नक्कल करण्यासाठी रिअलटाइम डीपफेक सॉफ्टवेअर वापरल्याचे कथित आहे.
- हे प्रकरण दाखवते की लाइव्हस्ट्रीमिंग डीपफेक्स मॉडरेशन आणि बदनामीच्या जोखमी कशा वाढवतात.
- फेस-स्वॅपिंग साधने अधिक सोपी होत असताना, प्लॅटफॉर्मवर ओळख पडताळणी आणि जलद प्रतिसाद देण्याचा दबाव वाढू शकतो.
हा लेख 404 Media च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.
Originally published on 404media.co
