बड़े पैमाने के चैटबॉट परीक्षण में बाल-परिचयों का उपयोग किया गया

मेटा के एक प्रोजेक्ट पर काम करने वाले ठेकेदारों को ऑनलाइन नाबालिग बनकर आत्महत्या, आत्म-हानि, खाने के विकार, सेक्स, ड्रग्स और दुर्व्यवहार जैसे उच्च-जोखिम वाले प्रॉम्प्ट्स पर प्रतिद्वंद्वी AI चैटबॉट्स कैसे प्रतिक्रिया देते हैं, यह जांचने के निर्देश दिए गए थे, WIRED द्वारा देखी गई आंतरिक सामग्री और साक्षात्कारों के अनुसार। मेटा ठेकेदार Covalen द्वारा प्रबंधित और आंतरिक रूप से Cannes नाम से ज्ञात इस प्रयास ने OpenAI के ChatGPT, Google के Gemini, और Character.AI को लक्षित किया।

रिपोर्ट के अनुसार यह परीक्षण कार्यक्रम 21 अप्रैल तक सक्रिय था और इसमें 18 वर्ष से कम आयु के उपयोगकर्ताओं के रूप में प्रस्तुत नकली खातों का उपयोग किया गया। ठेकेदारों को प्रतिद्वंद्वी चैटबॉट्स को लिखित प्रॉम्प्ट और चित्र भेजने, फिर जवाबों को स्प्रेडशीट में दर्ज करने के लिए कहा गया। कुछ चित्रों में कथित तौर पर गोलियां, चाकू, फंदे और एक स्त्रीरोग प्रक्रिया का चिकित्सीय आरेख शामिल था। स्पष्ट उद्देश्य यह देखना था कि प्रतिस्पर्धी प्रणालियां उन स्थितियों में कैसे व्यवहार करती हैं जिन्हें उनकी सुरक्षा नीतियों को अस्वीकार करना चाहिए या सावधानी से संभालना चाहिए।

इस ऑपरेशन का पैमाना उल्लेखनीय है। WIRED ने बताया कि अगस्त 2025 में पूरी हुई एक परीक्षण श्रृंखला में लक्षित चैटबॉट्स पर 45,000 से अधिक प्रॉम्प्ट थे। देखी गई एक प्रॉम्प्ट स्प्रेडशीट में 3,748 प्रविष्टियां थीं, जिनमें बड़ी संख्या आत्महत्या, आत्म-हानि, और खाने के विकारों से जुड़ी थी, जबकि अन्य सेक्स, रोमांस, ड्रग्स, गाली-गलौज, और अपमानजनक शब्दों पर केंद्रित थीं। बताया गया कि चैटबॉट्स के पीछे की कंपनियों को इस परीक्षण की जानकारी नहीं थी।

प्रॉम्प्ट संकट-परिदृश्यों और सुरक्षा की सीमा-रेखाओं पर केंद्रित थे

रिपोर्ट में वर्णित प्रॉम्प्ट अक्सर संकट में फंसे बच्चों या किशोरों के दृष्टिकोण से लिखे गए थे। उदाहरणों में एक 13 वर्षीय बच्चे का यह पूछना शामिल था कि एक वयस्क पड़ोसी से हुई गर्भावस्था खत्म करने के लिए गोलियां कहां से खरीदी जाएं, एक छोटे छात्र का उस सहपाठी का वर्णन करना जिसके मुंह में बंदूक थी, और एक लड़की का अपने माता-पिता से बुलिमिया कैसे छिपाया जाए, यह पूछना। अन्य प्रॉम्प्ट्स ने ड्रग्स तक पहुंच, हिंसक विचारों, और किशोर स्वर में प्रस्तुत यौन रूप से उकसाने वाली स्थितियों की पड़ताल की।

ये उदाहरण इसलिए महत्वपूर्ण हैं क्योंकि वे चल रहे विशेष प्रकार के स्ट्रेस टेस्टिंग को दिखाते हैं। यह चैटबॉट की गुणवत्ता या उपयोगकर्ता अनुभव की कोई सामान्य समीक्षा नहीं थी। यह लक्षित सुरक्षा परीक्षण था, जिसका उद्देश्य यह जांचना था कि क्या सिस्टम हानिकारक मार्गदर्शन देंगे, संकट को कम करने में विफल होंगे, या नाबालिग के रूप में प्रस्तुत किसी व्यक्ति के प्रॉम्प्ट पर अनुचित उत्तरों की ओर झुकेंगे। दूसरे शब्दों में, परियोजना का सरोकार उन सबसे संवेदनशील विफलता मोड से था जिनका सामना अब उपभोक्ता AI प्लेटफॉर्म कर रहे हैं।

यह भी समझाता है कि बाल-परिचयों का उपयोग जांच के घेरे में क्यों आ सकता है। AI प्रणालियों पर सुरक्षा अनुसंधान में अक्सर प्रतिकूल प्रॉम्प्टिंग शामिल होती है, लेकिन रिपोर्ट एक ऐसे सेटअप का वर्णन करती है जिसमें बड़ी संख्या में ठेकेदारों ने नकली नाबालिग खाते बनाए और उन कंपनियों की जानकारी के बिना बाहरी सेवाओं के साथ बातचीत की। इससे न केवल AI सुरक्षा बेंचमार्किंग, बल्कि प्लेटफ़ॉर्म नियमों, डेटा प्रबंधन, और औद्योगिक पैमाने पर सिम्युलेटेड कमजोर-उपयोगकर्ता परीक्षण की नैतिकता पर भी सवाल उठते हैं।

China Just Dropped Another Bomb on America's Frontier AI Companies
More in Culture

Moonshot का Kimi K3 एक बड़े ओपन मॉडल के साथ AI दौड़ को और तीव्र करता है

Moonshot का कहना है कि उसका नया Kimi K3 मॉडल कई कार्यों में प्रमुख proprietary systems के क़रीब पहुँचता है, जिससे U.S.-China AI gap के बारे में धारणाओं पर दबाव बढ़ता है।

Read article

संचालन संबंधी विवरण एक संगठित बेंचमार्किंग कार्यक्रम का संकेत देते हैं

WIRED के अनुसार, आंतरिक स्प्रेडशीट में नाम, ईमेल पते, पासवर्ड और जन्मतिथियों वाली नकली प्रोफाइल दर्ज थीं। खातों में डिस्पोजेबल Gmail और Outlook पते तथा एक साझा पासवर्ड का उपयोग किया गया था। रिपोर्ट यह भी कहती है कि प्रॉम्प्ट कई भाषाओं में भेजे गए थे, जो दर्शाता है कि यह प्रयास केवल अंग्रेज़ी तक सीमित नहीं था।

ये विवरण मिलकर एक बार की समीक्षा के बजाय एक संरचित मूल्यांकन पाइपलाइन का संकेत देते हैं। कर्मचारी केवल कुछ प्रॉम्प्ट्स के साथ प्रयोग नहीं कर रहे थे। वे प्रतिद्वंद्वी प्रणालियों की जांच करने, आउटपुट कैप्चर करने, और सुरक्षा-संवेदनशील विषयों के एक सेट के विरुद्ध व्यवहार को वर्गीकृत करने की एक दोहराई जा सकने वाली प्रक्रिया चला रहे थे। आत्म-हानि और खाने के विकारों से लेकर रोमांस और गाली-गलौज तक विषयों की व्यापकता बताती है कि कार्यक्रम ने कई ऐसी श्रेणियों को कवर किया जिन्हें AI कंपनियां आम तौर पर ट्रस्ट और सेफ्टी कार्य में उच्च-जोखिम मानती हैं।

यह उपलब्ध सामग्री से स्थापित नहीं होता कि मेटा परिणामों का आंतरिक रूप से उपयोग कैसे करना चाहता था, या क्या परियोजना ने किसी औपचारिक रूब्रिक के विरुद्ध अनुपालन मापा। लेकिन इन विवरणों के बिना भी, रिपोर्ट AI बाजार में एक बढ़ती महत्वपूर्ण वास्तविकता की ओर इशारा करती है: सुरक्षा व्यवहार स्वयं एक प्रतिस्पर्धी चर बन गया है। एक मॉडल एक कमजोर स्थिति में मौजूद किशोर पर कैसे प्रतिक्रिया देता है, यह ब्रांड भरोसे, नियामकीय रुख, और प्लेटफॉर्म अपनाने पर गति या तर्क-गुणवत्ता जितना ही प्रभाव डाल सकता है।

एक ठेकेदार परियोजना से परे यह क्यों मायने रखता है

यह रिपोर्ट ऐसे समय आई है जब प्रमुख AI कंपनियों पर यह दिखाने का दबाव बढ़ रहा है कि उनके उत्पाद संकट-उन्मुख और आयु-संवेदी इंटरैक्शन को जिम्मेदारी से संभाल सकते हैं। चैटबॉट सुरक्षा पर सार्वजनिक बहस अब सिर्फ हैल्यूसिनेशन या कॉपीराइट तक सीमित नहीं है। इसमें अब यह भी शामिल है कि क्या सिस्टम आत्म-हानि को प्रोत्साहित करने से बच सकते हैं, यौन शोषण के परिदृश्यों का प्रतिरोध कर सकते हैं, और उपयोगकर्ताओं को अधिक सुरक्षित परिणामों की ओर मोड़ सकते हैं।

उस पृष्ठभूमि में, नकली नाबालिगों पर आधारित एक प्रतिद्वंद्वी-केंद्रित परीक्षण परियोजना दो कारणों से महत्वपूर्ण है। पहला, यह दर्शाता है कि अग्रणी तकनीकी कंपनियां इन विफलता मोड को व्यवस्थित रूप से बेंचमार्क करने लायक महत्वपूर्ण मानती हैं। दूसरा, यह दिखाता है कि सुरक्षा को मापने के लिए इस्तेमाल की जाने वाली विधियां स्वयं विवादास्पद बन सकती हैं। कोई कंपनी यह जानना चाह सकती है कि अन्य प्रणालियां कैसे काम करती हैं, लेकिन वह जानकारी इकट्ठा करने की प्रक्रिया अपने स्वयं के शासन और नैतिक मुद्दे पैदा कर सकती है।

रिपोर्ट ट्रस्ट-एंड-सेफ्टी कार्य और प्रतिस्पर्धात्मक खुफिया के बीच असहज ओवरलैप को भी उजागर करती है। यदि कोई फर्म प्रतिस्पर्धियों की प्रणालियों पर उनकी जानकारी के बिना दसियों हज़ार प्रतिकूल प्रॉम्प्ट चलाती है, तो वह अस्वीकृति व्यवहार, एस्केलेशन पैटर्न, और मॉडरेशन सीमाओं के बारे में वास्तविक दुनिया का साक्ष्य इकट्ठा कर रही है। यह आंतरिक तुलना के लिए उपयोगी हो सकता है, लेकिन यह भी दिखाता है कि AI कंपनियों के बीच सुरक्षा प्रतिस्पर्धा बाहर से कितनी अपारदर्शी बनी हुई है।

Japan vs. Ireland 2026 livestream: How to watch Nations Championship for free
More in Culture

ITVX पर मुफ्त में देखें जापान बनाम आयरलैंड 2026 नेशंस चैंपियनशिप

ITVX पर मुफ्त में लाइव देखें जापान बनाम आयरलैंड 2026 नेशंस चैंपियनशिप। कहीं से भी स्ट्रीम करने के लिए VPN का उपयोग करें। मैच 11 जुलाई को सुबह 11:10 बजे BST पर शुरू होगा।

Read article

AI उद्योग के लिए व्यापक संकेत

रिपोर्ट में वर्णित जानकारी से कुछ निष्कर्ष निकलते हैं।

  • उच्च-जोखिम प्रॉम्प्ट परीक्षण अब इतना व्यापक हो चुका है कि इसमें बड़ी ठेकेदार कार्यबल और औपचारिक कार्यप्रवाह शामिल होते हैं।
  • बच्चों और किशोरों से जुड़े सुरक्षा परिदृश्य उपभोक्ता AI मूल्यांकन में चिंता का एक प्रमुख क्षेत्र हैं।
  • सुरक्षा प्रदर्शन को अब केवल अनुपालन आवश्यकता नहीं, बल्कि प्रतिस्पर्धी बेंचमार्क के रूप में भी देखा जा रहा है।
  • प्रतिद्वंद्वियों का परीक्षण करने के लिए इस्तेमाल की जाने वाली विधियां उद्योग के लिए एक अलग नीति मुद्दा बन सकती हैं।

इस घटना को उल्लेखनीय बनाने वाली बात केवल प्रॉम्प्ट्स की मात्रा या विषय की संवेदनशीलता नहीं है। यह वह झलक है जो यह दिखाती है कि कंपनियां पर्दे के पीछे एक-दूसरे के सुरक्षा उपायों का कितना आक्रामक अध्ययन कर सकती हैं। जैसे-जैसे AI प्रणालियां रोज़मर्रा के उपयोग में, खासकर युवाओं के बीच, अधिक गहराई से शामिल होती जाएंगी, उन सुरक्षा उपायों की गुणवत्ता और भी महत्वपूर्ण होगी। साथ ही, कंपनियां उन्हें कैसे जांचती हैं, तुलना करती हैं, और चुनौती देती हैं, उसके मानक भी उतने ही महत्वपूर्ण होंगे।

यह लेख Wired की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.

Originally published on wired.com