चैटबॉट्स एक 'एक-व्यक्ति इको चैंबर' बनाते हैं — क्या AI-संबंधित साइकोसिस एक निदान बन सकता है?

कृत्रिम बुद्धिमत्ता जल्द ही मनोचिकित्सा से एक ऐसा सवाल पूछने पर मजबूर कर सकती है, जिसका जवाब देने के लिए किसी भी क्लिनिशियन को प्रशिक्षित नहीं किया गया था: क्या एक चैटबॉट, अपने आप में, किसी मरीज के मनोवैज्ञानिक टूटने में योगदान दे सकता है? किंग्स कॉलेज लंदन, यूनिवर्सिटी कॉलेज लंदन, वेस्टर्न आई हॉस्पिटल, और चिकित्सक-नेतृत्व वाली पहल Dev and Doc: AI for Healthcare को शामिल करने वाले एक शोध समूह ने यह तर्क देना शुरू किया है कि चैटबॉट का भारी उपयोग मनोवैज्ञानिक लक्षणों के संभावित ट्रिगर के रूप में माना जाना चाहिए।

शोधकर्ता अधिक सनसनीखेज "AI psychosis" की तुलना में "AI-associated psychosis" शब्द को प्राथमिकता देते हैं। यह शब्द चैटबॉट के गहन उपयोग के दौरान मनोवैज्ञानिक लक्षणों के उभरने या बिगड़ने को संदर्भित करता है। अब तक एकत्र किए गए साक्ष्यों में मीडिया रिपोर्टें, व्यक्तिगत नैदानिक केस रिपोर्टें और प्रारंभिक अवलोकनात्मक डेटा शामिल हैं। दूसरे शब्दों में, यह एक खोजपरक समीक्षा है, न कि कोई निर्णायक नैदानिक दिशानिर्देश। लेकिन लेखकों का कहना है कि मनोचिकित्सीय संस्थानों को समस्या से निपटने के लिए पूर्ण साक्ष्य की प्रतीक्षा नहीं करनी चाहिए।

"AI psychosis" से एक नैदानिक प्रश्न तक

एक नए मनोरोगी विकार का नामकरण बेहद कठिन होता है। किसी घटना में एक सुसंगत नैदानिक चित्र, यह प्रमाण कि वह केवल किसी ज्ञात विकार का डिजिटल मुखौटा नहीं है, और कारण और सहसंबंध में अंतर करने के लिए पर्याप्त प्रलेखित मामले होने चाहिए। फिलहाल "AI-associated psychosis" इनमें से कई कसौटियों पर खरा नहीं उतरता। यही कारण है कि यह वाक्यांश अभी भी विवादित है और, शोधकर्ताओं के अनुसार, यह संभव है कि कभी आधिकारिक नैदानिक वर्गीकरणों में शामिल न हो। फिर भी, किसी औपचारिक लेबल का अभाव इस समस्या को काल्पनिक नहीं बना देता।

शोध दल ऐसे मामलों के बढ़ते समूह की ओर इशारा करता है, जिनमें लोगों में तीव्र चैटबॉट उपयोग के दौरान मनोवैज्ञानिक लक्षण विकसित हुए या वे बदतर हुए। इनमें से कुछ मामलों में, मरीजों ने चैटबॉट्स को साथी, प्राधिकरण, या यहां तक कि अलौकिक प्राणी के रूप में वर्णित किया। ये रिपोर्टें विषम हैं और उन्हें शोध के बजाय नैदानिक उद्देश्यों के लिए संकलित किया गया है, इसलिए वे कारणात्मक संबंध सिद्ध नहीं कर सकतीं। फिर भी, उनमें इतनी समानताएं हैं कि एक संरचित जांच उचित लगती है।

चापलूसी: एक "एक-व्यक्ति इको चैंबर" का इंजन

एक टेक्स्ट-आधारित उपकरण मनोवैज्ञानिक लक्षणों में योगदान क्यों देगा? लेखकों ने एक केंद्रीय तंत्र की पहचान की है: sycophancy - आधुनिक बड़े भाषा मॉडलों की उपयोगकर्ता की प्रशंसा करने, सहमत होने, और उसकी पुष्टि करने की प्रवृत्ति।

यह प्रवृत्ति संयोग से नहीं आती। इसे मानव प्रतिक्रिया से सुदृढीकरण सीखने (RLHF) के दौरान किसी मॉडल में शामिल किया जा सकता है। टीम द्वारा उद्धृत पहले के शोध में पाया गया था कि डेटा लेबलर उन प्रतिक्रियाओं को प्राथमिकता देते थे जो उनके अपने विश्वासों से मिलती-जुलती होती थीं, भले ही वे कथन सही हों या नहीं। संक्षेप में, सहमति को पुरस्कृत किया गया। लेखकों के अनुसार, इसका परिणाम OpenAI, Anthropic, और Google सहित अग्रणी AI कंपनियों द्वारा बनाए गए मॉडलों में लगातार दिखाई देता है।

इस प्रभाव की मात्रा कई तरीकों से मापी गई है। PsychosisBench पर, जो भ्रम या परनोइया से जुड़े परिदृश्यों में मॉडल के व्यवहार का आकलन करता है, परीक्षण किए गए हर बड़े भाषा मॉडल ने उपयोगकर्ता के भ्रम को सुदृढ़ किया। सुरक्षा तंत्र केवल लगभग 40 प्रतिशत मामलों में ही हस्तक्षेप कर पाए। EchoBench, एक अन्य बेंचमार्क, यह जांचता है कि कोई मॉडल उपयोगकर्ता के दबाव के आगे कितनी आसानी से झुकता है। सर्वश्रेष्ठ proprietary मॉडल ने भी 46 प्रतिशत समय उपयोगकर्ता से सहमति जताई - और चिकित्सा-विशिष्ट मॉडलों में यह दर अक्सर 95 प्रतिशत से अधिक थी। व्यवहार में, मॉडल लगभग हर उस बात से सहमत थे जो कोई मरीज कहता था।

यह एक ऐसा लूप बनाता है जो पुरानी तकनीक से मूल रूप से अलग है। सोशल मीडिया किसी व्यक्ति तक सामग्री पहुंचा सकता है, लेकिन उपयोगकर्ता को उसे खोजने, क्लिक करने, या किसी एल्गोरिद्म द्वारा उसे प्रासंगिक समझे जाने की आवश्यकता होती है। चैटबॉट अलग है। उपयोगकर्ता एक प्रॉम्प्ट दर्ज करता है, और मॉडल तुरंत उस प्रॉम्प्ट के अनुरूप एक उत्तर उत्पन्न करता है। फिर वह उत्तर उपयोगकर्ता के मानसिक वातावरण का हिस्सा बन जाता है। यदि वह उपयोगकर्ता paranoid delusions का अनुभव कर रहा है, तो चैटबॉट उन भ्रमों को चुनौती देने के बजाय अक्सर उनसे सहमत हो जाएगा।

दो-तरफ़ा फीडबैक लूप

शोधकर्ता परिणाम को "एक-व्यक्ति इको चैंबर" के रूप में वर्णित करते हैं। कोई व्यक्ति चैटबॉट का उपयोग एक मित्रवत डिजिटल sounding board के रूप में शुरू कर सकता है। लेकिन क्योंकि चैटबॉट का हर उत्तर उपयोगकर्ता के अपने शब्दों से आकार लेता है, बातचीत एक बंद प्रणाली बन जाती है, जिसमें उपयोगकर्ता अपने ही विश्वासों को परिष्कृत वाक्यों में वापस गूंजते हुए सुनता है। इस प्रभाव की तुलना एक प्रकार की "डिजिटल folie à deux" से की गई है, यानी एक साझा भ्रम, भले ही AI स्वयं किसी भी विश्वास को धारण नहीं करता। मशीन को उपयोगकर्ता पर विश्वास करने की ज़रूरत नहीं; उसे केवल विश्वसनीय रूप से सहायक लगना होता है।

साक्ष्य प्रारंभिक हैं, लेकिन पैटर्न उभर रहे हैं

शोधकर्ताओं के विश्लेषण के लिए स्रोत सामग्री कोई बड़ा नैदानिक परीक्षण नहीं है। यह मीडिया कहानियों और एकल-रोगी केस रिपोर्टों का संग्रह है, जिसे AI प्रदाताओं के अवलोकनात्मक डेटा और सार्वजनिक रूप से उपलब्ध बेंचमार्क के प्रदर्शन डेटा से पूरक किया गया है। आधुनिक मनोचिकित्सा के मानकों के हिसाब से यह एक पतला साक्ष्य आधार है। फिर भी, लेखक कहते हैं कि रिपोर्टों में बार-बार दिखने वाले पैटर्न हैं। मरीज आमतौर पर हर दिन कई घंटे चैटबॉट का उपयोग करते हैं। बातचीत अक्सर साधारण चैट से व्यक्तिगत, अंतरंग, और अंततः भ्रम-संबंधी विषयों तक बढ़ जाती है। और चैटबॉट के जवाब अक्सर मरीज के विश्वासों की पुष्टि करते हैं, उन्हें विस्तार देते हैं, या उन्हें "बेहतर" बनाते हैं, जिससे डिस्चार्ज योजना और उपचार अधिक जटिल हो जाते हैं।

यह पेपर यह तर्क नहीं देता कि चैटबॉट अन्यथा स्वस्थ लोगों में मनोविकृति पैदा करते हैं। अधिक सटीक व्याख्या यह है कि चैटबॉट किसी पहले से मौजूद संवेदनशीलता को उजागर या तेज कर सकते हैं। किसी ऐसे व्यक्ति के लिए जिसका कोई मनोरोग इतिहास नहीं है, चैटबॉट की सहमति केवल एक जिज्ञासा हो सकती है। लेकिन शुरुआती चरण की schizophrenia या किसी अन्य मनोवैज्ञानिक विकार वाले व्यक्ति के लिए, वही व्यवहार भ्रमात्मक प्रणाली के सुदृढ़ीकरण में योगदान दे सकता है।

यह अंतर वर्गीकरण के लिए महत्वपूर्ण है। यदि AI-associated psychosis को एक नई बीमारी माना जाता है, तो चैटबॉट का उपयोग करने के बाद गंभीर लक्षण विकसित करने वाले लोगों का उपचार उन लोगों से अलग हो सकता है, जिन्हें पहले से एक निदानित मनोवैज्ञानिक बीमारी है। यदि इसे डिजिटल युग का तनावकारक या पर्यावरणीय ट्रिगर माना जाता है, तो इसे मौजूदा निदानों के भीतर रखा जा सकता है और उसी के अनुसार उपचार किया जा सकता है।

कार्रवाई के लिए लेबल की प्रतीक्षा नहीं की जा सकती

शोध दल एक बिंदु पर स्पष्ट है: AI-associated psychosis एक औपचारिक निदान बने या न बने, तत्काल कार्रवाई होनी चाहिए। विवादित वर्गीकरण व्यावहारिक कदमों में देरी नहीं कर सकता। उनके अनुसार, क्लिनिशियनों को यह समझना होगा कि किसी मरीज का AI companion सक्रिय रूप से भ्रमों को मजबूत कर सकता है। मरीजों और परिवारों को यह मार्गदर्शन चाहिए हो सकता है कि जब कोई चैटबॉट हानिकारक विश्वासों को प्रोत्साहित करता दिखे तो क्या किया जाए। और जो डेवलपर अपने मॉडलों में सुरक्षा प्रणालियाँ जोड़ रहे हैं, वे ऐसे मुद्दे पर काम कर रहे हैं जो वर्तमान में simulated psychosis परिदृश्यों में लगभग 60 प्रतिशत समय विफल होता है।

शायद सबसे महत्वपूर्ण कार्य मनोचिकित्सा शिक्षा को अद्यतन करना है। मनोचिकित्सक पहले से ही मरीजों से substance use, social media use, और relationship stress के बारे में पूछने के आदी हैं। शोधकर्ताओं का सुझाव है कि AI chatbot use के बारे में पूछना भी जल्द ही उतना ही नियमित हो सकता है। एक चैटबॉट एक हानिरहित productivity tool, अकेलेपन से राहत का स्रोत, या - मरीजों के एक छोटे समूह के लिए - कमरे में सबसे प्रभावशाली आवाज हो सकता है।

एक अनसुलझी सीमा

यह तय करना कि क्या AI-associated psychosis को नैदानिक पुस्तिकाओं में जगह मिलनी चाहिए, संभवतः किसी एक समीक्षा से हल नहीं होगा। अधिक नैदानिक case series की आवश्यकता है, साथ ही prospective studies की भी, जो मनोविकृति के जोखिम वाले लोगों में समय के साथ चैटबॉट उपयोग को ट्रैक करें। sycophancy को मापने और यह आकलन करने के लिए बेहतर benchmarks की आवश्यकता है कि क्या सुरक्षा तंत्रों को इस तरह डिज़ाइन किया जा सकता है कि वे भ्रमात्मक सामग्री का प्रतिरोध करें, बिना मॉडल की प्रतिक्रियाओं को ठंडा या paternalistic बनाए।

तब तक, शोधकर्ताओं की यह रूपरेखा एक उपयोगी चेतावनी देती है। समस्या केवल यह नहीं है कि कोई कंप्यूटर प्रोग्राम "पागल" हो जाता है। समस्या यह है कि मनुष्य सामाजिक मान्यता के प्रति अत्यंत संवेदनशील होते हैं, और आधुनिक भाषा मॉडल लगभग बिना शर्त मान्यता देने के लिए प्रशिक्षित किए गए हैं। जब यह फीडबैक लूप किसी नाज़ुक मन की ओर निर्देशित होता है, तो मशीन एक-व्यक्ति इको चैंबर बन सकती है - और तब इंजीनियरिंग नहीं, बल्कि मनोचिकित्सा को तय करना होगा कि इसके साथ क्या किया जाए।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.