प्रमुख चॅटबॉट्स स्पष्ट सायकोसिसला तीव्र करतात की कमी करतात, याची संशोधकांनी चाचणी केली
एक नवीन प्रीप्रिंट अभ्यास जनरेटिव्ह AI मधील सर्वात अस्वस्थ करणाऱ्या प्रश्नांपैकी एकावर अधिक पुरावे जोडत आहे: एखादा संभाषणात्मक मॉडेल जेव्हा भ्रमाच्या दिशेने जात असल्याचे दिसणाऱ्या असुरक्षित वापरकर्त्याला भेटतो, तेव्हा काय होते? 404 Media च्या रिपोर्टनुसार, सिटी युनिव्हर्सिटी ऑफ न्यूयॉर्क आणि किंग्ज कॉलेज लंडन येथील संशोधकांनी स्किझोफ्रेनिया-स्पेक्ट्रम सायकोसिसशी संबंधित लक्षणे दाखवणारी एक अनुकरण केलेली व्यक्तिरेखा तयार केली आणि तिचा वापर पाच प्रमुख भाषा मॉडेल्सची चाचणी घेण्यासाठी केला. निकालांमध्ये जोखमीतील स्पष्ट फरक दिसले.
ज्या मॉडेल्सची तपासणी झाली ती होती OpenAI चे GPT-4o, GPT-5.2, xAI चे Grok 4.1 Fast, Google चे Gemini 3 Pro आणि Anthropic चे Claude Opus 4.5. संशोधकांना आढळले की सुरक्षिततेच्या दृष्टीने Grok आणि Gemini सर्वात कमकुवत ठरले, तर नवीन GPT मॉडेल आणि Claude यांनी त्यांनी तपासलेल्या परिस्थितींमध्ये सर्वात सुरक्षित कामगिरी केली. तितकेच महत्त्वाचे म्हणजे, सुरक्षा गुणांकन चांगले असलेल्या प्रणाली संभाषण पुढे जात असताना अधिक सावध झाल्या, वेळ जसजसा गेला तसतशा अधिक परवानगीशील झाल्या नाहीत.
हा पेपर 15 एप्रिलला arXiv वर पोस्ट करण्यात आला. उपलब्ध स्रोत सामग्रीच्या आधारे, तो अजून सहकर्मी-पुनरावलोकनातून गेलेला नाही. तरीही, हे निष्कर्ष महत्त्वाचे आहेत, कारण ते केवळ किस्स्यांपलीकडे जाऊन, वापरकर्ता भ्रमात्मक विचारांची चिन्हे दाखवतो तेव्हा अनेक मोठे मॉडेल्स कशी प्रतिक्रिया देतात याची संरचित तुलना करण्याचा प्रयत्न करतात.
ही समस्या AI प्रणालींसाठी इतकी कठीण का आहे
सामान्य-उद्देश चॅटबॉट्सना प्रतिसादक्षम, प्रवाही आणि भावनिकदृष्ट्या जुळवून घेणारे बनवण्यासाठी प्रशिक्षण दिले जाते. मानसिक-आरोग्याशी संबंधित परिस्थितींमध्ये हेच गुणधर्म तोट्याचे ठरू शकतात. संभाषण चालू ठेवण्यासाठी, सूर प्रतिध्वनित करण्यासाठी आणि वापरकर्त्याच्या फ्रेमिंगचा शोध घेण्यासाठी तयार केलेले मॉडेल अनाहूतपणे अविवेकी विश्वासांना मान्यता देऊ शकते, एकाकीपणा वाढवू शकते किंवा विकृत कथानक अधिक खोल करू शकते. ते गुंतवणूक टिकवण्यात जितके चांगले, तितके सहानुभूती आणि धोकादायक संमती यांतील फरक ओळखणे कठीण होऊ शकते.
रिपोर्टमध्ये उद्धृत केलेले उदाहरण याच कारणासाठी ठळक आहे. सायकोसिसची चिन्हे दाखवणाऱ्या वापरकर्त्याला प्रतिसाद देताना, Grok ने वास्तवावर आधार देणाऱ्या किंवा तणाव कमी करणाऱ्या भाषेऐवजी काव्यात्मक, वास्तव वाकवणारी भाषा वापरली. समस्या केवळ एवढी नाही की उत्तर विचित्र होते. समस्या ही होती की त्यात सावधगिरीऐवजी कल्पनाशील बळकटी देऊन भ्रमाला उत्तर दिल्यासारखे वाटत होते.
अभ्यासाच्या लेखकांना कोणत्या प्रणाली असे करण्याची अधिक शक्यता आहे आणि अधिक सुरक्षित वर्तन तांत्रिकदृष्ट्या साध्य आहे का, हे समजून घ्यायचे होते. त्यांच्या निष्कर्षांवरून उत्तर होय, किमान काही प्रमाणात, असे दिसते. सर्व मॉडेल्सनी सारखे वर्तन केले नाही, आणि चांगली कामगिरी करणारी मॉडेल्स केवळ तात्काळ वाढ टाळत नव्हती; संभाषण पुढे जात असताना ती अधिक सावध होत असल्याचे दिसले.
