त्वचा निदान अध्ययन में व्याख्येय AI मदद भी करता है और नुकसान भी

व्याख्येय AI ने सभी पर एक जैसा प्रभाव नहीं डाला

Nature Medicine में प्रकाशित एक नए अध्ययन के अनुसार, व्याख्येय AI त्वचा-विज्ञान संबंधी निदान सहायता में सुधार कर सकता है, लेकिन इसके लाभ इस बात पर बहुत निर्भर करते हैं कि इसका उपयोग कौन कर रहा है और AI का उत्तर कब दिखाया जाता है। 623 आम लोगों और 153 प्राथमिक देखभाल चिकित्सकों को शामिल करने वाले दो बड़े प्रयोगों में, शोधकर्ताओं ने पाया कि निष्पक्षता-सीमित AI मॉडल की सहायता से समग्र निदान सटीकता में सुधार हुआ और त्वचा के रंगों के बीच प्रदर्शन असमानताएँ घटीं। लेकिन उस प्रणाली के ऊपर बनाई गई व्याख्यात्मक परत ने गैर-विशेषज्ञों और चिकित्सकों पर बेहद अलग प्रभाव डाले।

मुख्य निष्कर्ष व्याख्येय AI के लिए एक सरल समर्थन से कम और उसके असमान प्रभाव के प्रति एक चेतावनी अधिक है। आम उपयोगकर्ता स्वचालन पक्षपात के प्रति अधिक संवेदनशील हो गए: जब AI का निदान सही था, तब उनका प्रदर्शन बेहतर हुआ, लेकिन जब प्रणाली गलत थी, तब उनका प्रदर्शन गिर गया। इसके विपरीत, प्राथमिक देखभाल चिकित्सक अधिक लचीले साबित हुए। अध्ययन के अनुसार, उन्हें AI का निदान सही हो या गलत, दोनों ही स्थितियों में लाभ मिला, जिससे संकेत मिलता है कि अनुभव ने व्याख्याओं की व्याख्या और उनके महत्व को प्रभावित किया।

यह निष्कर्ष महत्वपूर्ण है क्योंकि चिकित्सीय AI अब एक साथ दो बहुत अलग दर्शकों को लक्षित कर रहा है। एक ओर वे चिकित्सक हैं जो पेशेवर परिवेश में सॉफ़्टवेयर का उपयोग करते हैं। दूसरी ओर सामान्य जनता है, जो अब AI-संचालित लक्षण-जांचकर्ताओं, छवि-विश्लेषकों और बड़े भाषा मॉडल इंटरफेस से सीधे सामना कर रही है। यह अध्ययन सुझाता है कि इन दोनों संदर्भों को एक जैसा नहीं माना जाना चाहिए।

निष्पक्षता-सीमित मॉडल ने आधारभूत प्रदर्शन में सुधार किया

शोधकर्ताओं ने प्रयोगों को एक त्वचा-विज्ञान AI प्रणाली के इर्द-गिर्द बनाया, जिसे त्वचा के रंगों के बीच प्रदर्शन संतुलित करने के लिए निष्पक्षता-सीमाओं के साथ प्रशिक्षित किया गया था। इस डिज़ाइन ने चिकित्सीय इमेजिंग AI की सबसे लगातार चिंताओं में से एक को संबोधित किया: यदि प्रशिक्षण डेटा या अनुकूलन प्रक्रिया में कुछ आबादियों का प्रतिनिधित्व कम हो, तो प्रणालियाँ जनसांख्यिकीय समूहों के बीच असमान प्रदर्शन कर सकती हैं।

अध्ययन सार के अनुसार, निष्पक्षता-सीमित मॉडल ने आम उपयोगकर्ताओं और प्राथमिक देखभाल चिकित्सकों, दोनों के लिए अंतिम निदान सटीकता में सुधार किया। इसने त्वचा-रंग-संबंधी प्रदर्शन असमानताओं को भी कम किया। यह एक महत्वपूर्ण आधारभूत परिणाम है, क्योंकि यह दिखाता है कि मॉडल डिज़ाइन के निर्णय न केवल औसत प्रदर्शन को, बल्कि सहायता किस प्रकार उपयोगकर्ताओं और मामलों में वितरित होती है, उस समानता को भी प्रभावित कर सकते हैं।

व्यावहारिक रूप से, मॉडल केवल कच्चे अनुमान नहीं दे रहा था। यह एक मानव-AI निर्णय कार्यप्रवाह का हिस्सा था, जिसमें उपयोगकर्ताओं को AI आउटपुट और कुछ स्थितियों में मल्टीमॉडल बड़े भाषा मॉडल की व्याख्याएँ दिखाई जाती थीं। इसलिए शोधकर्ता न केवल यह अध्ययन कर सके कि AI कितना सटीक था, बल्कि यह भी कि उसकी प्रस्तुति ने मानवीय निर्णय को कैसे बदला।

व्याख्याओं ने आम उपयोगकर्ताओं के लिए जोखिम बढ़ाया

व्याख्येय AI को अक्सर ब्लैक-बॉक्स निर्णय-निर्माण के समाधान के रूप में प्रस्तुत किया जाता है। तर्क यह होता है कि यदि उपयोगकर्ता देख सकें कि किसी प्रणाली ने कोई उत्तर क्यों दिया, तो वे उस पर अधिक उचित भरोसा करेंगे और उसके विफल होने पर उसे सुधार लेंगे। यह अध्ययन बढ़ते प्रमाणों में यह जोड़ता है कि यह संबंध अधिक जटिल है।

आम लोगों के लिए, व्याख्याओं ने मशीन का अनुसरण करने की प्रवृत्ति को बढ़ाया प्रतीत हुआ। जब प्रणाली का निदान सही था, तब यह बढ़ी हुई निर्भरता मददगार थी। जब प्रणाली ने त्रुटि की, तब यह हानिकारक थी। अध्ययन इस पैटर्न को अधिक मजबूत स्वचालन पक्षपात के रूप में वर्णित करता है, अर्थात् व्याख्यात्मक इंटरफ़ेस ने मॉडल के निष्कर्षों को अधिक प्रामाणिक महसूस करा दिया, भले ही उन पर सवाल उठना चाहिए था।

उपभोक्ता-उन्मुख स्वास्थ्य उपकरणों के लिए यह अंतर अत्यंत महत्वपूर्ण है। एक परिष्कृत व्याख्या पारदर्शिता का आभास दे सकती है, लेकिन यह सुनिश्चित नहीं करती कि विशिष्ट मामले में अंतर्निहित सिफारिश विश्वसनीय है। किसी गैर-विशेषज्ञ के लिए, अतिरिक्त विवरण से वास्तविक समझ नहीं बन सकती। इसके बजाय, वह आत्मविश्वास पैदा कर सकता है।

शोधकर्ताओं ने मल्टीमॉडल बड़े भाषा मॉडल की व्याख्याओं को एक संभावित दोधारी तलवार बताया है। इस संदर्भ में यह वाक्य केवल अलंकारिक नहीं है। यह मूल डिज़ाइन समस्या को दर्शाता है: वही इंटरफ़ेस विशेषता जो एक उपयोगकर्ता को किसी सिफारिश को समझने में मदद करती है, दूसरे उपयोगकर्ता को अत्यधिक भरोसे की ओर धकेल सकती है।

चिकित्सकों की प्रतिक्रिया अलग थी

अध्ययन में प्राथमिक देखभाल चिकित्सकों में वही संवेदनशीलता नहीं दिखी। सार कहता है कि वे लचीले रहे और इस बात की परवाह किए बिना लाभान्वित हुए कि AI मॉडल का निदान सटीक था या नहीं। इसका अर्थ यह नहीं कि चिकित्सक प्रभाव से मुक्त थे, लेकिन यह अवश्य संकेत देता है कि वे प्रणाली के साथ एक अलग संज्ञानात्मक आधार से संवाद कर रहे थे।

पेशेवर प्रशिक्षण ने संभवतः चिकित्सकों को मॉडल के आउटपुट का अपने स्वयं के तर्क से आकलन करने के लिए एक मजबूत आंतरिक ढाँचा दिया। व्याख्या को निर्णय के विकल्प के रूप में स्वीकार करने के बजाय, उन्होंने इसे व्यापक निदान प्रक्रिया में एक और इनपुट की तरह इस्तेमाल किया होगा। अध्ययन सार इस अंतर के हर तंत्र को स्पष्ट नहीं करता, लेकिन यही इसके सबसे नीतिगत रूप से महत्वपूर्ण निष्कर्षों में से एक है।

स्वास्थ्य-प्रणालियाँ अक्सर AI तैनाती को ऐसे चर्चा करती हैं मानो एक ही इंटरफ़ेस कई भूमिकाएँ निभा सकता हो। यह शोध इसके उलट संकेत देता है। चिकित्सकों के लिए बने उपकरणों को जनता के लिए बने उपकरणों की तुलना में अलग व्याख्या शैली, अलग आत्मविश्वास संकेत, और अलग अनुक्रम नियमों की आवश्यकता हो सकती है। जो व्याख्या एक संदर्भ में उपयोगी है, वही दूसरे में भ्रामक भी हो सकती है।

समय का भी महत्व था

अध्ययन में यह भी पाया गया कि मानव निर्णय लेने से पहले AI निदान दिखाने से मजबूत एंकरिंग पक्षपात पैदा हो सकता है। एंकरिंग तब होती है जब शुरुआती जानकारी बाद के निर्णय को असमान रूप से प्रभावित करती है। निदान कार्यप्रवाह में इसका अर्थ यह हो सकता है कि उपयोगकर्ता AI के पहले सुझाव पर ही टिक जाते हैं और वैकल्पिक संभावनाओं पर पर्याप्त विचार नहीं करते।

यह निष्कर्ष सॉफ़्टवेयर डिज़ाइन के लिए विशेष रूप से प्रासंगिक है। इसका मतलब है कि सुरक्षा का सवाल केवल यह नहीं है कि व्याख्याएँ शामिल की जाएँ या नहीं, बल्कि यह भी है कि पूर्वानुमान कब प्रकट किए जाएँ और अंतःक्रिया के क्रम को कैसे संरचित किया जाए। ऐसा सिस्टम जो चिकित्सक या रोगी से पहले उनकी प्रारंभिक राय पूछता है और उसके बाद AI का उत्तर दिखाता है, उस सिस्टम से अलग परिणाम दे सकता है जो मशीन की सिफारिश से शुरुआत करता है।

उत्पाद की दृष्टि से ऐसा इंटरफ़ेस-निर्णय मामूली लग सकता है, लेकिन इसका निर्णय-गुणवत्ता पर बड़ा प्रभाव हो सकता है। इसलिए यह पेपर चिकित्सा AI मूल्यांकन में एक व्यापक बदलाव में योगदान देता है: केवल प्रदर्शन माप पर्याप्त नहीं हैं। मानव कारक, कार्यप्रवाह का क्रम, और व्याख्या की रूपरेखा वास्तविक दुनिया के परिणाम को महत्वपूर्ण रूप से बदल सकते हैं।

चिकित्सीय AI तैनाती के लिए निहितार्थ

अध्ययन यह नहीं कहता कि व्याख्येय AI को छोड़ दिया जाना चाहिए। इसके साक्ष्य इसके बजाय एक अधिक सटीक दावा समर्थन करते हैं: व्याख्या सुविधाओं का परीक्षण वास्तविक उपयोगकर्ताओं, वास्तविक कार्यों, और वास्तविक निर्णय-क्रमों के संदर्भ में किया जाना चाहिए। त्वचा-विज्ञान सहायता में, निष्पक्षता-सचेत प्रशिक्षण ने परिणामों में सुधार किया, लेकिन व्याख्येयता ने नए व्यवहारिक जोखिम पैदा किए, विशेष रूप से गैर-विशेषज्ञों के लिए।

यह नियामकों, अस्पतालों, और उपभोक्ता स्वास्थ्य डेवलपर्स, सभी के लिए महत्वपूर्ण है। जो उपकरण स्वयं को समझाने के कारण अधिक सुरक्षित प्रतीत होता है, वह तब भी टालने योग्य नुकसान पैदा कर सकता है यदि वे व्याख्याएँ स्वचालन पक्षपात या एंकरिंग को बढ़ाएँ। इसके विपरीत, सावधानीपूर्वक डिज़ाइन की गई AI सहायता सटीकता बढ़ा सकती है और असमानताएँ घटा सकती है, यदि मॉडल और इंटरफ़ेस उपयोगकर्ता की विशेषज्ञता के अनुरूप हों।

जैसे-जैसे बड़े भाषा मॉडल चिकित्सीय कार्यप्रवाह में और गहराई तक जा रहे हैं, यह पेपर एक समयोचित याद दिलाता है कि पारदर्शिता स्वतः सुरक्षात्मक नहीं होती। कुछ मामलों में यह मदद करती है; अन्य में यह निर्णय को विकृत कर सकती है। चिकित्सीय AI डिज़ाइन का अगला चरण संभवतः हर जगह व्याख्याएँ जोड़ने से कम और इस बात की पहचान करने पर अधिक निर्भर होगा कि कौन-सी व्याख्याएँ, किन उपयोगकर्ताओं के लिए, और निर्णय-प्रक्रिया के किस क्षण पर, वास्तव में देखभाल में सुधार करती हैं।

यह लेख Nature Medicine की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.