त्वचा निदान अभ्यासात explainable AI मदतही करते आणि हानीही

Explainable AI चा परिणाम सर्वांवर सारखा झाला नाही

Nature Medicine मधील एका नव्या अभ्यासानुसार explainable AI त्वचारोग निदानाला मदत करू शकते, पण तिचे फायदे ती कोण वापरत आहे आणि AI चे उत्तर केव्हा दाखवले जाते यावर मोठ्या प्रमाणात अवलंबून असतात. 623 सामान्य लोक आणि 153 प्राथमिक काळजी डॉक्टरांचा समावेश असलेल्या दोन मोठ्या प्रयोगांत, न्याय-निर्बंध असलेल्या AI मॉडेलच्या मदतीने एकूण निदान अचूकता सुधारली आणि त्वचेच्या रंगांतील कामगिरीतील तफावत कमी झाली. मात्र त्या प्रणालीवर उभारलेल्या स्पष्टीकरणात्मक स्तराने तज्ज्ञ नसलेल्यांवर आणि चिकित्सकांवर अगदी वेगळे परिणाम केले.

या अभ्यासाचा मुख्य निष्कर्ष explainable AI ला सरळ पाठिंबा देणारा नाही, तर तिच्या असमान प्रभावाबद्दलचा इशारा आहे. सामान्य वापरकर्ते automation bias कडे अधिक झुकले: AI चे निदान बरोबर असताना त्यांची कामगिरी सुधारली, पण प्रणाली चुकली तेव्हा कामगिरी घसरली. उलट, प्राथमिक काळजी डॉक्टर अधिक स्थिर राहिले. अभ्यासानुसार, AI चे निदान बरोबर असो वा चुकलेले, दोन्ही स्थितींमध्ये त्यांना फायदा झाला, म्हणजेच अनुभवामुळे स्पष्टीकरणे कशी समजली आणि कशी वजनली गेली हे बदलले.

हे महत्त्वाचे आहे कारण वैद्यकीय AI आता एकाच वेळी दोन अतिशय वेगळ्या प्रेक्षकांकडे पाहिली जात आहे. एक म्हणजे व्यावसायिक ठिकाणी सॉफ्टवेअर वापरणारे चिकित्सक. दुसरे म्हणजे सर्वसामान्य लोक, जे आता AI-आधारित लक्षण तपासणाऱ्या साधनांशी, प्रतिमा विश्लेषकांशी, आणि मोठ्या भाषा मॉडेल इंटरफेसशी थेट संवाद साधत आहेत. या दोन संदर्भांना एकसारखे मानू नये, असे हे संशोधन सूचित करते.

न्याय-निर्बंध असलेल्या मॉडेलने मूलभूत कामगिरी सुधारली

संशोधकांनी हे प्रयोग त्वचारोग AI प्रणालीभोवती उभारले, जिला त्वचेच्या रंगांतील कामगिरी संतुलित ठेवण्यासाठी न्याय-निर्बंधांसह प्रशिक्षित केले होते. या रचनात्मक निवडीने वैद्यकीय इमेजिंग AI मधील सर्वात टिकून राहिलेल्या चिंतांपैकी एकाला उत्तर दिले: प्रशिक्षण डेटा किंवा ऑप्टिमायझेशन प्रक्रियेत काही लोकसमूहांचे प्रतिनिधित्व कमी असल्यास, प्रणाली लोकसंख्यात्मक गटांमध्ये असमान कामगिरी करू शकते.

अभ्यासाच्या सारांशानुसार, न्याय-निर्बंध असलेल्या मॉडेलने सामान्य वापरकर्ते आणि प्राथमिक काळजी डॉक्टर दोघांसाठीही अंतिम निदान अचूकता सुधारली. त्याने त्वचेच्या रंगाशी संबंधित कामगिरीतील तफावतही कमी केली. हा महत्त्वाचा मूलभूत निष्कर्ष आहे, कारण तो दाखवतो की मॉडेल डिझाइनचे निर्णय केवळ सरासरी कामगिरीच नव्हे, तर वापरकर्ते आणि प्रकरणांमध्ये मदत कशी वाटली जाते त्यातील समताही प्रभावित करू शकतात.

व्यावहारिक दृष्टीने, मॉडेल फक्त कच्चे अंदाज देत नव्हते. ते मानवी-AI निर्णय प्रवाहाचा भाग होते, ज्यात वापरकर्त्यांना AI आउटपुट आणि काही परिस्थितींमध्ये बहुमाध्यमी मोठ्या भाषा मॉडेलची स्पष्टीकरणे दिसत होती. त्यामुळे संशोधक केवळ AI किती अचूक होते हेच नाही, तर त्याच्या सादरीकरणाने मानवी निर्णय कसा बदलला हेही अभ्यासू शकले.

स्पष्टीकरणांमुळे सामान्य वापरकर्त्यांसाठी धोका वाढला

Explainable AI अनेकदा ब्लॅक-बॉक्स निर्णयप्रक्रियेवर उपाय म्हणून मांडली जाते. जर वापरकर्त्यांना प्रणालीने उत्तर का दिले हे दिसले, तर ते त्यावर अधिक योग्य विश्वास ठेवतील आणि ती अपयशी ठरल्यास ते दुरुस्त करतील, अशी ही कल्पना आहे. हा अभ्यास वाढत्या पुराव्यांमध्ये भर घालतो की हे नाते अधिक गुंतागुंतीचे आहे.

सामान्य लोकांसाठी, स्पष्टीकरणांनी यंत्राचे अनुसरण करण्याची प्रवृत्ती वाढवली असावी. प्रणालीचे निदान बरोबर असताना, ती वाढलेली अवलंबनशीलता उपयोगी ठरली. प्रणालीने चूक केली तेव्हा, ती हानिकारक ठरली. अभ्यास या नमुन्याला अधिक automation bias असे म्हणतो, म्हणजेच स्पष्टीकरणात्मक इंटरफेसने मॉडेलचे निष्कर्ष प्रश्न उपस्थित करायला हवे होते तरी अधिक अधिकृत वाटायला लावले असावे.

ग्राहकांसमोरील आरोग्य साधनांसाठी हा फरक अत्यंत महत्त्वाचा आहे. सुस्पष्ट स्पष्टीकरण पारदर्शकतेचा भास निर्माण करू शकते, पण वापरकर्ता पाहत असलेल्या विशिष्ट प्रकरणात मूळ शिफारस विश्वासार्ह आहे याची खात्री देत नाही. तज्ज्ञ नसलेल्या व्यक्तीसाठी अतिरिक्त तपशील खरे समजून घेणे निर्माण करू शकत नाही; त्याऐवजी तो आत्मविश्वास निर्माण करू शकतो.

संशोधक multimodal large language model स्पष्टीकरणांना संभाव्य दुहेरी धार असलेली तलवार असे म्हणतात. या संदर्भात ते वाक्य केवळ अलंकार नाही. ते मुख्य रचनात्मक समस्या पकडते: एकाच इंटरफेस वैशिष्ट्याने एका वापरकर्त्याला शिफारस समजण्यास मदत होऊ शकते, तर दुसऱ्याला अतिविश्वासाकडे ढकलू शकते.

चिकित्सकांची प्रतिक्रिया वेगळी होती

अभ्यासातील प्राथमिक काळजी डॉक्टरांनी तीच असुरक्षितता दाखवली नाही. सारांशानुसार, AI मॉडेलचे निदान बरोबर असो वा चुकलेले, ते स्थिर राहिले आणि त्यांना फायदा झाला. याचा अर्थ चिकित्सक प्रभावापासून पूर्णपणे मुक्त होते असा नाही, पण ते प्रणालीशी वेगळ्या संज्ञानात्मक प्रारंभबिंदूपासून संवाद साधत होते, असे सूचित होते.

व्यावसायिक प्रशिक्षणामुळे चिकित्सकांना मॉडेलच्या आउटपुटचे स्वतःच्या विचारांशी तुलना करून मूल्यांकन करण्यासाठी अधिक मजबूत अंतर्गत चौकट मिळाली असावी. स्पष्टीकरणाला निर्णयाचा पर्याय म्हणून स्वीकारण्याऐवजी, त्यांनी ते व्यापक निदान प्रक्रियेतील आणखी एक इनपुट म्हणून वापरले असावे. अभ्यासाचा सारांश या फरकामागील प्रत्येक यंत्रणा स्पष्ट करत नाही, पण हा विरोधाभास त्याच्या सर्वात धोरणात्मकदृष्ट्या महत्त्वाच्या निष्कर्षांपैकी एक आहे.

आरोग्य व्यवस्था बहुतेकदा AI तैनातीचा असा विचार करतात जणू एकच इंटरफेस अनेक भूमिका बजावू शकतो. हे संशोधन त्याच्या उलट दिशेकडे निर्देश करते. चिकित्सकांसाठी बनवलेल्या साधनांना सामान्य लोकांसाठी असलेल्या साधनांपेक्षा वेगळ्या स्पष्टीकरण शैली, विश्वास संकेत, आणि क्रमरचना नियमांची गरज असू शकते. एका संदर्भात उपयुक्त असलेले स्पष्टीकरण दुसऱ्या संदर्भात दिशाभूल करू शकते.

वेळही महत्त्वाची होती

AI निदान मानवी निर्णयापूर्वी दाखवल्यास anchoring bias अधिक तीव्र होऊ शकतो, असेही या अभ्यासात आढळले. Anchoring तेव्हा होते जेव्हा सुरुवातीची माहिती नंतरच्या निर्णयावर असमतोल प्रभाव टाकते. निदान प्रवाहात याचा अर्थ असा होऊ शकतो की वापरकर्ते AI च्या पहिल्या सूचनेवरच अडकतात आणि पर्यायांचा पुरेसा विचार करत नाहीत.

हा निष्कर्ष विशेषतः सॉफ्टवेअर डिझाइनसाठी महत्त्वाचा आहे. याचा अर्थ सुरक्षिततेचा प्रश्न केवळ स्पष्टीकरणे समाविष्ट करायची की नाही हा नाही, तर अंदाज कधी उघड करायचे आणि संवादाचा क्रम कसा रचना करायचा हाही आहे. AI चे उत्तर दाखवण्यापूर्वी चिकित्सक किंवा रुग्णाकडून प्राथमिक मूल्यांकन मागणारी प्रणाली, यंत्राच्या शिफारशीने सुरुवात करणाऱ्या प्रणालीपेक्षा वेगळे परिणाम देऊ शकते.

उत्पादनाच्या दृष्टीने असा इंटरफेस निर्णय किरकोळ वाटू शकतो, पण निर्णयगुणवत्तेवर त्याचा परिणाम मोठा असू शकतो. त्यामुळे हा पेपर वैद्यकीय AI मूल्यांकनात मोठ्या बदलात भर घालतो: केवळ कामगिरी मेट्रिक्स पुरेसे नाहीत. मानवी घटक, कार्यप्रवाहाचा क्रम, आणि स्पष्टीकरणाची चौकट प्रत्यक्ष जगातील परिणाम ठळकपणे बदलू शकतात.

वैद्यकीय AI तैनातीवरील परिणाम

हा अभ्यास explainable AI सोडून द्यावी असा युक्तिवाद करत नाही. त्याचे पुरावे अधिक नेमक्या दाव्याला पाठिंबा देतात: स्पष्टीकरण वैशिष्ट्यांची चाचणी प्रत्यक्ष वापरकर्ते, प्रत्यक्ष कामे, आणि प्रत्यक्ष निर्णय अनुक्रम यांच्या संदर्भातच व्हायला हवी. त्वचारोग सहाय्यात, न्याय-जाणिवपूर्वक प्रशिक्षणाने परिणाम सुधारले, पण explainability ने विशेषतः तज्ज्ञ नसलेल्या लोकांसाठी नवीन वर्तनात्मक धोके निर्माण केले.

हे नियामक, रुग्णालये, आणि ग्राहक आरोग्य विकासक यांच्यासाठी महत्त्वाचे आहे. स्वतःचे स्पष्टीकरण देत असल्यामुळे सुरक्षित वाटणारे साधन, जर ती स्पष्टीकरणे automation bias किंवा anchoring वाढवत असतील, तर टाळता येण्यासारखी हानी करू शकते. उलट, काळजीपूर्वक रचलेली AI मदत, मॉडेल आणि इंटरफेस वापरकर्त्याच्या तज्ज्ञतेशी जुळले तर, अचूकता वाढवू शकते आणि असमानता कमी करू शकते.

मोठी भाषा मॉडेल्स वैद्यकीय कार्यप्रवाहांमध्ये अधिक खोलवर जात असताना, हा लेख एक वेळोचित स्मरण देतो की पारदर्शकता आपोआप संरक्षण देत नाही. काही प्रसंगी ती मदत करते; इतर प्रसंगी ती निर्णय बिघडवू शकते. वैद्यकीय AI डिझाइनचा पुढचा टप्पा सर्वत्र स्पष्टीकरणे जोडण्यापेक्षा, कोणती स्पष्टीकरणे, कोणत्या वापरकर्त्यांसाठी, आणि निर्णय प्रक्रियेच्या कोणत्या क्षणी खरोखरच काळजी सुधारतात हे ओळखण्यावर अधिक अवलंबून असेल.

हा लेख Nature Medicine च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.