చర్మ నిర్ధారణ అధ్యయనంలో explainable AI సహాయమూ, హానీ కూడా చేసింది

Explainable AI అందరినీ ఒకే విధంగా ప్రభావితం చేయలేదు

Nature Medicine లో ప్రచురితమైన ఒక కొత్త అధ్యయనం explainable AI చర్మవ్యాధి నిర్ధారణ సహాయాన్ని మెరుగుపరచగలదని చెబుతోంది, కానీ దాని ప్రయోజనాలు దాన్ని ఎవరు ఉపయోగిస్తున్నారు, AI సమాధానం ఎప్పుడు చూపబడుతోంది అనే విషయాలపై బాగా ఆధారపడి ఉంటాయి. 623 మంది సాధారణ ప్రజలు, 153 మంది ప్రాథమిక సంరక్షణ వైద్యులు పాల్గొన్న రెండు పెద్ద ప్రయోగాల్లో, న్యాయ పరిమితులతో శిక్షణ పొందిన AI మోడల్ సహాయం మొత్తం నిర్ధారణ ఖచ్చితత్వాన్ని పెంచి, చర్మరంగుల మధ్య పనితీరు అసమానతలను తగ్గించింది. కానీ ఆ వ్యవస్థపై నిర్మించిన వివరణాత్మక పొర నిపుణులు కానివారికీ, వైద్యులకీ పూర్తిగా భిన్నమైన ప్రభావాలను చూపింది.

ఈ అధ్యయనంలోని కేంద్ర ఫలితం explainable AI కి సులభమైన మద్దతు కాదు, దాని అసమాన ప్రభావంపై ఒక హెచ్చరిక. సాధారణ వినియోగదారులు automation bias కు ఎక్కువగా లోనయ్యారు: AI నిర్ధారణ సరైనప్పుడు వారి పనితీరు మెరుగైంది, కానీ వ్యవస్థ తప్పుగా ఉన్నప్పుడు పనితీరు పడిపోయింది. దీనికి విరుద్ధంగా, ప్రాథమిక సంరక్షణ వైద్యులు మరింత స్థిరంగా ఉన్నారు. AI నిర్ధారణ సరైనదైనా తప్పైనా వారు లాభపడ్డారు, అంటే అనుభవం వివరణలు ఎలా అర్థం చేసుకున్నారో, ఎలా తూకం వేశారుో మార్చిందని అధ్యయనం సూచిస్తోంది.

వైద్య AI ఇప్పుడు ఒకేసారి రెండు చాలా భిన్నమైన ప్రేక్షకులను లక్ష్యం చేస్తోంది కాబట్టి ఈ విషయం ముఖ్యమైనది. ఒకటి, వృత్తిపరమైన వాతావరణాల్లో సాఫ్ట్‌వేర్‌ను ఉపయోగించే వైద్యులు. మరోటి, AI ఆధారిత లక్షణ తనిఖీ సాధనాలు, చిత్రం విశ్లేషకాలు, మరియు పెద్ద భాషా మోడల్ ఇంటర్‌ఫేస్‌లను నేరుగా ఎదుర్కొంటున్న ప్రజలు. ఈ రెండు సందర్భాలను పరస్పరం మార్పిడి చేయదగినవిగా చూడకూడదని ఈ అధ్యయనం సూచిస్తోంది.

న్యాయ పరిమితులున్న మోడల్ ప్రాథమిక పనితీరును మెరుగుపరిచింది

చర్మరంగుల మధ్య పనితీరును సమతుల్యం చేయాలనే ఉద్దేశంతో న్యాయ పరిమితులతో శిక్షణ పొందిన ఒక చర్మవ్యాధి AI వ్యవస్థ చుట్టూ పరిశోధకులు ఈ ప్రయోగాలను నిర్మించారు. ఈ రూపకల్పన ఎంపిక, వైద్య ఇమేజింగ్ AI లో అత్యంత స్థిరమైన ఆందోళనలలో ఒకదాన్ని పరిష్కరించింది: శిక్షణ డేటా లేదా ఆప్టిమైజేషన్ ప్రక్రియ కొంతమంది జనాభాలను తక్కువగా ప్రతినిధ్యం చేస్తే, వ్యవస్థలు జనసాంఖ్యిక గుంపుల మధ్య అసమానంగా పనిచేయవచ్చు.

అధ్యయన సారాంశం ప్రకారం, న్యాయ పరిమితులున్న మోడల్ సాధారణ వినియోగదారులు మరియు ప్రాథమిక సంరక్షణ వైద్యులు ఇద్దరికీ తుది నిర్ధారణ ఖచ్చితత్వాన్ని మెరుగుపరిచింది. ఇది చర్మరంగు-సంబంధిత పనితీరు వ్యత్యాసాలను కూడా తగ్గించింది. ఇది ముఖ్యమైన ప్రాథమిక ఫలితం, ఎందుకంటే మోడల్ రూపకల్పన నిర్ణయాలు సగటు పనితీరును మాత్రమే కాదు, వినియోగదారులు మరియు కేసుల మధ్య సహాయం ఎలా పంచబడుతుందనే సమానత్వాన్ని కూడా ప్రభావితం చేయగలవని ఇది చూపుతుంది.

ప్రాయోగికంగా చూస్తే, మోడల్ కేవలం ముడి అంచనాలను ఇవ్వడం లేదు. అది మానవ-AI నిర్ణయ ప్రవాహంలో భాగంగా ఉండేది, అందులో వినియోగదారులు AI అవుట్‌పుట్‌లను, కొన్ని సందర్భాల్లో బహుళమాధ్యమ పెద్ద భాషా మోడల్ వివరణలను చూసేవారు. అందువల్ల పరిశోధకులు AI ఎంత ఖచ్చితంగా ఉందో మాత్రమే కాక, దాని ప్రదర్శన మానవ నిర్ణయాన్ని ఎలా మార్చిందో కూడా అధ్యయనం చేయగలిగారు.

వివరణలు సాధారణ వినియోగదారులకు ప్రమాదాన్ని పెంచాయి

Explainable AI ని తరచుగా black-box నిర్ణయాలకు పరిష్కారంగా చూపిస్తారు. వినియోగదారులు వ్యవస్థ ఒక సమాధానాన్ని ఎందుకు ఇచ్చిందో చూడగలిగితే, వారు దానిని మరింత సరైన రీతిలో నమ్మి, అది విఫలమైనప్పుడు సరిచేయగలరనే ఆలోచన ఉంటుంది. ఈ అధ్యయనం, ఆ సంబంధం అంతకంటే సంక్లిష్టమని పెరుగుతున్న ఆధారాలకు తోడ్పడుతోంది.

సాధారణ ప్రజల విషయంలో, వివరణలు యంత్రాన్ని అనుసరించే ధోరణిని పెంచినట్లు కనిపించింది. వ్యవస్థ నిర్ధారణ సరైనప్పుడు, ఆ పెరిగిన ఆధారపడటం సహాయపడింది. వ్యవస్థ తప్పు చేసినప్పుడు, అది హానికరమైంది. ఈ నమూనాను అధ్యయనం ఎక్కువ automation bias గా వర్ణిస్తుంది, అంటే వివరణాత్మక ఇంటర్‌ఫేస్ మోడల్ ఫలితాలను ప్రశ్నించాల్సినప్పటికీ మరింత అధికారికంగా అనిపించజేసి ఉండొచ్చని సూచిస్తుంది.

వినియోగదారులకు ఎదురుగా ఉండే ఆరోగ్య సాధనాలకు ఈ భేదం చాలా కీలకం. మెరుగ్గా కనిపించే వివరణ పారదర్శకత అనే భావనను కలిగించవచ్చు, కానీ వినియోగదారు చూస్తున్న నిర్దిష్ట సందర్భంలో అసలు సిఫార్సు విశ్వసనీయమని హామీ ఇవ్వదు. ఒక నిపుణుడు కాని వ్యక్తికి అదనపు వివరాలు నిజమైన అవగాహనను ఇవ్వకపోవచ్చు. బదులుగా, అది నమ్మకాన్ని కలిగించవచ్చు.

multimodal large language model వివరణలను పరిశోధకులు రెండు వైపుల కత్తిగా పేర్కొన్నారు. ఈ సందర్భంలో ఆ మాట కేవలం అలంకారికం కాదు. అదే ఇంటర్‌ఫేస్ లక్షణం ఒక వినియోగదారికి సిఫార్సును అర్థం చేసుకోవడానికి సహాయపడితే, మరో వినియోగదారిని అతివిశ్వాసం వైపు నెట్టవచ్చనే ప్రధాన రూపకల్పన సమస్యను అది సూచిస్తుంది.

వైద్యులు భిన్నంగా స్పందించారు

అధ్యయనంలో ఉన్న ప్రాథమిక సంరక్షణ వైద్యులు అదే రకమైన బలహీనత చూపలేదు. సారాంశం ప్రకారం, AI మోడల్ నిర్ధారణ సరైందా తప్పిందా అన్నదానితో సంబంధం లేకుండా వారు స్థిరంగా ఉండి లాభపడ్డారు. దీని అర్థం వైద్యులు ప్రభావానికి అతీతులు అన్నది కాదు, కానీ వారు వ్యవస్థతో వేరే జ్ఞానాత్మక ప్రారంభ స్థానం నుంచి వ్యవహరించారని సూచిస్తుంది.

వృత్తిపరమైన శిక్షణ, మోడల్ అవుట్‌పుట్‌ను తమ స్వంత reasoning తో పోల్చి అంచనా వేయడానికి వైద్యులకు బలమైన అంతర్గత చట్రాన్ని ఇచ్చి ఉండొచ్చు. వివరణను తీర్పుకు ప్రత్యామ్నాయంగా స్వీకరించకుండా, దాన్ని విస్తృత నిర్ధారణ ప్రక్రియలో మరో ఇన్‌పుట్‌గా ఉపయోగించి ఉండొచ్చు. ఈ వ్యత్యాసం వెనుక ఉన్న ప్రతి mechanism ను అధ్యయన సారాంశం వివరించదు, కానీ ఈ వ్యత్యాసం దాని అత్యంత విధానపరమైన ప్రాముఖ్యత గల నిర్ణయాలలో ఒకటి.

ఆరోగ్య వ్యవస్థలు తరచుగా AI అమలును ఒకే ఇంటర్‌ఫేస్ అనేక పాత్రలను పోషించగలదన్నట్లుగా చర్చిస్తాయి. ఈ పరిశోధన దీనికి విరుద్ధంగా సూచిస్తోంది. వైద్యుల కోసం రూపొందించిన సాధనాలకు, ప్రజల కోసం ఉన్న సాధనాలకంటే భిన్నమైన వివరణ శైలులు, నమ్మక సంకేతాలు, మరియు క్రమ నియమాలు అవసరం కావచ్చు. ఒక సందర్భంలో ఉపయోగకరమైన వివరణ, మరొక సందర్భంలో తప్పుదారి పట్టించవచ్చు.

సమయం కూడా కీలకమైంది

AI నిర్ధారణను మానవ నిర్ణయానికి ముందు చూపితే anchoring bias మరింత బలపడవచ్చని అధ్యయనం గుర్తించింది. Anchoring అంటే ఒక ప్రారంభ సమాచారం తరువాతి నిర్ణయాన్ని అసమతుల్యంగా ఆకృతీకరించడం. ఒక నిర్ధారణ పనిప్రవాహంలో, వినియోగదారులు AI యొక్క మొదటి సూచనకే అతుక్కుపోయి, ప్రత్యామ్నాయాలను తగినంతగా పరిగణనలోకి తీసుకోకపోవచ్చు.

ఈ ఫలితం ముఖ్యంగా సాఫ్ట్‌వేర్ రూపకల్పనకు సంబంధించినది. భద్రత గురించి ప్రశ్న కేవలం వివరణలు చేర్చాలా వద్దా అనే విషయం మాత్రమే కాదు, అంచనాలను ఎప్పుడు వెల్లడించాలి, పరస్పర చర్య క్రమాన్ని ఎలా నిర్మించాలి అనే అంశమూ కూడా. AI సమాధానాన్ని చూపించే ముందు వైద్యుడి లేదా రోగి యొక్క ప్రారంభ అంచనాను కోరే వ్యవస్థ, యంత్ర సిఫార్సుతో మొదలయ్యే వ్యవస్థతో భిన్నమైన ఫలితాలను ఇవ్వవచ్చు.

ఉత్పత్తి దృష్టిలో ఆ రకమైన ఇంటర్‌ఫేస్ ఎంపిక చిన్నదిగా కనిపించొచ్చు, కానీ నిర్ణయ నాణ్యతపై దాని ప్రభావం పెద్దదిగా ఉండవచ్చు. అందుకే ఈ పేపర్ వైద్య AI మూల్యాంకనంలో ఒక విస్తృత మార్పుకు తోడ్పడుతుంది: పనితీరు ప్రమాణాలు మాత్రమే సరిపోవు. మానవ అంశాలు, వర్క్‌ఫ్లో క్రమం, మరియు వివరణ రూపకల్పన వాస్తవ ప్రపంచ ఫలితాన్ని గణనీయంగా మార్చగలవు.

వైద్య AI అమలుకు సూచనలు

ఈ అధ్యయనం explainable AI ను వదిలేయాలని వాదించడం లేదు. దాని ఆధారాలు మరింత ఖచ్చితమైన ఒక వాదనకు మద్దతు ఇస్తున్నాయి: వివరణ లక్షణాలను నిజమైన వినియోగదారులు, నిజమైన పనులు, మరియు నిజమైన నిర్ణయ క్రమాల సందర్భంలో పరీక్షించాలి. చర్మవ్యాధి సహాయంలో, న్యాయ-సమర్థ శిక్షణ ఫలితాలను మెరుగుపరిచింది, కానీ explainability ముఖ్యంగా నిపుణులు కానివారికి కొత్త ప్రవర్తనా ప్రమాదాలను తీసుకొచ్చింది.

ఇది నియంత్రణ సంస్థలు, ఆసుపత్రులు, మరియు వినియోగదారుల ఆరోగ్య అభివృద్ధాకులందరికీ ప్రాముఖ్యమైనది. తమను తాము వివరిస్తున్నందున సురక్షితంగా కనిపించే సాధనం, ఆ వివరణలు automation bias లేదా anchoring ను పెంచితే, నివారించగలిగే హానిని కలిగించవచ్చు. మరోవైపు, జాగ్రత్తగా రూపొందించిన AI సహాయం, మోడల్ మరియు ఇంటర్‌ఫేస్ వినియోగదారి నైపుణ్యానికి అనుగుణంగా ఉంటే, ఖచ్చితత్వాన్ని పెంచి అసమానతలను తగ్గించవచ్చు.

పెద్ద భాషా మోడళ్లు వైద్య వర్క్‌ఫ్లోల్లో మరింత లోతుగా ప్రవేశిస్తున్నప్పుడు, ఈ పత్రం పారదర్శకత స్వయంచాలకంగా రక్షణను ఇవ్వదని సమయోచితంగా గుర్తు చేస్తుంది. కొన్ని సందర్భాల్లో అది సహాయపడుతుంది; మరికొన్నింటిలో తీర్పును వక్రీకరించగలదు. వైద్య AI రూపకల్పన యొక్క తదుపరి దశ, ప్రతిచోటా వివరణలను చేర్చడం కంటే, ఏ వివరణలు, ఏ వినియోగదారుల కోసం, మరియు నిర్ణయ ప్రక్రియలో ఏ క్షణంలో, నిజంగా సంరక్షణను మెరుగుపరుస్తాయో గుర్తించడంపై ఎక్కువగా ఆధారపడి ఉంటుంది.

ఈ వ్యాసం Nature Medicine నివేదికపై ఆధారపడింది. అసలు వ్యాసాన్ని చదవండి.