AI చాట్‌బాట్‌లు ఇంకా ప్రమాదకరమైన ఆరోగ్య సమాధానాలను ఆందోళనకరమైన ఆత్మవిశ్వాసంతో ఇస్తున్నాయని అధ్యయనం తెలిపింది

ఆత్మవిశ్వాసం ఎందుకు ప్రమాదంలో భాగం

అత్యంత గమనించదగిన సమస్య తప్పులు రావడమే కాదు. ఆ తప్పులు persuasive language‌లో చుట్టబడవచ్చు అన్నదే అసలు విషయం. వ్యాసంలోని ఉదాహరణ, alternative clinics గురించి AI వ్యవస్థను అడిగే ఊహాత్మక క్యాన్సర్ రోగి. ఆందోళన కేవలం అసమర్థిత వైద్య దావాలకే పరిమితం కాదు, fake లేదా broken citations మరియు ప్రశ్న framing‌ను ఎదిరించే ఏ రకమైన ప్రతిస్పందన లేకపోవడం కూడా ఇందులో భాగం.

ఆరోగ్య సందర్భాల్లో ఈ కలయిక ప్రమాదకరం. సమాధానం footnoted‌గా, వృత్తిపరంగా కనిపిస్తే వినియోగదారులు style‌ను substance‌గా పొరబడవచ్చు. ఒక చాట్‌బాట్ సజావుగా, నిష్పక్షపాతంగా వినిపించడం వల్ల random forum post కంటే సురక్షితంగా అనిపించవచ్చు. ఈ రూపం తప్పుదారి పట్టించవచ్చని అధ్యయనం సూచిస్తోంది.

ఆరోగ్య సమాచారానికి కేవలం recall కాదు, judgment కూడా అవసరం: చెడు premises‌ను గుర్తించడం, సాక్ష్యాల నాణ్యతను వేరు చేయడం, మరియు అత్యవసర కేసులను అర్హత కలిగిన వైద్యుల వద్దకు escalat చేయడం. ఒక మోడల్ కేవలం plausible next words‌ను అంచనా వేస్తే, నిజంగా అలా చేయకపోయినా అది సమర్థంగా అనిపించవచ్చు.

రోగులు మరియు platforms‌కు దీని అర్థం

ఈ ఫలితాలు consumer AI systems‌ను నమ్మదగిన first-line medical authorities‌గా పరిగణించకూడదనే వాదనను బలపరుస్తున్నాయి. ఇవి ప్రశ్నలను ముసాయిదా చేయడం, పదజాలాన్ని వివరించడం, లేదా సాధారణ భావనల ద్వారా వినియోగదారులను నడిపించడంలో ఉపయోగపడవచ్చు, కానీ ఆ ప్రయోజనాలు clinical oversight అవసరాన్ని తొలగించవు. oncology, టీకాలు, లేదా నిరూపించని therapies వంటి సున్నితమైన రంగాల్లో, కొంతమేర తప్పైన సమాధానం కూడా నిర్ణయాలను తప్పు దిశలోకి నడిపించవచ్చు.

ఫలితాలు AI కంపెనీలకు product-design ప్రశ్నల్ని కూడా లేవనెత్తుతున్నాయి. 250 ప్రశ్నల్లో కేవలం రెండు మాత్రమే తిరస్కరించబడ్డట్లయితే, refusal thresholds ఆరోగ్య వినియోగానికి చాలా సంకుచితంగా ఉండొచ్చు. మరింత లక్ష్యిత safeguardsలో హానికర premises‌ను బలంగా గుర్తించడం, uncertainty చుట్టూ మెరుగైన calibration, మరియు ఆధారం లేనప్పుడు మద్దతు ఉన్నట్లు సూచించని reference systems ఉండవచ్చు.

అంతే ముఖ్యంగా, model builders open-ended health prompts‌ను వ్యవస్థలు ఎలా నిర్వహించాలో మళ్లీ ఆలోచించాలి. సురక్షిత సమాధానం ఎప్పుడూ నేరుగా ఇచ్చే సమాధానం కాదు. కొన్ని సందర్భాల్లో, సరైన చర్య ప్రశ్నను సవాలు చేయడం, దాని పరిధిని తగ్గించడం, లేదా polished response బదులు clinician consultation‌ను సూచించడం.

విస్తృత పాఠం

ఈ అధ్యయనం ఆరోగ్య సమాచారంలో AI కి ఎలాంటి పాత్ర లేదని చెప్పడం లేదు. ఇది ప్రస్తుత general-purpose చాట్‌బాట్‌లు ఇంకా చాలా తరచుగా విఫలమవుతున్నాయని, వాటిని వినియోగదారులు గుర్తించడం కష్టమని చూపుతోంది. పరీక్షించిన వ్యవస్థలు ప్రతి ప్రశ్నకూ fluent prose‌లో సమాధానం ఇవ్వగలిగాయి, కానీ fluency అనేది trustworthiness‌కు సమానమైనది కాదు.

ఇది రోగులు మరియు developers ఇద్దరికీ ప్రధాన పాఠం. ప్రజలు increasingly వైద్యుడితో మాట్లాడే ముందు AIని ఆశ్రయిస్తున్నారు, ముఖ్యంగా వారు భయపడినప్పుడు లేదా తొందరగా ఉన్నప్పుడు. జాగ్రత్త అవసరమైన చోట ఒక వ్యవస్థ certaintyతో స్పందిస్తే, వినియోగదారు ఆ ప్రమాదాన్ని చాలా తర్వాతే గమనించవచ్చు. వైద్యంలో ఇది తీవ్రమైన failure mode.

accuracy, citation integrity, మరియు refusal behavior గణనీయంగా మెరుగుపడే వరకు, AI చాట్‌బాట్‌లను నమ్మదగిన medical guides కన్నా drafting మరియు orientation tools‌గా చూడడం మంచిది. BMJ Open ఫలితాలు పరిశ్రమకు ఇంకా మూసివేయాల్సిన పెద్ద safety gap ఉందని సూచిస్తున్నాయి.

• పరిశోధకులు ఐదు ప్రధాన చాట్‌బాట్‌లను 50 ఆరోగ్య ప్రశ్నలతో పరీక్షించారు.
• మొత్తం సమాధానాల్లో సగం సమస్యాత్మకంగా, దాదాపు ఐదులో ఒకటి అత్యంత సమస్యాత్మకంగా ఉంది.
• open-ended ఆరోగ్య ప్రశ్నలు closed questions కంటే చాలా చెడు ఫలితాలను ఇచ్చాయి.
• ఏ చాట్‌బాట్ కూడా పూర్తిగా ఖచ్చితమైన reference lists‌ను నమ్మదగిన రీతిలో రూపొందించలేదు.

ఈ వ్యాసం Medical Xpress నివేదిక ఆధారంగా ఉంది. మూల వ్యాసాన్ని చదవండి.