ప్రమాదం అత్యధికంగా ఉన్నప్పుడు AI అత్యుత్తమ ప్రదర్శన చూపింది

ఈ వారం

Science

లో ప్రచురితమైన హార్వర్డ్-నేతృత్వంలోని అధ్యయనం, వైద్యంలో కృత్రిమ మేధస్సు ఎలా ఉపయోగపడవచ్చో అనే చర్చకు ఒక కీలకమైన డేటా పాయింట్‌ను జోడించింది. పేపర్‌లో అత్యంత ఆసక్తిగా పరిశీలించిన ప్రయోగాలలో ఒకటిలో, పరిశోధకులు Beth Israel Deaconess Medical Centerలోని నిజమైన అత్యవసర గది కేసులపై OpenAI మోడళ్ల నిర్ధారణలను రెండు అంతర్గత వైద్య అటెండింగ్ వైద్యుల నిర్ధారణలతో పోల్చారు. అధ్యయనం ప్రకారం, OpenAI యొక్క o1 మోడల్ ప్రతి నిర్ధారణ దశలో మానవ వైద్యులకు సమానంగా లేదా వారికంటే మెరుగ్గా పని చేసింది; ప్రారంభ ER ట్రయాజ్‌లో అత్యంత స్పష్టమైన ఆధిక్యం కనిపించింది.

ఇది ముఖ్యమైనది, ఎందుకంటే ట్రయాజ్‌లో వైద్యులకు అత్యల్ప సమాచారం మరియు అత్యల్ప సమయం మాత్రమే ఉంటుంది. రోగి పరిస్థితికి అత్యంత సంభావ్యమైన కారణాన్ని మరింత విస్తృత పరీక్షలు అందుబాటులోకి రాకముందే గుర్తించడానికి వైద్యులు మరియు ఆసుపత్రులు ప్రయత్నించే మొదటి టచ్‌పాయింట్‌లోనే తేడాలు ప్రత్యేకంగా ఎక్కువగా కనిపించాయని అధ్యయనం తెలిపింది. ఆ ప్రారంభ దశలో, o1 67% కేసుల్లో ఖచ్చితమైన లేదా చాలా దగ్గరైన నిర్ధారణను ఇచ్చిందని, ఒక అటెండింగ్ వైద్యుడికి 55% మరియు మరొకరికి 50% మాత్రమే వచ్చాయని పరిశోధకులు నివేదించారు.

ఈ పోలికను ఎలా రూపొందించారు

ఈ పరిశోధనా బృందానికి Harvard Medical School మరియు Beth Israel Deaconessలోని వైద్యులు మరియు కంప్యూటర్ శాస్త్రవేత్తలు నాయకత్వం వహించారు. మూల పదార్థంలో హైలైట్ చేసిన అత్యవసర గది ప్రయోగంలో, బృందం Beth Israel ERకి వచ్చిన 76 రోగులపై దృష్టి సారించింది. రెండు OpenAI మోడళ్లు, o1 మరియు 4o, రూపొందించిన నిర్ధారణలను రెండు అంతర్గత వైద్య అటెండింగ్ వైద్యుల నిర్ధారణలతో తూచారు.

ఆ ఫలితాలను, ఏ నిర్ధారణలు మనుషుల నుంచి వచ్చాయో ఏవి AI వ్యవస్థల నుంచి వచ్చాయో తెలియని మరో ఇద్దరు అటెండింగ్ వైద్యులు సమీక్షించారు. ఈ బ్లైండింగ్ ముఖ్యమైనది, ఎందుకంటే అంచనాల ఆధారంగా కాకుండా నాణ్యత ఆధారంగా సమీక్షకులు ఒక మూలానికి మరొకదానిపై మొగ్గు చూపే ప్రమాదాన్ని ఇది తగ్గిస్తుంది.

మోడళ్లకు డేటా ఇవ్వడానికి ముందు రోగి సమాచారాన్ని ముందస్తుగా ప్రాసెస్ చేయలేదని పరిశోధకులు కూడా స్పష్టం చేశారు. బదులుగా, ప్రతి నిర్ధారణ జరిగే సమయానికి ఎలక్ట్రానిక్ మెడికల్ రికార్డులో అందుబాటులో ఉన్న అదే సమాచారం AI వ్యవస్థలకు అందింది. ఇది AI వైద్య పరిశోధనలో తరచుగా వినిపించే విమర్శను నేరుగా తాకుతుంది: శుభ్రపరచిన, సరళీకృత, లేదా అసాధారణంగా పూర్తి ఇన్‌పుట్‌లు ఇచ్చినప్పుడు మాత్రమే మోడళ్లు ఆకట్టుకునేలా కనిపించవచ్చని. ఇక్కడ, మోడళ్లను వాస్తవ ప్రాక్టీస్‌లో అందుబాటులో ఉండే అదే ముడి, అపూర్ణమైన క్లినికల్ చిత్రంపై పరీక్షించారని పరిశోధనా బృందం చెప్పింది.