తప్పులు రోగులలో కొలవబడే చోటికి ఏజెంటిక్ AI చేరుకుంది
వైద్య కృత్రిమ మేధస్సు సాంప్రదాయకంగా ఒక నిర్ధారణ పరీక్షలా అంచనా వేయబడుతుంది. ఒక మోడల్ డేటాసెట్‌పై శిక్షణ పొందుతుంది, నిలిపివేయబడిన నమూనాపై క్లినిషియన్లతో పోల్చి బెంచ్‌మార్క్ చేయబడుతుంది, మరియు సున్నితత్వం, నిర్దిష్టత లేదా ఖచ్చితత్వం యొక్క కొన్ని ఇతర కొలమానంపై స్కోర్ చేయబడుతుంది. ఆ మొత్తం విధానం ఒక ఊహపై ఆధారపడి ఉంటుంది: మోడల్ ఒక అవుట్‌పుట్‌ను ఉత్పత్తి చేస్తుంది, మరియు మనిషి దానిని అర్థం చేసుకుంటాడు.
ఏజెంటిక్ AI ఆ ఊహను బద్దలు కొడుతుంది. ఈ వ్యవస్థలు బహుళ దశల్లో లక్ష్యాలను అనుసరించడానికి నిర్మించబడ్డాయి — రికార్డులను పొందడం, పరీక్షలను ఆదేశించడం, డాక్యుమెంటేషన్ రూపొందించడం, ఫాలో-అప్‌లను షెడ్యూల్ చేయడం, మరియు కొత్త సమాచారం వచ్చినప్పుడు ప్రణాళికను సవరించడం. 2026 అక్టోబర్ 2న Nature Medicineలో ప్రచురితమైన "The missing links in agentic AI autonomy" అనే పత్రం ఇది సృష్టించే అంతరాన్ని లక్ష్యంగా చేసుకుంది. దీని విషయం మోడల్ ఖచ్చితత్వం కాదు, నమ్మకం: ప్రత్యేకంగా, స్వయంప్రతిపత్తి వ్యవస్థలు సంరక్షణలో అర్థవంతంగా పాల్గొనడానికి అనుమతించబడే ముందు ఉండాల్సిన కార్యాచరణ మరియు నిర్ణయాత్మక నమ్మకం.
ఈ చట్రం AI భద్రత గురించి రంగం సాధారణంగా వాదించే విధానం నుండి ఉద్దేశపూర్వకంగా వైదొలగడం. చాలా చర్చలు నమ్మకాన్ని పనితీరు యొక్క తదుపరి పరిణామంగా పరిగణిస్తాయి — మెరుగైన మోడల్‌ను నిర్మించండి, విశ్వాసం వస్తుంది. ఈ పత్రం సంబంధం మరో విధంగా కూడా సాగుతుందని సూచిస్తుంది: నమ్మకాన్ని కొలవగలిగేలా మరియు సంపాదించగలిగేలా చేసే నిర్మాణాలు లేకుండా, అత్యుత్తమ మోడళ్లను కూడా సురక్షితంగా అప్పగించలేము.
ఒకటి కాదు, రెండు రకాల నమ్మకం
ఈ పత్రం యొక్క అత్యంత ఉపయోగకరమైన చర్య నమ్మకాన్ని రెండు వర్గాలుగా విభజించడం. ఈ భేదం ముఖ్యమైనది ఎందుకంటే రెండూ చాలా భిన్నమైన విధాలుగా విఫలమవుతాయి, మరియు వాటిని కలపడం నిజమైన సమస్యలు ఎక్కడ ఉన్నాయో దాచిపెడుతుంది.
కార్యాచరణ నమ్మకం
కార్యాచరణ నమ్మకం అంటే ఒక వ్యవస్థ తాను చేస్తానని చెప్పే పనిని, నిజంగా అమలు చేయబడే వాతావరణంలో, విశ్వసనీయంగా చేస్తుందా అనేది. ఇది సరైన డేటా మూలాలను చేరుకోగలదా? ఒక రికార్డు లేకపోతే, ఒక క్వెరీ టైమ్ అవుట్ అయితే, లేదా ఒక ఇంటర్‌ఫేస్ మారితే అది గౌరవప్రదంగా విఫలమవుతుందా? పర్యవేక్షించే మనిషి చూడగలిగే విధంగా అది క్షీణిస్తుందా, లేదా నిశ్శబ్దంగా ఆత్మవిశ్వాసంతో అర్థంలేని విషయాలను ఉత్పత్తి చేస్తుందా? ఇవి ఇంజినీరింగ్ ప్రశ్నలలా కనిపిస్తాయి, కానీ క్లినికల్ వాతావరణంలో అవి క్లినికల్ బరువును మోస్తాయి. నిశ్శబ్దంగా ఒక ల్యాబ్ ఫలితాన్ని కోల్పోయే వ్యవస్థ కేవలం బగ్ కలిగినది మాత్రమే కాదు; అది సంభావ్యంగా హానికరం.
నిర్ణయాత్మక నమ్మకం
నిర్ణయాత్మక నమ్మకం సన్నగా ఉంటుంది మరియు స్థాపించడం కష్టం. ఇది ఒక వ్యవస్థ చేసే నిర్ణయాలు — ఏ చర్య తీసుకోవాలి, ఏ క్రమంలో, మరియు అత్యంత ముఖ్యంగా, ఎప్పుడు ఆపాలి — నమ్మదగినవా అనే దానికి సంబంధించినది. ఒక వ్యవస్థ కార్యాచరణపరంగా నిర్దోషంగా ఉండి కూడా క్లినిషియన్ పూర్తిగా తిరస్కరించే నిర్ణయాలు తీసుకోవచ్చు. దీనికి విరుద్ధంగా, దెబ్బతిన్న ప్లంబింగ్ ఉన్న వ్యవస్థ ఏదీ విరగని ఒక సన్నని విండోలో బాగా ఆలోచించవచ్చు. ప్రస్తుత చర్చలో చాలా వరకు చేస్తున్నట్లుగా, వీటిని ఒకే వేరియబుల్‌గా పరిగణించడం, ఒకదాన్ని సరిచేయడం మరొకదానికి ఏమీ చేయదనే వాస్తవాన్ని మరుగుపరుస్తుంది.
స్వయంప్రతిపత్తి ప్రమాద గణనను ఎందుకు మారుస్తుంది
సాంప్రదాయక క్లినికల్ AI సాధనం ఒక వర్క్‌ఫ్లో లోపల కూర్చొని వేచి ఉంటుంది. అది ఒక ప్రశ్నకు సమాధానం ఇస్తుంది మరియు సమాధానం సమీక్షించబడుతుంది. ఏజెంటిక్ వ్యవస్థలు వేరే విధంగా చేస్తాయి: అవి ఒక దారాన్ని పట్టుకుంటాయి. అవి మధ్యంతర ఎంపికలు చేస్తాయి, వాటిలో కొన్ని పరిణామాత్మకమైనవి, మరియు ఆ ఎంపికలు పెరుగుతాయి. నామమాత్రంగా బాధ్యతలో ఉన్న వ్యక్తి చివరిలో సారాంశాన్ని మాత్రమే చూడవచ్చు.
ఆ పెరుగుదలే నమ్మకం ప్రశ్నను తాత్వికం కాకుండా అత్యవసరం చేస్తుంది. ఒక చెక్‌పాయింట్ లేకుండా వ్యవస్థ తీసుకునే ప్రతి అదనపు అడుగు, లోపం ప్రవేశించగల ప్రదేశాల సంఖ్యను మరియు దానిని వారసత్వంగా పొందే తదుపరి నిర్ణయాల సంఖ్యను గుణిస్తుంది. ఒకే అంచనాకు పనిచేసే మానవ పర్యవేక్షణ, మధ్యాహ్నం అంతా తీసుకున్న పది చర్యల గొలుసుకు స్వయంచాలకంగా స్కేల్ అవ్వదు.
ఏజెంటిక్ వ్యవస్థలు అత్యంత సులభంగా ప్రదర్శించే వైఫల్య విధానాల పట్ల ఈ రంగం అసాధారణంగా క్షమించనిది కావడంతో ఆరోగ్య సంరక్షణ ఇది మరింత తీవ్రతరం చేస్తుంది: అతిఆత్మవిశ్వాసం, నమ్మదగినట్లు అనిపించే కల్పన, మరియు తమ స్వంత సామర్థ్యం యొక్క హద్దును గుర్తించడంలో ఇబ్బంది. ఒక సైటేషన్‌ను కల్పించే చాట్‌బాట్ సిగ్గుచేటు. ఒక మందుల పరస్పర చర్యను కల్పించి దానిపై చర్య తీసుకునే వ్యవస్థ పూర్తిగా వేరే విషయం.
మిస్సింగ్ లింక్‌లు
ఈ పత్రం యొక్క వాదన స్వయంప్రతిపత్తికి సామర్థ్యం కంటే ఎక్కువ అవసరమని అయితే, సహజమైన తదుపరి ప్రశ్న ఏది నిజంగా లేదు అనేది. ఈ పత్రం కవర్ చేసే భూభాగం అంతటా అనేక అంతరాలు పునరావృతమవుతాయి.
- పనికి సరిపోలే మూల్యాంకనం. స్థిర బెంచ్‌మార్క్‌లు ఒకే సమాధానాలను కొలుస్తాయి, నిర్ణయాల క్రమాలను కాదు. ఒక ఏజెంట్ ప్రణాళిక సహేతుకంగా ఉందా అని స్కోర్ చేయడానికి పరిపక్వమైన పద్ధతి లేదు, దాని తుది అవుట్‌పుట్ ఒక సూచనకు సరిపోయిందా అని మాత్రమే.
- తార్కికత యొక్క ఆడిటబిలిటీ. ఒక వ్యవస్థ ఒక చర్య తీసుకున్నప్పుడు, అది ఎందుకు చేసిందనే నమోదు తరచుగా సన్నగా ఉంటుంది లేదా వాస్తవం తర్వాత పునర్నిర్మించబడుతుంది. విశ్వసనీయ జాడలు లేకుండా, పర్యవేక్షణ నాటకంగా మారుతుంది.
- స్పష్టంగా నిర్వచించిన ఎస్కలేషన్. ఏజెంటిక్ వ్యవస్థలకు అవి నియంత్రణను మనిషికి తిరిగి అప్పగించే స్పష్టమైన, విశ్వసనీయ పాయింట్లు అవసరం. చాలా ఎక్కువ హ్యాండాఫ్‌లు వ్యవస్థను పనికిరానిదిగా చేస్తాయి; చాలా తక్కువ దానిని ప్రమాదకరంగా చేస్తాయి, మరియు సరైన థ్రెషోల్డ్ సందర్భంపై ఆధారపడి ఉంటుంది.
- స్వయంప్రతిపత్తిని ముందుగా ఊహించే పాలన. పరికరాలు మరియు నిర్ధారణల చుట్టూ నిర్మించిన నియంత్రణ చట్రాలు, ప్రతి అమలు సందర్భంతో ప్రవర్తన మారే వ్యవస్థలపై స్పష్టంగా అమరవు.
- భాగస్వామ్య నిర్వచనాలు. కార్యాచరణ నమ్మకం వర్సెస్ నిర్ణయాత్మక నమ్మకం అంటే ఏమిటో అంగీకరించిన పదజాలం లేకుండా, సంస్థలు నోట్స్‌ను పోల్చుకోలేవు, మరియు ప్రతి అమలు ఒంటరిగా తన స్వంత ప్రమాణాలను తిరిగి కనుగొంటుంది.
సంపాదించిన స్వయంప్రతిపత్తి నిజంగా ఎలా ఉంటుంది
ఈ పత్రం యొక్క అంతర్లీన సూచన ఏమిటంటే స్వయంప్రతిపత్తి క్రమంగా మరియు సాక్ష్యంతో మంజూరు చేయబడాలి, బెంచ్‌మార్క్ స్కోర్ల నుండి ఊహించకూడదు. అది చాలా కఠినమైన సంస్థాగత అలవాట్లను సూచిస్తుంది.
- సన్నని, తిరిగి మార్చగల చర్యలతో ప్రారంభమై, సాక్ష్యం పేరుకుపోయే కొద్దీ పరిధిని విస్తరించే అమలులు.
- కేవలం అప్‌టైమ్ మరియు లేటెన్సీ మాత్రమే కాకుండా, కాలక్రమేణా నిర్ణయ నాణ్యతను ట్రాక్ చేసే పర్యవేక్షణ.
- స్పష్టమైన జవాబుదారీతనం: ఒక ఆటోమేటెడ్ చర్య హాని కలిగించినప్పుడు బాధ్యత వహించే ఒక పేరున్న మనిషి లేదా కమిటీ.
- ఒక స్వతంత్ర సమీక్షకుడు ఏమి జరిగింది మరియు ఎందుకు జరిగిందో పునర్నిర్మించగలిగేంత కఠినమైన డాక్యుమెంటేషన్.
వీటిలో ఏదీ ఆకర్షణీయం కాదు. ఇది ఒక సమర్థ వ్యవస్థను నమ్మదగినదిగా మార్చే సంయోజక కణజాలం, మరియు అంతర్లీన మోడల్ ఉత్సాహాన్ని రేకెత్తించేంత ఆకట్టుకునేదిగా ఉన్నప్పుడు దాటవేయబడే పొర సరిగ్గా ఇదే.
అసౌకర్యకరమైన ముగింపు
Nature Medicine పత్రం యొక్క అత్యంత సవాలుతో కూడిన పరిణామం ఏమిటంటే, ఏజెంటిక్ AI స్వయంప్రతిపత్తిలో మిస్సింగ్ లింక్‌లు సాంకేతికమైనవి కాకపోవచ్చు. మెరుగైన మోడళ్లు కార్యాచరణ నమ్మకాన్ని సాధించడం సులభతరం చేస్తాయి — వేగవంతం, మరింత విశ్వసనీయం, తక్కువ పెళుసుగా. కానీ నిర్ణయాత్మక నమ్మకం ఏ ఆర్కిటెక్చర్ పరిష్కరించని ప్రశ్నలపై ఆధారపడి ఉంటుంది: ఎవరు జవాబుదారులు, ఆమోదయోగ్యమైన ప్రమాదం అంటే ఏమిటి, ఎంత పర్యవేక్షణ సరిపోతుంది, మరియు ఎవరు నిర్ణయించాలి.
ఇవి సంస్థాగత మరియు క్లినికల్ ప్రశ్నలు, మరియు మానవ వైద్యుల కోసం వాటికి సమాధానం ఇవ్వడంలో ఆరోగ్య సంరక్షణ రంగం దశాబ్దాల కష్టార్జిత అనుభవాన్ని కలిగి ఉంది. ముందున్న పని ఆ అనుభవాన్ని కేవలం సమాధానం ఇచ్చే వ్యవస్థలకు కాకుండా చర్య తీసుకునే వ్యవస్థలకు విస్తరించడం. అది జరిగే వరకు, వైద్యంలో చాలా ఏజెంటిక్ AI యొక్క నిజాయితీ వివరణ స్వయంప్రతిపత్తి కాదు. అది పర్యవేక్షణ లేనిది, ఇది పూర్తిగా వేరే విషయం.
ఈ వ్యాసం Nature Medicine యొక్క రిపోర్టింగ్ ఆధారంగా రూపొందించబడింది. అసలు వ్యాసాన్ని చదవండి.
Originally published on nature.com