Kuweka AI kwenye Jaribio la Kliniki
Utafiti uliochapishwa katika Dawa ya Asili umeiwekea OpenAI's ChatGPT tathmini iliyopangwa ya uwezo wake wa kutoa mapendekezo ya majaribio ya kimatibabu - hatua muhimu ya kwanza katika huduma ya dharura ambapo wagonjwa hupangwa kulingana na hali yao ya dharura. Utafiti huu unawakilisha mojawapo ya tathmini kali zaidi za kimbinu kufikia sasa ya iwapo miundo mikubwa ya lugha inaweza kufanya kazi kwa kutegemewa katika mipangilio ya kimatibabu ambapo hitilafu zinaweza kuwa na matokeo ya maisha au kifo.
Triage ni mtihani mgumu sana kwa mifumo ya AI kwa sababu inahitaji kujumuisha mipasho mingi ya taarifa - dalili zilizoripotiwa, historia ya mgonjwa, ishara muhimu, na dalili za muktadha - ili kufanya uamuzi wa haraka wa mgonjwa. Kukosea katika pande zote mbili hubeba hatari kubwa: kumchunguza mgonjwa mahututi kunaweza kusababisha kucheleweshwa kwa matibabu na kifo kinachoweza kuzuilika, huku akijaribu kupita kiasi mgonjwa mwenye uthabiti anapoteza rasilimali chache za dharura.
Ubunifu na Mbinu za Utafiti
Watafiti walibuni mtihani uliopangwa kwa kutumia vignettes za kliniki - maelezo ya kina yaliyoandikwa katika bodi ya matibabu yanawasilishwa kwa kawaida. Kila kielelezo kilijumuisha maelezo kuhusu malalamiko yanayowasilishwa na mgonjwa, historia husika ya matibabu, ishara muhimu, na matokeo ya uchunguzi wa kimwili.
ChatGPT iliombwa kuelekeza kila kesi kwa mojawapo ya kategoria tano za vipimo vya kawaida, kuanzia dharura zinazohatarisha maisha zinazohitaji uingiliaji kati wa papo hapo hadi hali zisizo za dharura ambazo zinaweza kusubiri kwa usalama huduma ya kawaida. Kisha mapendekezo ya AI yalilinganishwa dhidi ya kazi za majaribio ya makubaliano yaliyofanywa na madaktari wenye uzoefu wa matibabu ya dharura.
Utafiti ulidhibitiwa kwa vigeu kadhaa ambavyo vimetatiza tathmini za awali za utendaji wa matibabu wa AI. Uhandisi wa haraka ulisanifiwa ili kuondoa tofauti katika jinsi maswali yalivyoulizwa kwa modeli. Uendeshaji mara nyingi ulifanyika ili kutathmini uthabiti, na watafiti hawakuchanganua sio tu usahihi wa zoezi la mwisho la majaribio lakini pia hoja zilizotolewa na modeli.
Matokeo Muhimu
Utafiti uligundua kuwa ChatGPT ilifanya kazi kwa matokeo mchanganyiko katika viwango tofauti vya ustadi. Katika hali mbaya zaidi - wagonjwa wanaowasilisha dharura za kutishia maisha kama vile mshtuko wa moyo, kiwewe kikubwa, au shida kali ya kupumua - modeli hiyo kwa ujumla ilifanya kazi vizuri, ikibainisha kwa usahihi hitaji la kuingilia kati mara moja katika visa vingi.
Hata hivyo, utendakazi ulishuka katika kategoria za majaribio ya kati, ambapo tofauti kati ya kesi za dharura na za dharura zinahitaji uamuzi wa dharura zaidi. Haya ndiyo matukio ambapo hitilafu za kipimo hujulikana zaidi hata miongoni mwa matabibu wenye uzoefu, na ambapo matokeo ya uainishaji usio sahihi ni muhimu sana kiafya.
Mtindo huo pia ulionyesha kutofautiana katika tathmini zinazorudiwa za kesi sawa. Inapowasilishwa na dalili zinazofanana za kimatibabu mara nyingi, wakati mwingine ChatGPT iliweka kategoria tofauti za majaribio, matokeo ambayo yanazua wasiwasi kuhusu kutegemewa kwa zana za kimatibabu zinazotegemea LLM katika mazingira ya ulimwengu halisi ambapo uthabiti ni muhimu.
- ChatGPT ilifanya vyema katika matukio muhimu lakini ilitatizika na maamuzi ya majaribio ya usawa wa kati
- kielelezo cha ulinganifu kilipoonyeshwa katika hali nyingi za ulinganifu. nyakati
- Ubora wa hoja ulitofautiana kwa kiasi kikubwa, huku baadhi ya tathmini zikionyesha mantiki ya kimatibabu na nyingine zikiakisi mkanganyiko dhahiri
- Utafiti ulitumia vijinishi sanifu na vishawishi vilivyodhibitiwa ili kuhakikisha tathmini ya kina
Madhara kwa Huduma ya Afya AI
Matokeo ya utafiti yanahusiana na ukuaji wa shughuli za afya. Wafuasi wa AI ya matibabu wanahoji kuwa miundo mikubwa ya lugha inaweza kusaidia kupunguza uhaba mkubwa wa madaktari wa dharura na wauguzi wa dharura, hasa katika mazingira ya huduma ya afya duni na nchi zinazoendelea ambapo ufikiaji wa wataalamu wa matibabu waliofunzwa ni mdogo.
Utafiti unapendekeza kwamba ingawa ChatGPT inaweza kuwa muhimu kama zana ya ziada - kusaidia matabibu kufikiria kupitia utambuzi tofauti au kuripoti mambo ambayo yanawezekana kupuuzwa - bado haitegemewi vya kutosha kutumika kama mfumo wa uchunguzi unaojitegemea. Kutowiana kwa tathmini zinazorudiwa kunahusu hasa, kwani zana za usaidizi wa uamuzi wa kimatibabu zinahitaji kutoa pendekezo sawa kutokana na michango sawa.
Watafiti wanabainisha kuwa matokeo yao yanahusu toleo la ChatGPT lililojaribiwa na kwamba uwezo wa modeli unabadilika haraka. Miundo mipya iliyo na uwezo wa kufikiri ulioimarishwa na urekebishaji mzuri wa matibabu inaweza kufanya vyema zaidi. Hata hivyo, wanatahadharisha dhidi ya kupeleka mfumo wowote wa AI katika majaribio ya kimatibabu bila uthibitisho wa kina dhidi ya matokeo ya ulimwengu halisi ya mgonjwa, sio tu kesi za majaribio zilizowekwa.
Swali la Udhibiti
Utafiti pia uliangazia changamoto inayowakabili wadhibiti huku zana za AI zinavyozidi kupata njia katika mazoezi ya kimatibabu. Katika nchi nyingi, programu ya usaidizi wa maamuzi ya matibabu inategemea uidhinishaji wa udhibiti kama kifaa cha matibabu. Hata hivyo, kasi ya kasi ya masasisho ya miundo ya AI - na matoleo mapya yanayotolewa kila baada ya miezi michache - huleta changamoto ya udhibiti, kwani kila sasisho linaweza kubadilisha utendaji wa kiafya wa mfumo.
Utawala wa Chakula na Dawa wa Marekani umekuwa ukitengeneza mfumo wa kudhibiti vifaa vya matibabu vinavyotegemea AI, ikiwa ni pamoja na masharti ya mifumo endelevu ya kujifunza ambayo hubadilika baada ya muda. Lakini mfumo huo unasalia kuwa kazi inayoendelea, na pengo kati ya kasi ya ukuzaji wa AI na kasi ya urekebishaji wa udhibiti inaendelea kupanuka.
Tunatazamia Mbele
Utafiti wa Tiba ya Asili unachangia ongezeko kubwa la ushahidi unaopendekeza kwamba miundo mikubwa ya lugha inaonyesha ahadi ya kweli katika maombi ya matibabu lakini bado haiko tayari kwa matumizi ya kliniki huru. Njia ya kusonga mbele ina uwezekano wa kuhusisha mifumo ya ushirikiano kati ya binadamu na AI iliyobuniwa kwa uangalifu ambapo mapendekezo ya kielelezo hukaguliwa kila mara, pamoja na ufuatiliaji unaoendelea wa matokeo ya kimatibabu ili kuhakikisha kwamba usaidizi wa AI unaboresha utunzaji wa wagonjwa badala ya kuleta hatari mpya.
Kwa idara za dharura ambazo tayari zinakabiliwa na msongamano na uhaba wa wafanyakazi, hata chombo muhimu cha AI kisicho kamili ambacho kinaweza kuokoa maisha ya watu wengine. Lakini kusambaza zana kama hii kwa kuwajibika kunahitaji aina ya tathmini kali, iliyopangwa iliyoonyeshwa na utafiti huu - sio tu maonyesho ya utendaji wa kuvutia kwenye mifano iliyochaguliwa kwa cherry.
Makala haya yametokana na kuripotiwa na Nature Medicine. Soma makala asili.
