धोका सर्वाधिक असताना AI ची सर्वोत्तम कामगिरी दिसली

या आठवड्यात

Science

मध्ये प्रकाशित झालेल्या हार्वर्ड-नेतृत्वाखालील अभ्यासाने वैद्यकशास्त्रात कृत्रिम बुद्धिमत्ता कशी वापरली जाऊ शकते या चर्चेत एक महत्त्वाचा डेटा बिंदू जोडला आहे. पेपरमधील सर्वाधिक लक्ष वेधून घेणाऱ्या प्रयोगांपैकी एकात, संशोधकांनी Beth Israel Deaconess Medical Center मधील वास्तविक आपत्कालीन कक्षातील प्रकरणांवर OpenAI मॉडेल्सच्या निदानांची तुलना दोन अंतर्गत औषधशास्त्रातील उपस्थित डॉक्टरांच्या निदानांशी केली. अभ्यासानुसार, OpenAI चे o1 मॉडेल प्रत्येक निदान टप्प्यावर मानवी डॉक्टरांच्या बरोबरीचे किंवा त्यांच्यापेक्षा चांगले ठरले, आणि सर्वात स्पष्ट फायदा सुरुवातीच्या ER ट्रायाजमध्ये दिसून आला.

हे महत्त्वाचे आहे कारण ट्रायाज हा असा टप्पा आहे जिथे डॉक्टरांकडे सर्वात कमी माहिती आणि सर्वात कमी वेळ असतो. रुग्णाच्या स्थितीचे सर्वात संभाव्य कारण ओळखण्यासाठी डॉक्टर आणि रुग्णालये पूर्ण तपासण्या उपलब्ध होण्यापूर्वी प्रयत्न करत असताना, अभ्यासाने सांगितले की फरक विशेषतः त्या पहिल्या संपर्क बिंदूवर ठळक होते. त्या सुरुवातीच्या परिस्थितीत, संशोधकांनी नोंदवले की o1 ने 67% प्रकरणांमध्ये अचूक किंवा अगदी जवळचे निदान दिले, एका उपस्थित डॉक्टरासाठी हे प्रमाण 55% आणि दुसऱ्यासाठी 50% होते.

तुलना कशी तयार करण्यात आली

संशोधन पथकाचे नेतृत्व Harvard Medical School आणि Beth Israel Deaconess मधील डॉक्टर आणि संगणक शास्त्रज्ञांनी केले. स्रोत सामग्रीमध्ये अधोरेखित केलेल्या आपत्कालीन-कक्ष प्रयोगात, पथकाने Beth Israel ER मध्ये आलेल्या 76 रुग्णांवर लक्ष केंद्रित केले. दोन OpenAI मॉडेल्स, o1 आणि 4o, यांनी तयार केलेली निदाने दोन अंतर्गत औषधशास्त्रातील उपस्थित डॉक्टरांनी दिलेल्या निदानांशी तुलना करण्यात आली.

त्या आउटपुट्सचे नंतर अशा दोन इतर उपस्थित डॉक्टरांनी पुनरावलोकन केले, ज्यांना कोणती निदाने मानवांनी दिली होती आणि कोणती AI प्रणालींनी, हे माहीत नव्हते. हे ब्लाइंडिंग महत्त्वाचे आहे, कारण त्यामुळे गुणवत्तेपेक्षा अपेक्षांवर आधारित एखाद्या स्रोताला प्राधान्य देण्याचा धोका कमी होतो.

संशोधकांनी हेही स्पष्ट केले की मॉडेल्सना माहिती देण्यापूर्वी रुग्णांचा डेटा त्यांनी पूर्वप्रक्रिया केलेला नव्हता. त्याऐवजी, प्रत्येक निदानाच्या वेळी इलेक्ट्रॉनिक मेडिकल रेकॉर्डमध्ये उपलब्ध असलेली तीच माहिती AI प्रणालींना दिली गेली. AI वैद्यकीय संशोधनातील एक वारंवार उठवली जाणारी टीका येथे थेट संबोधित होते: मॉडेल्स फक्त तेव्हाच प्रभावी दिसू शकतात जेव्हा त्यांना स्वच्छ, साधी केलेली किंवा अत्यंत पूर्ण इनपुट्स दिली जातात. येथे, संशोधन पथकाचा दावा असा आहे की मॉडेल्सची चाचणी प्रत्यक्ष व्यवहारात उपलब्ध असलेल्या त्याच खडबडीत, अपूर्ण क्लिनिकल चित्रावर घेण्यात आली.