हार्वर्ड-नेतृत्वाखालील अभ्यासात आढळले की एक OpenAI मॉडेलने सुरुवातीच्या ER निदानात डॉक्टरांपेक्षा चांगली कामगिरी केली

धोका सर्वाधिक असताना AI ची सर्वोत्तम कामगिरी दिसली

या आठवड्यात Science मध्ये प्रकाशित झालेल्या हार्वर्ड-नेतृत्वाखालील अभ्यासाने वैद्यकशास्त्रात कृत्रिम बुद्धिमत्ता कशी वापरली जाऊ शकते या चर्चेत एक महत्त्वाचा डेटा बिंदू जोडला आहे. पेपरमधील सर्वाधिक लक्ष वेधून घेणाऱ्या प्रयोगांपैकी एकात, संशोधकांनी Beth Israel Deaconess Medical Center मधील वास्तविक आपत्कालीन कक्षातील प्रकरणांवर OpenAI मॉडेल्सच्या निदानांची तुलना दोन अंतर्गत औषधशास्त्रातील उपस्थित डॉक्टरांच्या निदानांशी केली. अभ्यासानुसार, OpenAI चे o1 मॉडेल प्रत्येक निदान टप्प्यावर मानवी डॉक्टरांच्या बरोबरीचे किंवा त्यांच्यापेक्षा चांगले ठरले, आणि सर्वात स्पष्ट फायदा सुरुवातीच्या ER ट्रायाजमध्ये दिसून आला.

हे महत्त्वाचे आहे कारण ट्रायाज हा असा टप्पा आहे जिथे डॉक्टरांकडे सर्वात कमी माहिती आणि सर्वात कमी वेळ असतो. रुग्णाच्या स्थितीचे सर्वात संभाव्य कारण ओळखण्यासाठी डॉक्टर आणि रुग्णालये पूर्ण तपासण्या उपलब्ध होण्यापूर्वी प्रयत्न करत असताना, अभ्यासाने सांगितले की फरक विशेषतः त्या पहिल्या संपर्क बिंदूवर ठळक होते. त्या सुरुवातीच्या परिस्थितीत, संशोधकांनी नोंदवले की o1 ने 67% प्रकरणांमध्ये अचूक किंवा अगदी जवळचे निदान दिले, एका उपस्थित डॉक्टरासाठी हे प्रमाण 55% आणि दुसऱ्यासाठी 50% होते.

तुलना कशी तयार करण्यात आली

संशोधन पथकाचे नेतृत्व Harvard Medical School आणि Beth Israel Deaconess मधील डॉक्टर आणि संगणक शास्त्रज्ञांनी केले. स्रोत सामग्रीमध्ये अधोरेखित केलेल्या आपत्कालीन-कक्ष प्रयोगात, पथकाने Beth Israel ER मध्ये आलेल्या 76 रुग्णांवर लक्ष केंद्रित केले. दोन OpenAI मॉडेल्स, o1 आणि 4o, यांनी तयार केलेली निदाने दोन अंतर्गत औषधशास्त्रातील उपस्थित डॉक्टरांनी दिलेल्या निदानांशी तुलना करण्यात आली.

त्या आउटपुट्सचे नंतर अशा दोन इतर उपस्थित डॉक्टरांनी पुनरावलोकन केले, ज्यांना कोणती निदाने मानवांनी दिली होती आणि कोणती AI प्रणालींनी, हे माहीत नव्हते. हे ब्लाइंडिंग महत्त्वाचे आहे, कारण त्यामुळे गुणवत्तेपेक्षा अपेक्षांवर आधारित एखाद्या स्रोताला प्राधान्य देण्याचा धोका कमी होतो.

संशोधकांनी हेही स्पष्ट केले की मॉडेल्सना माहिती देण्यापूर्वी रुग्णांचा डेटा त्यांनी पूर्वप्रक्रिया केलेला नव्हता. त्याऐवजी, प्रत्येक निदानाच्या वेळी इलेक्ट्रॉनिक मेडिकल रेकॉर्डमध्ये उपलब्ध असलेली तीच माहिती AI प्रणालींना दिली गेली. AI वैद्यकीय संशोधनातील एक वारंवार उठवली जाणारी टीका येथे थेट संबोधित होते: मॉडेल्स फक्त तेव्हाच प्रभावी दिसू शकतात जेव्हा त्यांना स्वच्छ, साधी केलेली किंवा अत्यंत पूर्ण इनपुट्स दिली जातात. येथे, संशोधन पथकाचा दावा असा आहे की मॉडेल्सची चाचणी प्रत्यक्ष व्यवहारात उपलब्ध असलेल्या त्याच खडबडीत, अपूर्ण क्लिनिकल चित्रावर घेण्यात आली.

निकाल काय सांगतात आणि काय सांगत नाहीत

शीर्षकातील निकाल लक्षवेधी आहे, पण त्याचे अर्थ लावताना काळजी घेणे आवश्यक आहे. स्रोत सामग्री निदान कार्यक्षमतेच्या अभ्यासाचे वर्णन करते, डॉक्टरांची जागा घेण्याच्या चाचणीचे नाही. ट्रायाजमध्ये अधिक अचूक निदान सूचना देणे म्हणजे रुग्णसेवेचे स्वतंत्र व्यवस्थापन करणे, जोखीम सांगणे, उपचार आदेश देणे, किंवा परिणामांची जबाबदारी घेणे असे नाही. आपत्कालीन वैद्यकशास्त्र या सर्वांवर अवलंबून असते, आणि TechCrunch च्या अहवालात स्पष्टपणे नमूद केले आहे की अभ्यासाने डॉक्टरांची जागा घेण्यासाठी ते तयार असल्याचा दावा केलेला नाही.

तरीही, हा अभ्यास असा युक्तिवाद मजबूत करतो की मोठी भाषा मॉडेल्स तीव्र काळजीमध्ये अत्यंत उपयुक्त निर्णय-समर्थन साधने बनू शकतात, विशेषतः अशा क्षणी जेव्हा माहिती कमी असते आणि वेळेचा ताण जास्त असतो. जर एखादे मॉडेल निदान क्षेत्र लवकर अरुंद करण्यास मदत करू शकले, तर त्यातून जलद escalation, चाचण्या, किंवा विशेषज्ञांचा सहभाग वाढू शकतो. उच्च संज्ञानात्मक भाराखाली काम करणाऱ्या डॉक्टरांसाठी चुकलेल्या शक्यतांवर एक तपासणी म्हणूनही ते काम करू शकते.

Harvard Medical School मधील या अभ्यासाचे सह-प्रमुख लेखक Arjun Manrai यांनी शाळेच्या प्रसिद्धीपत्रकात सांगितले की पथकाने AI ची विस्तृत निकषांवर चाचणी केली आणि आधीच्या मॉडेल्सपेक्षा तसेच पेपरमध्ये वापरलेल्या डॉक्टर-आधारित baseline पेक्षा ती पुढे गेली. दिलेल्या स्रोत मजकुराच्या मर्यादेत, संशोधकांच्या स्वतःच्या व्याख्येचे हेच सर्वात स्पष्ट विधान आहे: AI फक्त स्पर्धात्मक नव्हते, तर या अभ्यासरचनेत एका मॉडेलने नवीन अंतर्गत मानक प्रस्थापित केले.

ट्रायाज का निर्णायक रणभूमी आहे

ट्रायाज हे AI प्रणालींसाठी असामान्यपणे उघड करणारे वातावरण आहे, कारण ते अनिश्चितता संकुचित करते. डॉक्टरांकडे सहसा एक लहान नोंद, लक्षणांचा पहिला संच, आणि काय चुकू नये हे ठरवण्याची गरज असते. मोठी भाषा मॉडेल्स ज्या माहितीच्या नमुन्यांसोबत काम करण्यासाठी तयार केली गेली आहेत, त्याच स्वरूपाचे हे आहे: तुटक मजकूर, आंशिक संदर्भ, आणि शक्यता पटकन क्रमवारीत लावण्याची गरज.

अभ्यासाचा निकाल सूचित करतो की हे विशेषतः प्रगत मॉडेल्ससाठी अनुकूल वापरप्रकरण असू शकते. नोंद जितकी अपूर्ण असेल, तितके एखाद्या प्रणालीचे मूल्य वाढू शकते जर ती सातत्याने सर्वात संभाव्य किंवा सर्वात धोकादायक स्पष्टीकरणे ओळखू शकली तर. पहिल्या संपर्क बिंदूवर सर्वात मोठी तफावत होती, यावरून असे सूचित होते की पूर्ण नोंदी, इमेजिंग, आणि प्रयोगशाळेतील कामे उपलब्ध झाल्यानंतरच नव्हे, तर काळजीच्या अग्रभागी AI सहाय्य सर्वाधिक उपयुक्त ठरू शकते.

तरीही, त्यामुळे सावधगिरीची गरज संपत नाही. क्लिनिकल तैनातीमध्ये अजूनही वेगवेगळ्या रुग्णालयांमध्ये पडताळणी, डॉक्टरांचे निरीक्षण, वर्कफ्लो एकत्रीकरण, आणि मॉडेलच्या शिफारसी चुकीच्या, अपूर्ण, किंवा अतिआत्मविश्वासपूर्ण असतील तर काय, असे प्रश्न उरतात. एकच अभ्यास, तो कितीही चर्चेत असला तरी, हे प्रश्न सोडवत नाही.

पुढे काय

या पेपरचे तातडीचे महत्त्व असे की ते रुग्णालये, नियामक, आणि आरोग्य-प्रणाली नेत्यांना अधिक मजबूत पुरावा देते की अत्याधुनिक भाषा मॉडेल्सना क्लिनिकल सेटिंग्जमध्ये गांभीर्याने मूल्यमापन करण्याची गरज आहे. जवळच्या काळातील सर्वात वास्तववादी मार्ग स्वायत्त निदान नाही, तर विद्यमान काळजी पथकांमध्ये देखरेखीखाली वापर हा आहे.

जर पुढील अभ्यासांनी व्यापक रुग्णसमूहांमध्ये आणि संस्थांमध्ये अशीच कामगिरी निश्चित केली, तर रुग्णालये AI ट्रायाज सहाय्याला प्रयोगात्मक नवलाई म्हणून नव्हे, तर निदान समर्थनाचा एक व्यावहारिक थर म्हणून पाहू लागतील. याचे परिणाम staffing, वैद्यकीय प्रशिक्षण, liability frameworks, आणि electronic-record software design वर होतील.

सध्या हा अभ्यास वेगळा वाटतो कारण तो चर्चेला काल्पनिक आश्वासनापासून प्रत्यक्ष आपत्कालीन-कक्ष प्रकरणांमधील मोजलेल्या तुलनेकडे नेतो. वैद्यकशास्त्रात, ती एक अर्थपूर्ण मर्यादा आहे. प्रश्न आता AI विश्वासार्ह क्लिनिकल भाषा निर्माण करू शकते का हा नाही. प्रश्न असा आहे की काही परिस्थितींमध्ये अनुभवी डॉक्टरांपेक्षा आधी योग्य निदान ओळखू शकणारी साधने आरोग्य प्रणाली जबाबदारीने वापरण्यास तयार आहेत का.

हा लेख TechCrunch च्या वार्तांकनावर आधारित आहे. मूळ लेख वाचा.