फ्रंटियर एआई मॉडल्स ने मेडिकल टेस्टों में विशेषीकृत क्लिनिकल टूल्स को पछाड़ा

सामान्य-उद्देश्य एआई ने विशेषीकृत क्लिनिकल टूल्स से बेहतर प्रदर्शन किया

Nature Medicine में प्रकाशित एक नए स्वतंत्र मूल्यांकन के अनुसार, फ्रंटियर सामान्य-उद्देश्य बड़े भाषा मॉडल तीन अलग-अलग चिकित्सीय बेंचमार्कों में दो विशेषीकृत क्लिनिकल एआई उत्पादों से बेहतर रहे। अध्ययन में OpenEvidence और UpToDate Expert AI की तुलना GPT-5.2, Gemini 3.1 Pro Preview और Claude Opus 4.6 से की गई।

यह परिणाम उद्योग की एक आम धारणा के विपरीत है: कि विशेष रूप से चिकित्सा के लिए बनाए गए क्लिनिकल उत्पाद, डोमेन-विशिष्ट प्रशिक्षण या रिट्रीवल सिस्टम के कारण, व्यापक मॉडलों से लगातार बेहतर प्रदर्शन करेंगे। इस मूल्यांकन में ऐसा नहीं हुआ।

पेपर इस निष्कर्ष को अस्पतालों, चिकित्सकों और स्वास्थ्य प्रणालियों के लिए एक व्यावहारिक चेतावनी के रूप में प्रस्तुत करता है, जो बिना मजबूत बाहरी सत्यापन के स्वामित्व वाले चिकित्सा एआई को तेज़ी से लागू करने पर विचार कर सकते हैं। लेखकों का तर्क है कि बेहतर क्लिनिकल प्रदर्शन के दावों का स्वतंत्र रूप से परीक्षण किया जाना चाहिए, विशेषकर तब जब अंतर्निहित आर्किटेक्चर और प्रशिक्षण पाइपलाइन सार्वजनिक न हों।

तुलना कैसे की गई

मूल्यांकन तीन चरणों में किया गया। पहले, शोधकर्ताओं ने चिकित्सा ज्ञान की जांच के लिए 500 MedQA प्रश्नों का उपयोग किया। दूसरे, उन्होंने मॉडल आउटपुट्स का क्लिनिशियनों के साथ सामंजस्य मापने के लिए 500 HealthBench आइटम्स का उपयोग किया। तीसरे, उन्होंने एक वास्तविक क्लिनिकल प्रश्न बेंचमार्क तैयार किया, जो लाइव क्लिनिकल वातावरण में चिकित्सकों द्वारा एक सामान्य-उद्देश्य भाषा मॉडल से पूछे गए 100 गैर-पहचाने गए प्रश्नों से बना था।

पेपर का सबसे उल्लेखनीय हिस्सा यह तीसरा चरण है, क्योंकि यह अमूर्त बेंचमार्क स्कोर से आगे बढ़ने की कोशिश करता है। वास्तविक क्लिनिकल प्रश्नों वाले सेट के लिए, 12 अमेरिकी चिकित्सकों ने मॉडल आउटपुट्स की यादृच्छिक, ब्लाइंड समीक्षा की, जिससे 1,800 मॉडल-प्रश्न एनोटेशन तैयार हुए।

तीनों मूल्यांकनों में, फ्रंटियर सामान्य-उद्देश्य मॉडलों ने दोनों क्लिनिकल एआई टूल्स से बेहतर प्रदर्शन किया। पेपर यह भी कहता है कि वास्तविक क्लिनिकल प्रश्नों के बेंचमार्क पर क्लिनिकल टूल्स का प्रदर्शन Google Search AI Overview के लगभग समान था।

यह परिणाम क्यों मायने रखता है

विशेषीकृत क्लिनिकल एआई पहले से ही चिकित्सा अभ्यास में प्रवेश कर रहा है, लेकिन पेपर के अनुसार स्वतंत्र वास्तविक-विश्व मूल्यांकन अभी भी दुर्लभ है। यह अंतर इसलिए महत्वपूर्ण है क्योंकि स्वास्थ्य प्रणालियों से ऐसे टूल्स पर भरोसा करने को कहा जा रहा है जिनकी आंतरिक डिजाइन, प्रशिक्षण डेटा और मॉडल संबंधी पसंदें अक्सर अस्पष्ट होती हैं।

अध्ययन यह नहीं कहता कि सामान्य-उद्देश्य मॉडल बिना निगरानी के चिकित्सा उपयोग के लिए स्वचालित रूप से सुरक्षित हैं। इसके बजाय, इसका केंद्रीय बिंदु अधिक सीमित और अधिक महत्वपूर्ण है: केवल विशेषज्ञता को बेहतर प्रदर्शन का प्रमाण नहीं माना जाना चाहिए। यदि कोई उत्पाद खुद को चिकित्सकीय रूप से ट्यून किया हुआ बताता है, तो फिर भी विक्रेताओं और खरीदारों पर यह साबित करने की जिम्मेदारी रहती है कि वह वास्तव में चिकित्सकीय रूप से प्रासंगिक कार्यों पर बेहतर प्रदर्शन करता है।

इसके सीधे असर खरीद और प्रशासन पर पड़ते हैं। एक अस्पताल जो किसी ब्रांडेड क्लिनिकल असिस्टेंट और संस्थागत सुरक्षा उपायों के साथ लिपटे फ्रंटियर मॉडल के बीच निर्णय ले रहा है, हो सकता है कि वह स्पष्ट रूप से अलग प्रदर्शन स्तरों के बीच चयन नहीं कर रहा हो। इस मूल्यांकन के अनुसार, अधिक सामान्य सिस्टम सार्थक मानकों पर विशेषीकृत टूल्स के बराबर या उनसे बेहतर प्रदर्शन कर सकते हैं।

स्वामित्व वाले लाभ को चुनौती

पेपर एआई में एक व्यापक बदलाव की ओर भी इशारा करता है। फ्रंटियर मॉडलों को बहुत बड़े प्रशिक्षण कॉर्पस और व्यापक अलाइनमेंट कार्य से लाभ मिला है। लेखकों का सुझाव है कि ये लाभ अब इतने मजबूत हो सकते हैं कि वे संकीर्ण रीट्रेनिंग के बिना भी डोमेन-विशिष्ट उत्पादों को चुनौती दे सकें।

इसका यह मतलब नहीं है कि हर सामान्य-उद्देश्य मॉडल हर क्लिनिकल टूल को हर स्थिति में हरा देगा। लेकिन इसका मतलब यह है कि पुराना तर्क, कि विशेषज्ञता अनिवार्य रूप से निर्णायक बढ़त पैदा करती है, कई खरीदारों की अपेक्षा से कमजोर दिखता है।

यह तुलना विशेष रूप से महत्वपूर्ण है क्योंकि क्लिनिकल टूल्स को पहले से ही बड़े पैमाने पर चिकित्सा अभ्यास के उत्पादों के रूप में प्रस्तुत किया जा रहा है। उस संदर्भ में, कमज़ोर प्रदर्शन केवल एक अकादमिक परिणाम नहीं है। यह सुरक्षा, मूल्य और इस सवाल को उठाता है कि कहीं विशेषज्ञता से जुड़ी ब्रांडिंग साक्ष्य से आगे तो नहीं निकल रही।

स्वास्थ्य प्रणालियों को इससे क्या सीखना चाहिए

अध्ययन से सबसे बचाव-योग्य निष्कर्ष यह नहीं है कि चिकित्सा को विशेषीकृत एआई छोड़ देना चाहिए। निष्कर्ष यह है कि मूल्यांकन मानकों को ऊपर उठाने की जरूरत है। किसी भी प्रणाली पर व्यवहार में भरोसा करने से पहले यथार्थवादी क्लिनिकल कार्यों पर स्वतंत्र परीक्षण आवश्यक प्रतीत होता है।

यही इस पेपर का सबसे मजबूत योगदान है। यह वास्तविक-विश्व साक्ष्य को मार्केटिंग श्रेणियों से ऊपर रखता है और खरीदारों को याद दिलाता है कि मॉडल पर लिखा लेबल, मापे गए प्रदर्शन से कम महत्वपूर्ण हो सकता है। ऐसे क्षेत्र में जहां त्रुटियों के गंभीर परिणाम हो सकते हैं, यह अंतर सैद्धांतिक नहीं है।

• Nature Medicine ने दो विशेषीकृत क्लिनिकल एआई टूल्स की तुलना तीन फ्रंटियर सामान्य-उद्देश्य मॉडलों से की।
• फ्रंटियर मॉडलों ने MedQA, HealthBench और एक वास्तविक क्लिनिकल प्रश्न बेंचमार्क में क्लिनिकल टूल्स से बेहतर प्रदर्शन किया।
• अध्ययन के वास्तविक-विश्व हिस्से में 100 गैर-पहचाने गए चिकित्सक प्रश्नों और 1,800 क्लिनिशियन एनोटेशनों का उपयोग किया गया।
• लेखकों का कहना है कि क्लिनिकल एआई को लागू करने से पहले अधिक मजबूत स्वतंत्र मूल्यांकन की जरूरत है।

यह लेख Nature Medicine की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.