क्लिनिकल प्रेडिक्शन अभ्यासांमध्ये अजूनही वापरता येण्याजोगा कोड क्वचितच शेअर केला जातो

क्लिनिकल प्रेडिक्शन मॉडेल्सना प्रकाशित निकालापेक्षा अधिक गोष्टींची गरज असते

निदान आणि प्रोग्नोस्टिक निर्णयांना मदत करण्यासाठी क्लिनिकल प्रेडिक्शन मॉडेल्सचा वापर वाढत आहे. त्यांची नोंदवलेली अचूकता डॉक्टर जोखमीचा अंदाज कसा घेतात, चाचण्यांना प्राधान्य कसे देतात किंवा रुग्णांशी संभाव्य परिणामांबद्दल कशी चर्चा करतात, यावर प्रभाव टाकू शकते. मात्र Nature Medicineमध्ये प्रकाशित झालेल्या एका नव्या विश्लेषणानुसार, अशा मॉडेल्सचे मूल्यमापन करण्यासाठी आवश्यक असलेली एक मूलभूत अट अजूनही दुर्मिळ आहे: त्यामागील विश्लेषणात्मक कोडचा प्रवेश.

प्रेडिक्शन-मॉडेल अभ्यासांच्या पारदर्शक अहवालाशी संबंधित TRIPOD किंवा TRIPOD+AI रिपोर्टिंग फ्रेमवर्कचा संदर्भ देणाऱ्या ओपन-ॲक्सेस संशोधन लेखांचा या अभ्यासात आढावा घेण्यात आला. साहित्याची छाननी करण्यासाठी, रिपॉझिटरी लिंक्स ओळखण्यासाठी आणि पूर्वनिर्धारित 14 पुनरुत्पादकता-संबंधित वैशिष्ट्यांच्या आधारे मिळवता आलेल्या रिपॉझिटरीजचे मूल्यमापन करण्यासाठी संशोधकांनी मोठ्या-भाषा-मॉडेलच्या मदतीची पाइपलाइन वापरली.

तपासलेल्या 3,967 लेखांपैकी 482 लेखांमध्ये कोड शेअर केला असल्याचे सांगणारे निवेदन होते. हे नमुन्याच्या 12.2% इतके आहे. उर्वरित प्रत्येक अभ्यासात प्रवेशयोग्य कोड नव्हता, असे या निष्कर्षातून सिद्ध होत नाही. मात्र आढावा घेतलेल्या साहित्यात स्पष्ट कोड-शेअरिंग निवेदने अजूनही अपवादच होती, हे यातून दिसते.

उपलब्धता म्हणजे पुनरुत्पादकता नव्हे

केवळ रिपॉझिटरी लिंक असल्याने विश्लेषण तपासणे किंवा पुन्हा वापरणे सोपे होत नाही, हा संशोधकांचा मुख्य मुद्दा आहे. त्यांनी तपासलेल्या रिपॉझिटरीजमध्ये पुनरुत्पादकतेशी संबंधित वैशिष्ट्यांमध्ये मोठी तफावत आढळली. प्रत्यक्षात, एखादे मॉडेल पुन्हा तयार करता येईल की नाही हे समजून घेण्यासाठी दुसऱ्या संशोधकाला केवळ सोर्स फाइल्सपेक्षा अधिक गोष्टींची गरज भासू शकते: दस्तऐवजीकरण, सॉफ्टवेअर अवलंबित्वाची माहिती आणि कार्यान्वित करता येणारी प्रकल्प रचना—या सर्व बाबी महत्त्वाच्या ठरू शकतात.

क्लिनिकल प्रेडिक्शनच्या कामासाठी हा फरक विशेष महत्त्वाचा आहे. एखादे मॉडेल विशिष्ट कोहोर्ट, प्रीप्रोसेसिंग वर्कफ्लो आणि परिणामांच्या व्याख्यांच्या आधारे विकसित केलेले असू शकते. विश्लेषणाच्या टप्प्यांची स्वतंत्रपणे पाहणी करता आली नाही, तर वर्कफ्लोमधील निवडींनी नोंदवलेल्या कामगिरीवर कसा परिणाम केला किंवा हे काम वेगळ्या संदर्भात रूपांतरित करून तपासता येईल का, याचे मूल्यमापन बाह्य संशोधकांना करणे कठीण होते.

कोड शेअर करण्याचे प्रमाण जर्नल आणि देशानुसार मोठ्या प्रमाणात बदलत असल्याचेही आढाव्यात दिसून आले. कोणती जर्नल्स किंवा देश आघाडीवर होते अथवा मागे होते, हे दिलेल्या अभ्यासमजकुरात नमूद केलेले नाही. मात्र संशोधक आपले काम उपलब्ध करून देतात की नाही, यावर प्रचलित नियम आणि संपादकीय अपेक्षा प्रभाव टाकत असल्याचे ही तफावत सूचित करते.

संशोधन पद्धतीचा AI-सहाय्यित आढावा

लेखकांनी मोठ्या-भाषा-मॉडेलच्या मदतीची प्रक्रिया पद्धतशास्त्रीय भूमिकेत वापरली: संबंधित लेखांची छाननी करणे, रिपॉझिटरी लिंक्स काढणे आणि पूर्वनिर्धारित वैशिष्ट्यांच्या संचाच्या आधारे रिपॉझिटरीजचे मूल्यमापन करण्यास मदत करणे. या पद्धतीमुळे टीमला हजारो पेपर तपासता आले; त्याच वेळी मुख्य मोजमाप ठोस रिपोर्टिंग आणि रिपॉझिटरीच्या वैशिष्ट्यांवर केंद्रित राहिले.

याचा वापर संशोधन प्रशासनातील व्यापक आव्हानाचेही प्रतिबिंब आहे. प्रकाशनांची संख्या वाढत असताना पारदर्शकतेच्या पद्धतींचे मॅन्युअल ऑडिट मोठ्या प्रमाणावर करणे कठीण होत आहे. संरचित आणि काळजीपूर्वक आखलेल्या स्वयंचलित पाइपलाइन्स, त्यांचे निष्कर्ष स्पष्टपणे परिभाषित निकषांच्या आधारे तपासले गेले तर, या पद्धतींचा नकाशा तयार करण्यात मदत करू शकतात. या प्रकरणात निकष कोडची उपलब्धता आणि पुनरुत्पादकतेशी संबंधित वैशिष्ट्यांशी जोडलेले होते; एखाद्या स्वतंत्र मॉडेलच्या वैज्ञानिक गुणवत्तेबाबतच्या स्वयंचलित निर्णयाशी नव्हे.

अंमलबजावणीसाठी ही दरी का महत्त्वाची आहे

क्लिनिकल मॉडेल्सचा उद्देश वास्तविक जगातील निर्णयांना माहिती देणे हा आहे. त्यामुळे त्यांची विश्वासार्हता आणि सामान्यीकरणक्षमता यांची बारकाईने छाननी करणे आवश्यक आहे. प्रकाशित पेपरमध्ये प्रभावी दिसणारे मॉडेल दुसरीकडे लागू केल्यावर वेगळ्या प्रकारे काम करू शकते, कारण रुग्णसंख्या, डेटा संकलन आणि क्लिनिकल वर्कफ्लो वेगळे असू शकतात. विश्लेषणात्मक प्रक्रियेचे स्वतंत्र मूल्यमापन हा त्या दाव्यांच्या पायाभूत आधारांचा अभ्यास करण्याचा एक मार्ग आहे.

ओपन कोड पुनरुत्पादकतेशी संबंधित प्रत्येक समस्या सोडवू शकत नाही. गोपनीयता आणि कायदेशीर कारणांमुळे रुग्णांचा डेटा प्रतिबंधित असू शकतो, तसेच मूळ डेटाचा प्रवेश नसल्यास बाह्य वापरकर्त्यांना विश्लेषण तंतोतंत पुन्हा तयार करता येणार नाही. तरीही, स्पष्ट विश्लेषणात्मक कोड, अवलंबित्वांचे तपशील आणि वापरता येण्याजोगे दस्तऐवजीकरण यामुळे कामाची अधिक चांगली पाहणी करता येऊ शकते आणि दुसऱ्या डेटासेटवर जबाबदारीने चाचणी घेण्यासाठी काय आवश्यक असेल हे संशोधकांना समजण्यास मदत होऊ शकते.

केवळ कोड अस्तित्वात असल्याची घोषणा करण्यापलीकडे अधिक स्पष्ट अपेक्षा आवश्यक असल्याचा पुरावा म्हणून लेखक या निष्कर्षांकडे पाहतात. दस्तऐवजीकरण, अवलंबित्वांचे तपशील आणि कार्यान्वित करता येणारी रचना ही अधिक सक्षम पद्धतीचा भाग असावी, असे ते म्हणतात. या बाबी वाचकांसाठी तसेच एखादा अभ्यास पुन्हा तयार करण्याचा किंवा विस्तारण्याचा प्रयत्न करणाऱ्या टीम्ससाठी संदिग्धता कमी करू शकतात.

TRIPOD-Code हे पुढील धोरणात्मक लक्ष्य

कोडची उपलब्धता आणि पुनरुत्पादकतेवर लक्ष केंद्रित करणाऱ्या रिपोर्टिंग मार्गदर्शक तत्त्वासाठी—TRIPOD-Code—माहिती मिळवण्यासाठी हा आढावा घेण्यात आला. रिपोर्टिंग मार्गदर्शक तत्त्वे स्वतःहून संशोधक संपूर्ण आणि वापरता येण्याजोगे प्रकल्प प्रसिद्ध करतील, याची हमी देत नाहीत. मात्र ती लेखक, परीक्षक आणि जर्नल्ससमोरच्या अपेक्षा स्पष्ट करू शकतात आणि काय उपलब्ध करून देण्यात आले आहे हे ओळखण्यासाठी एक सामायिक शब्दसंग्रह तयार करू शकतात.

निकाल एक ठोस मानक समोर आणतो: या साहित्यिक नमुन्यात सुमारे आठपैकी केवळ एका पेपरमध्ये कोड शेअर केल्याचे निवेदन होते. मॉडेल्स क्लिनिकल वापराकडे वाटचाल करत असलेल्या क्षेत्रात, शेअर केलेल्या विश्लेषणात्मक कामाची गुणवत्ता आणि स्पष्टता सुधारल्यास संशोधन अधिक उपयोगी होऊ शकते आणि प्रत्यक्ष व्यवहारात अधिक सुरक्षित रूपांतरास मदत होऊ शकते, असा लेखकांचा युक्तिवाद आहे.

त्यामुळे पेपरमध्ये केवळ कोडचा उल्लेख आहे की नाही, यापेक्षा स्वतंत्र वाचक विश्लेषणात्मक वर्कफ्लो समजून तो चालवू शकतो का, याकडे हा अभ्यास लक्ष वेधतो. हा अधिक कठोर निकष आहे; मात्र काळजीच्या संदर्भात क्लिनिकल प्रेडिक्शन मॉडेल्सवर अवलंबून राहण्यापूर्वी त्यांचे मूल्यमापन करण्यासाठी आवश्यक असलेल्या पुराव्याशी तो अधिक जवळून संबंधित आहे.

हा लेख Nature Medicineच्या वृत्तांकनावर आधारित आहे. मूळ लेख वाचा.