AI संशोधन बूमच्या भाराखाली Peer Review ताणत आहे

वैज्ञानिक गुणवत्ता-फिल्टरवर अतिभाराची लक्षणे दिसत आहेत

Peer review हे आधुनिक वैज्ञानिक प्रकाशनाच्या केंद्रस्थानी आहे. एखादा पेपर औपचारिकरीत्या प्रसिद्ध होण्यापूर्वी, बाहेरील तज्ज्ञांना सामान्यतः त्याच्या पद्धती, तर्क, आणि निष्कर्ष योग्य आहेत का हे तपासण्यास सांगितले जाते. ही प्रक्रिया अपूर्ण, मंद, आणि अनेकदा त्रासदायक असली तरी, त्रुटी शोधण्यासाठी आणि विश्वासार्हतेचा संकेत देण्यासाठी विज्ञान वापरत असलेल्या प्रमुख यंत्रणांपैकी ती एक आहे.

आता ही यंत्रणा स्पष्ट ताणाखाली आहे. Ars Technica च्या नव्या अहवालात अशी प्रकाशन व्यवस्था वर्णन केली आहे जी AI-सहाय्यित हस्तलिखितांसह वाढत असलेल्या सादरीकरणांच्या तीव्र वाढीशी जुळवून घेण्यासाठी धडपडत आहे, तरीही काम करणाऱ्या संशोधकांच्या स्वयंसेवी श्रमावर मोठ्या प्रमाणावर अवलंबून आहे. परिणामी केवळ जास्त वेळ लागत नाही. काही प्रकरणांमध्ये, पुनरावलोकनाची गुणवत्ता कमी दिसते, छाननी पातळ होते, आणि प्रणालीने द्यायला हवी होती तितकी तज्ज्ञ मते न मिळताच संपादकीय निर्णय घेतले जातात.

एकच समीक्षक संपूर्ण प्रवेशद्वार झाला तर

हा लेख आरोग्य अर्थशास्त्रज्ञ Jason Semprini यांच्या अनुभवाने सुरू होतो, ज्यांनी प्राथमिक शाळेतील विद्यार्थ्यांना मानवी पॅपिलोमा विषाणूची लस घेणे बंधनकारक करणाऱ्या धोरणांचा अभ्यास करणारा पेपर सादर केला होता. अहवालानुसार, त्यांच्या अभ्यासाने HPV लस गर्भाशयमुखाच्या कर्करोगाला प्रतिबंध करते का, हा प्रश्न उपस्थित केला नव्हता. त्याऐवजी, वापर वाढवण्यासाठी असलेले धोरणात्मक साधन mandates, लोकसंख्येच्या पातळीवर एकूण गर्भाशयमुखाच्या कर्करोगाच्या दरांमध्ये बदल घडवण्यासाठी लसीकरण पुरेसे वाढवते का, हे तपासले होते.

तो फरक महत्त्वाचा होता, आणि समीक्षकाने तो हुकला असे दिसते. हस्तलिखिताचे मूल्यमापन जणू ते लसीच्या क्लिनिकल मूल्यावर प्रश्न उपस्थित करत आहे, अशा प्रकारे केले गेले, प्रत्यक्षात ते स्वीकार वाढविणाऱ्या धोरणात्मक साधनाचे विश्लेषण करत होते. अधिक सक्षम पुनरावलोकन प्रक्रियेत अनेक समीक्षक त्या गैरसमजाला समतोल करू शकले असते किंवा दुरुस्त करू शकले असते. पण इथे फक्त एकच समीक्षक होता, आणि पेपर नाकारला गेला.

हा अनुभव उपयुक्त आहे कारण तो संरचनात्मक समस्या पकडतो. Peer review हे नेहमीच पूर्वग्रह, दुर्लक्ष, आणि साध्या मानवी चुकांसाठी असुरक्षित राहिले आहे. व्यवस्था अतिभारित झाली की त्या चुका redundancy मुळे पकडल्या जाण्याची शक्यता कमी होते. संपादकांना पुरेसे पात्र समीक्षक मिळाले नाहीत, तर घाईत किंवा गोंधळात केलेले एकच वाचन निर्णायक ठरू शकते.

अवेतन तज्ज्ञतेवर उभी व्यवस्था स्केल मर्यादांना धडकत आहे

त्या ताणामागील व्यापक आकडे अहवाल दाखवतो. Scopus आणि Web of Science मध्ये अनुक्रमित पेपर्स, स्त्रोत मजकुरानुसार, दरवर्षी 5.6 टक्क्यांनी वाढत आहेत. एकट्या पाहिल्यास हे हाताळण्याजोगे वाटू शकते, पण शैक्षणिक पुनरावलोकन व्यवस्था त्याच गतीने आपोआप वाढत नाही. प्रत्येक नव्या पेपरसाठी संपादक, समीक्षक, सुधारणा, आणि पुन्हा पुन्हा लक्ष देण्याचे चक्र आवश्यक असते.

लेखात दिलेल्या एका अंदाजानुसार, जगभर peer review वर खर्च होणारे श्रम दरवर्षी एकत्रितपणे 15,000 मानवी वर्षांइतके आहेत. केवळ अमेरिकेत पूर्ण झालेल्या भागाचा खर्च जर तो कामासाठी पगार दिला गेला असता, तर $1.5 अब्ज इतका झाला असता. तरीही त्यातील बहुतेक भाग अवेतन आहे. तो बहुतेकदा आधीच आपल्या प्रयोग, अध्यापन, अनुदान लेखन, प्रशासन, आणि प्रकाशनाच्या मागण्या सांभाळणाऱ्या संशोधकांकडून नाव नोंदविल्याशिवाय दिला जातो.

या विसंगतीचे स्पष्ट परिणाम आहेत. संपादकांना तयार समीक्षक शोधण्यात अडचण येते. पात्र संशोधक अधिक निमंत्रणे नाकारतात. जे स्वीकारतात तेही कदाचित अतिव्यस्त असतात. आणि जेव्हा समीक्षकांचा पूल कमी होतो, तेव्हा जर्नल्स प्रत्येक पेपरसाठी कमी अहवाल किंवा हस्तलिखित आणि समीक्षकाच्या कौशल्यामधील कमी योग्य जुळणी स्वीकारू शकतात.

या समायोजनांपैकी कोणतेही peer review चे मूल्य एका क्षणात नष्ट करत नाही. पण प्रत्येक समायोजन त्याची विश्वसनीयता कमी करते. वैज्ञानिक प्रकाशन केवळ पुनरावलोकन झाले का, यावर अवलंबून नसते, तर ते पुरेसे काळजीपूर्वक, माहितीपूर्ण, आणि स्वतंत्र आहे का, जेणेकरून प्रकाशनापूर्वी समस्या सापडतील किंवा चुकीच्या कारणांमुळे काम नाकारले जाणे टाळता येईल, यावरही अवलंबून असते.

AI पूर्ण कारण नसूनही ताण का वाढवते

लेख सध्याच्या ताणाचे काहीसे चित्र AI युगाच्या संदर्भातून मांडतो, आणि तो भर महत्त्वाचा आहे. AI साधने मसुदा तयार करणे, सुधारणा करणे, आणि पेपर्स पुन्हा मांडणे यातील अडथळा कमी करू शकतात. त्यामुळे मूलभूत विज्ञान आपोआप खराब होते असे नाही, पण जर्नल्सकडे येणाऱ्या सादरीकरणांची संख्या वाढू शकते. लेखन आणि स्वरूपन सोपे झाले, तर bottleneck मूल्यमापनाकडे सरकतो.

त्या अर्थाने, AI आधीपासूनच वाढत असलेल्या समस्येला अधिक तीव्र करू शकते. संशोधन उत्पादन अनेक क्षेत्रांत वर्षानुवर्षे वाढत आहे. मात्र पुनरावलोकन व्यवस्था अजूनही तज्ज्ञांच्या लक्षावर अवलंबून आहे, जे दुर्मिळ आणि विस्तारास कठीण आहे. AI-सहाय्यित पेपर्स मुळातच कमी दर्जाचे असतील असे नाही, पण ते अशा जगात भर घालतात जिथे अधिक हस्तलिखिते अधिक वेगाने तयार होतात, पण त्यांचे व्यवस्थित पुनरावलोकन करण्याची क्षमता त्यापेक्षा मंद गतीने वाढते.

सर्वात तातडीचा धोका असा नाही की प्रत्येक AI-सहाय्यित पेपर दोषपूर्ण आहे. खरी जोखीम ही आहे की कोणत्या दाव्यांना गंभीर छाननी मिळेल हे ठरवताना समीक्षकांची क्षमता मर्यादित संसाधन ठरते. अतिभारित व्यवस्था वरवरची पुनरावलोकने, गैरसमजलेली पद्धती, विसंगत निकष, आणि फारच कमी डोळ्यांवर अवलंबून असलेल्या प्रकाशन निर्णयांसाठी अधिक असुरक्षित असते.

विज्ञानासाठी काय पणाला लागले आहे

Peer review कधीच सत्याची हमी नव्हती, आणि समीक्षकांनी त्यातील अंधबिंदू अनेक वर्षांपासून नोंदवले आहेत. पण कमकुवत पुनरावलोकन व्यवस्था विज्ञान आणि जनतेसाठी अधिक कठीण समस्या निर्माण करते. जर्नल्सना जर एकाच वेळी अनेक जाणकार समीक्षक सातत्याने मिळू शकत नसतील, तर संशोधन उत्पादन वेगाने वाढत असताना त्यांची गुणवत्ता-छाननी भूमिका कमी विश्वासार्ह बनते.

हे केवळ शैक्षणिक क्षेत्रापुरते मर्यादित नाही. धोरणकर्ते, डॉक्टर, गुंतवणूकदार, आणि सामान्य जनता नियमितपणे जर्नल प्रकाशनाचा वापर वैधतेचा पर्याय म्हणून करतात. प्रकाशनाकडे नेणारी प्रक्रिया जर पातळ होत गेली, तर तो संकेत अधिक गोंधळात टाकणारा होतो. त्याच वेळी, Ars Technica ने दाखवलेल्या उदाहरणाप्रमाणे, उपयुक्त संशोधनही टाळता येण्याजोग्या कारणांमुळे उशिरा होऊ शकते किंवा नाकारले जाऊ शकते.

अहवाल साधा उपाय देत नाही, आणि तेच स्वतःमध्ये महत्त्वाचे आहे. कामाच्या ओझ्याची समस्या ही संरचनात्मक आहे. विज्ञानाला अधिक output हवा आहे, जर्नल्सना वेळेवर प्रकाशन हवे आहे, संशोधकांना करिअर प्रगतीची गरज आहे, आणि AI लिखित निर्मिती सुलभ करत आहे. पण प्रणालीची मुख्य गुणवत्ता-नियंत्रणाची क्रिया अजूनही तज्ज्ञांच्या स्वयंसेवी श्रमावर अवलंबून आहे, जे अनंतपणे वाढवता येत नाही.

या चर्चेचा पुढचा टप्पा peer review ला नव्याने डिझाइन करणे, मोबदला, triage, किंवा नवे तांत्रिक समर्थन यांची गरज आहे का, यावर केंद्रित असेल. आत्ता इशारा साधा आहे. वैज्ञानिक विश्वासार्हतेचा पाया असलेली पुनरावलोकन यंत्रणा खऱ्या ताणाखाली आहे, आणि AI युग तो ताण दुर्लक्षित करणे कठीण करत आहे.

• Peer review चा वाढता भाग प्रत्येक पेपरमागे कमी समीक्षकांसह होत असल्याचे दिसते.
• अहवालानुसार, प्रकाशन डेटाबेस दरवर्षी 5.6 टक्क्यांनी वाढत आहेत.
• स्वयंसेवी समीक्षक एकत्रितपणे प्रचंड अवेतन श्रम देतात.
• AI-सहाय्यित मसुदा तयार केल्याने, विज्ञानाची गुणवत्ता बदलत असली तरी, सादरीकरणांचे प्रमाण वेगाने वाढू शकते.
• मुख्य धोका फक्त मंद प्रकाशन नाही, तर कमी सखोल छाननी आहे.

हा लेख Ars Technica च्या वृत्तांकनावर आधारित आहे. मूळ लेख वाचा.