बड़े भाषा मॉडल भर्ती कार्यों में अपनी खुद की रूढ़ियाँ बना सकते हैं
भर्ती में कृत्रिम बुद्धिमत्ता को लेकर चेतावनियाँ आमतौर पर एक परिचित जोखिम पर केंद्रित रहती हैं: यदि किसी मॉडल को पक्षपाती ऐतिहासिक डेटा पर प्रशिक्षित किया गया है, तो वह उन्हीं पक्षपातों को दोहरा और बढ़ा सकता है। Gizmodo द्वारा उजागर किया गया एक नया अध्ययन एक अधिक परेशान करने वाली संभावना की ओर इशारा करता है। बड़े भाषा मॉडल केवल मानवीय पूर्वाग्रहों की नकल ही नहीं कर सकते। कुछ परिस्थितियों में, वे अपने आप नई सामाजिक पक्षपातपूर्ण धारणाएँ बना सकते हैं।
प्रिंसटन यूनिवर्सिटी और यूनिवर्सिटी ऑफ़ शिकागो के शोधकर्ताओं द्वारा किया गया यह अध्ययन एक नियंत्रित भर्ती खेल में भाषा मॉडलों का परीक्षण करता है, जिसका पहले मानव प्रतिभागियों के साथ उपयोग किया जा चुका था। इस सेटअप में वास्तविक दुनिया की जातीय श्रेणियाँ हटा दी गईं और उनकी जगह काल्पनिक समूह रखे गए, ताकि शोधकर्ता देख सकें कि जब किसी समूह के बीच वास्तविक अंतर्निहित अंतर न हों, तब रूढ़ियाँ कैसे बनती हैं।
अध्ययन सारांश के अनुसार, परिणाम यह था कि भाषा मॉडलों ने मानव प्रतिभागियों की तुलना में अधिक मज़बूत पक्षपात विकसित किए। यह निष्कर्ष महत्वपूर्ण है क्योंकि यह नीतिगत बहस की दिशा बदल देता है। यदि समस्या केवल दूषित ऐतिहासिक डेटा की होती, तो डेवलपर यह तर्क दे सकते थे कि प्रशिक्षण कॉर्पस की बेहतर छँटाई, डी-बायसिंग या ऑडिटिंग से अधिकांश समस्या हल हो जाएगी। लेकिन यदि मॉडल निर्णय कार्यों में अपने खुद के पुरस्कार-खोज व्यवहार के माध्यम से भी भेदभावपूर्ण पैटर्न उत्पन्न करते हैं, तो शासन की चुनौती और व्यापक हो जाती है।
गढ़े हुए जनसांख्यिकीय समूहों के साथ नियंत्रित परीक्षण
प्रयोग में, उम्मीदवारों को चार काल्पनिक जातीय समूहों में से एक में रखा गया: Tufa, Aima, Reku, या Weki। अन्य सभी मामलों में वे किसी भी भूमिका में सफल होने की समान संभावना रखते थे। मानव हों या मशीन, प्रतिभागियों को आवेदकों को नौकरियों में नियुक्त करना था और फिर यह प्रतिक्रिया मिलती थी कि नियुक्ति का निर्णय सफल रहा या नहीं।
यह फ़ीडबैक लूप महत्वपूर्ण है। एक बार जब किसी प्रतिभागी ने किसी एक काल्पनिक समूह के सदस्य को किसी विशेष भूमिका में रखने के बाद खराब परिणाम पाया, तो वे अक्सर उसी मेल को फिर से करने की संभावना कम कर देते थे। खेल के पहले संस्करण में मनुष्यों ने यह प्रवृत्ति दिखाई, और कभी-कभी वे सीखे हुए पक्षपात को खेल समाप्त होने के बाद भी साथ ले जाते थे।
भाषा मॉडलों ने भी ऐसा ही व्यवहार किया, लेकिन अधिक तीव्रता से। अध्ययन सारांश के अनुसार, मॉडलों में मनुष्यों की तुलना में अधिक पक्षपात दरें दिखीं और वे पूरी तरह कृत्रिम समूहों के आसपास स्वतः सामाजिक रूढ़ियाँ बना सकते थे। क्योंकि समूह काल्पनिक थे और डिज़ाइन के अनुसार उम्मीदवार समान रूप से योग्य थे, इसलिए देखे गए भेदभाव को वास्तविक समूह-अंतर से समझाया नहीं जा सकता था।
यह परिणाम असामान्य रूप से प्रभावशाली बनाता है। यह संकेत देता है कि मॉडल विरल प्रतिक्रिया से स्थायी श्रेणी-आधारित धारणाओं तक जा सकता है, भले ही उन धारणाओं का कोई तथ्यात्मक आधार न हो। व्यावहारिक दृष्टि से, यदि कोई प्रणाली बार-बार कर्मी निर्णय लेने के लिए अनुकूलित है, तो वह अनिश्चितता की स्थिति में एक आसान शॉर्टकट के रूप में मोटे पैटर्न-निर्माण की ओर फिसल सकती है।
“एक्सप्लोर-एक्सप्लॉइट” संतुलन क्यों महत्वपूर्ण है
शोधकर्ता इस परिणाम को निर्णय-विज्ञान के एक क्लासिक सिद्धांत से जोड़ते हैं, जिसे एक्सप्लोर-एक्सप्लॉइट ट्रेडऑफ़ कहा जाता है। अनिश्चित स्थितियों में, कोई भी अभिनेता या तो एक्सप्लोर कर सकता है, यानी उन विकल्पों को आज़माना जिन्हें वह कम जानता है, या एक्सप्लॉइट कर सकता है, यानी उन विकल्पों पर टिके रहना जो पहले काम करते दिखे हैं।
मनुष्य यह लगातार करते हैं। लेकिन लोग ऐसे निर्णयों में नैतिक मानदंड, हिचक और सामाजिक बाधाएँ भी लाते हैं, जो केवल पुरस्कार-उद्देश्य वाले व्यवहार को संतुलित कर सकती हैं। अध्ययन का तर्क है कि AI प्रणालियों में एक्सप्लोर करने की प्रेरणा कम होती है और वे उपलब्ध सीमित प्रतिक्रिया के आधार पर अनुकूलन करने की अधिक प्रवृत्ति रखती हैं। इससे रूढ़ि-निर्माण का मार्ग खुलता है।
एक बार जब कोई मॉडल यह अनुमान लगा लेता है कि किसी श्रेणी का किसी भूमिका में सफलता या विफलता से संबंध हो सकता है, तो वह उस अनुमान को चुनौती देने के बजाय उसे बार-बार उपयोग में ला सकता है। खतरा केवल यह नहीं है कि अनुमान गलत है। ख़तरा यह है कि प्रणाली संयोग को नियम में बदल दे और फिर उसे अर्थपूर्ण मानकर व्यवहार करे।
इसका भर्ती सॉफ़्टवेयर, रेज़्यूमे स्क्रीनिंग उपकरणों और उम्मीदवारों का सारांश या रैंकिंग करने वाले AI सहायकों पर स्पष्ट प्रभाव पड़ता है। भले ही डिज़ाइनर जाति, लिंग या अन्य संरक्षित विशेषताओं के स्पष्ट संदर्भ हटा दें, फिर भी कार्यप्रवाह में यदि श्रेणियाँ या प्रॉक्सी सामने आते हैं, तो मॉडल वैकल्पिक पैटर्न बना सकते हैं। अध्ययन से संकेत मिलता है कि पक्षपात केवल प्रशिक्षण अभिलेख से नहीं, बल्कि निर्णय प्रक्रिया से भी उत्पन्न हो सकता है।
अधिक सक्षम मॉडल ज़रूरी नहीं कि अधिक सुरक्षित हों
स्रोत सारांश में एक और उल्लेखनीय बिंदु यह है कि शोधकर्ताओं ने OpenAI, Anthropic, DeepSeek, Meta, Google और Alibaba सहित प्रमुख प्रदाताओं के 15 मॉडलों का परीक्षण किया। सबसे चौंकाने वाले निष्कर्षों में से एक यह था कि किसी मॉडल परिवार के भीतर, नई और बड़ी क्षमतावाले, अधिक मज़बूत reasoning वाले मॉडल अधिक पक्षपाती परिणाम देने की प्रवृत्ति रखते थे।
यह उस सामान्य सार्वजनिक धारणा के विपरीत है कि अधिक उन्नत मॉडल स्वाभाविक रूप से संवेदनशील क्षेत्रों में अधिक भरोसेमंद हो जाते हैं। बेहतर reasoning कई कार्यों में सुधार कर सकती है, लेकिन यह अध्ययन सुझाता है कि यह मॉडल को संकीर्ण, पुरस्कार-अधिकतम करने वाली रणनीतियों पर भी अधिक प्रभावी ढंग से टिकने में मदद कर सकती है, जो भेदभावपूर्ण व्यवहार में कठोर हो जाती हैं।
सारांश में विशेष रूप से कहा गया है कि OpenAI का o3 reasoning मॉडल परीक्षण किए गए सिस्टमों में काल्पनिक आवेदकों को सबसे अधिक तीव्रता से अलग-अलग श्रेणियों में बाँटता है। अकेले इस आधार पर यह तय नहीं होता कि कोई एक मॉडल उत्पादन भर्ती उत्पाद में कैसा व्यवहार करेगा। लेकिन यह एक व्यापक सबक ज़रूर रेखांकित करता है: बेंचमार्क लाभ और reasoning प्रदर्शन, निष्पक्षता परीक्षण का स्थान नहीं ले सकते, विशेषकर वास्तविक निर्णय स्थितियों में।
कंपनियों और नियामकों को इससे क्या सीखना चाहिए
नियोक्ताओं के लिए तात्कालिक निष्कर्ष यह है कि “AI-सहायता प्राप्त” का अर्थ पक्षपात-रहित नहीं होता। यदि मॉडल निर्णयों के दोहराए जाने वाले फ़ीडबैक लूप के माध्यम से श्रेणी-वरीयताएँ गढ़ सकता है, तो यह कहना कि प्रणाली स्पष्ट मानवीय पूर्वाग्रह से बचती है, बहुत संकीर्ण मानक है। खरीद-प्रक्रिया करने वाली टीमों को यह पूछना चाहिए कि मॉडल समय के साथ कैसे व्यवहार करता है, वह पैटर्न को कैसे अद्यतन या सुदृढ़ करता है, और क्या उसका उपयोग ऐसे क्षेत्र में हो रहा है जहाँ गलत सामान्यीकरण लोगों के अवसरों को सीधे प्रभावित कर सकते हैं।
नियामकों के लिए यह अध्ययन स्थिर ऑडिट से आगे बढ़ने की ज़रूरत का समर्थन करता है। एक जमे हुए डेटासेट पर एक बार किया गया परीक्षण ऐसे सिस्टम को चूक सकता है जो परिणामों, उपयोगकर्ता प्रॉम्प्ट्स या डाउनस्ट्रीम अनुकूलन संकेतों के साथ बातचीत करने पर अधिक भेदभावपूर्ण हो जाता है। निगरानी में सिमुलेशन-आधारित तनाव परीक्षण, निरंतर मॉनिटरिंग और इस बारे में स्पष्ट नियम शामिल करने पड़ सकते हैं कि उच्च-दांव वाली स्क्रीनिंग से AI को कब पूरी तरह बाहर रखा जाना चाहिए।
बड़ा मुद्दा वैचारिक है। सार्वजनिक बहस अक्सर AI पक्षपात को ऐतिहासिक अवशेष की समस्या के रूप में प्रस्तुत करती रही है: समाज अन्यायी था, डेटा ने उस अन्याय को दर्ज किया, और मॉडल ने उसे विरासत में ले लिया। यह शोध सुझाता है कि कुछ प्रणालियाँ नई अन्यायपूर्णता की मशीनें भी हो सकती हैं, जो कमजोर संकेतों से रूढ़ियाँ बनाती हैं क्योंकि कार्य के भीतर ऐसा करना साधनात्मक रूप से उपयोगी होता है।
यह संभावना भर्ती में भाषा मॉडलों के स्वीकार्य उपयोग मामलों को सीमित कर देनी चाहिए। कम से कम, यह कहीं अधिक कठोर मानवीय समीक्षा और स्वचालित रैंकिंग के प्रति संशय का तर्क देती है। सबसे बुरी स्थिति में, इसका मतलब हो सकता है कि कुछ रोज़गार निर्णय ऐसे सिस्टमों को सौंपने के लिए बहुत संवेदनशील हैं, जो शोर को सामाजिक निर्णय में बदल सकते हैं।
यह लेख Gizmodo की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.
Originally published on gizmodo.com
