अभ्यासात इशारा देण्यात आला आहे की एआय जुने पूर्वग्रह फक्त वारशाने घेण्याऐवजी नवे भरती-पूर्वग्रह निर्माण करू शकते

मोठी भाषा मॉडेल्स भरतीच्या कामांमध्ये स्वतःचे साचे तयार करू शकतात

भरतीतील कृत्रिम बुद्धिमत्तेबाबतच्या इशाऱ्यांचा भर सहसा एका परिचित धोक्यावर असतो: जर एखाद्या मॉडेलला पक्षपाती ऐतिहासिक डेटावर प्रशिक्षित केले असेल, तर ते तेच पूर्वग्रह पुन्हा निर्माण करून त्यांचा प्रसार करू शकते. Gizmodo ने अधोरेखित केलेला एक नवा अभ्यास याहून अधिक अस्वस्थ करणाऱ्या शक्यतेकडे निर्देश करतो. मोठी भाषा मॉडेल्स केवळ मानवी पूर्वग्रहाचे प्रतिबिंब नसू शकतात. काही परिस्थितींमध्ये, ती स्वतःहून नवे सामाजिक पूर्वग्रह तयार करू शकतात.

प्रिन्स्टन विद्यापीठ आणि युनिव्हर्सिटी ऑफ शिकागो येथील विद्वानांनी केलेल्या या संशोधनात भाषा मॉडेल्सची एका नियंत्रित भरती-खेळात चाचणी घेण्यात आली, जो यापूर्वी मानवी सहभागींसह वापरला गेला होता. या मांडणीत खऱ्या जगातील जातीय श्रेणी काढून टाकून त्याजागी काल्पनिक गट वापरले गेले, ज्यामुळे खरे अंतर्निहित गटभेद नसताना साचे कसे तयार होतात हे संशोधकांना पाहता आले.

अभ्यासाच्या सारांशानुसार, निष्कर्ष असा होता की भाषा मॉडेल्सनी अनेकदा मानवी सहभागींपेक्षा अधिक तीव्र पूर्वग्रह विकसित केला. हे महत्त्वाचे आहे कारण यामुळे धोरणात्मक चर्चेची दिशा बदलते. समस्या फक्त दूषित ऐतिहासिक डेटाची असती, तर प्रशिक्षण कॉर्पसचे चांगले संकलन, डी-बायसिंग, किंवा ऑडिटिंग केल्याने बहुतांश समस्या सुटेल असा युक्तिवाद विकासक करू शकले असते. पण जर मॉडेल्स निर्णय कार्यांमध्ये स्वतःच्या reward-seeking वर्तनातून भेदभावपूर्ण नमुने तयार करत असतील, तर governance चे आव्हान अधिक व्यापक होते.

काल्पनिक लोकसंख्यात्मक गटांसह नियंत्रित चाचणी

प्रयोगात उमेदवारांना चार बनावट जातीय गटांपैकी एका गटात नेमण्यात आले: Tufa, Aima, Reku, किंवा Weki. इतर सर्व बाबतीत ते कोणत्याही भूमिकेत यशस्वी होण्याइतकेच सक्षम होते. मानव असो वा यंत्र, सहभागींसोबत अर्जदारांना नोकऱ्यांमध्ये नेमायचे होते आणि नंतर ती भरतीची निवड यशस्वी झाली की नाही याबद्दल अभिप्राय मिळायचा.

तो feedback loop निर्णायक आहे. एका विशिष्ट काल्पनिक गटातील सदस्याला एखाद्या विशिष्ट भूमिकेत ठेवल्यानंतर वाईट परिणाम मिळाला, की सहभागी अनेकदा तोच जोड पुन्हा करण्याची शक्यता कमी करत होते. खेळाच्या आधीच्या आवृत्तीत मानवांनी ही प्रवृत्ती दाखवली होती, आणि खेळ संपल्यानंतरही ते कधी कधी ते शिकलेले पूर्वग्रह पुढे घेऊन जात होते.

भाषा मॉडेल्सचे वर्तनही तसेच होते, पण अधिक तीव्रतेने. अभ्यासाच्या सारांशात म्हटले आहे की मॉडेल्सनी माणसांपेक्षा जास्त पूर्वग्रह दर दाखवले आणि पूर्णपणे कृत्रिम गटांभोवती आपोआप सामाजिक साचे तयार करू शकले. कारण गट काल्पनिक होते आणि रचनेनुसार उमेदवार समान पात्र होते, त्यामुळे दिसणारा भेदभाव खऱ्या गटभेदांमुळे समजावता येत नाही.

यामुळे निकालाला असामान्य वजन मिळते. हे सूचित करते की मॉडेल कमी प्रमाणातील feedback मधून टिकाऊ वर्ग-आधारित गृहितकांकडे जाऊ शकते, जरी त्या गृहितकांना तथ्यात्मक आधार नसला तरी. प्रत्यक्षात, वारंवार कर्मचारी निर्णय घेण्यासाठी अनुकूलित केलेली प्रणाली अनिश्चिततेमध्ये एक साधा shortcut म्हणून ढोबळ नमुन्यांकडे झुकू शकते.

“एक्सप्लोर-एक्स्प्लॉइट” तडजोड का महत्त्वाची आहे

संशोधकांनी हा परिणाम निर्णय-विज्ञानातील एका क्लासिक तत्त्वाशी जोडला आहे, ज्याला explore-exploit tradeoff म्हणतात. अनिश्चित परिस्थितींमध्ये, एखादा घटक explore करू शकतो, म्हणजे कमी माहिती असलेले पर्याय आजमावू शकतो, किंवा exploit करू शकतो, म्हणजे पूर्वी उपयोगी पडल्यासारखे वाटणाऱ्या निवडींवर टिकून राहू शकतो.

मानव हे सतत करतात. पण लोक नैतिक मानदंड, संकोच, आणि सामाजिक बंधनेही निर्णयांमध्ये आणतात, ज्यामुळे फक्त reward-maximizing वर्तन काहीसे मर्यादित होते. अभ्यासाचा युक्तिवाद असा आहे की AI प्रणालींना explore करण्याची प्रेरणा कमी असते आणि उपलब्ध मर्यादित feedback ने जे चांगले परिणाम दिले असल्याचे दिसते त्याभोवती optimize करण्याची प्रवृत्ती अधिक असते. त्यामुळे साचे तयार होण्याचा मार्ग मोकळा होतो.

एखादे मॉडेल एकदा का असे गृहित धरू लागले की एखादी श्रेणी विशिष्ट भूमिकेत यश किंवा अपयशाशी संबंधित असू शकते, तर ते त्या गृहितकाला आव्हान देण्याऐवजी तेच exploit करत राहू शकते. धोका फक्त एवढाच नाही की ते गृहितक चुकीचे आहे. धोका हा आहे की प्रणाली यादृच्छिकतेला नियमामध्ये रूपांतरित करते आणि मग तो नियम अर्थपूर्ण आहे असे वागते.

याचे भरती सॉफ्टवेअर, résumé screening tools, आणि उमेदवारांचे सारांश किंवा क्रमवारी लावण्यासाठी वापरल्या जाणाऱ्या AI सहाय्यकांवर स्पष्ट परिणाम होतात. डिझाइनरांनी race, gender, किंवा इतर संरक्षित वैशिष्ट्यांचे थेट उल्लेख काढून टाकले तरी, workflow मध्ये category किंवा proxy दिसले की मॉडेल पर्यायी नमुने तयार करू शकतात. अभ्यास सूचित करतो की पूर्वग्रह प्रशिक्षण संग्रहातूनच नव्हे, तर निर्णय प्रक्रियेतूनही उद्भवू शकतो.

अधिक सक्षम मॉडेल्स अनिवार्यपणे अधिक सुरक्षित नव्हती

मूळ सारांशातील आणखी एक लक्षणीय मुद्दा असा की संशोधकांनी OpenAI, Anthropic, DeepSeek, Meta, Google, आणि Alibaba यांसारख्या प्रमुख प्रदात्यांमधील 15 मॉडेल्सची चाचणी केली. सर्वात ठळक निष्कर्षांपैकी एक म्हणजे, जास्त reasoning क्षमता असलेली नवीन आणि मोठी मॉडेल्स, एका मॉडेल कुटुंबात, अधिक पक्षपाती परिणाम देण्याकडे कल दर्शवत होती.

हे त्या सर्वसाधारण सार्वजनिक समजुतीच्या विरुद्ध आहे की अधिक प्रगत मॉडेल्स संवेदनशील क्षेत्रांमध्ये नैसर्गिकरित्या अधिक विश्वासार्ह होतात. चांगले reasoning अनेक कामांमध्ये सुधारणा करू शकते, पण हा अभ्यास सूचित करतो की त्यामुळे एखादे मॉडेल अरुंद, reward-maximizing रणनीतींवर अधिक घट्टपणे स्थिर होण्यातही अधिक सक्षम बनू शकते, ज्या पुढे भेदभावपूर्ण वर्तनात रूपांतरित होतात.

सारांशात खास म्हटले आहे की OpenAI चे o3 reasoning model चाचणीतील प्रणालींपैकी काल्पनिक उमेदवारांचे सर्वाधिक कठोर stratification करत होते. एकट्या या निष्कर्षावरून कोणतेही एक मॉडेल उत्पादनातील भरती उत्पादनात कसे वागेल हे ठरवता येत नाही. पण ते एक व्यापक धडा अधोरेखित करते: benchmark gains आणि reasoning performance, वास्तविक निर्णय परिस्थितींमध्ये fairness testing ची जागा घेऊ शकत नाहीत.

कंपन्या आणि नियामकांनी यातून काय घ्यावे

नियोक्त्यांसाठी तातडीचा निष्कर्ष असा आहे की “AI-assisted” म्हणजे bias-neutral असे नाही. एखादे सिस्टीम स्पष्ट मानवी पूर्वग्रह टाळते असा विक्रेत्याचा दावा खूपच संकुचित मानक आहे, जर मॉडेल repeated feedback loops द्वारे स्वतः category preferences तयार करू शकत असेल. खरेदी-टीमने विचारले पाहिजे की मॉडेल काळानुसार कसे वागते, ते pattern कसे अद्ययावत किंवा बळकट करते, आणि ते अशा क्षेत्रात वापरले जात आहे का जिथे चुकीची सामान्यीकरणे थेट लोकांच्या संधींवर परिणाम करू शकतात.

नियामकांसाठी, हा अभ्यास स्थिर audits वर अवलंबून न राहता पुढे जाण्याची गरज दर्शवतो. frozen dataset वरची एकदाच केलेली चाचणी असा सिस्टीम चुकवू शकते जो outcomes, user prompts, किंवा downstream optimization signals यांच्याशी संवाद साधताना अधिक भेदभावपूर्ण होतो. देखरेखीमध्ये simulation-based stress tests, सतत monitoring, आणि उच्च-दांव screening मधून AI कधी पूर्णपणे वगळायला हवे याविषयी अधिक स्पष्ट नियम समाविष्ट करावे लागू शकतात.

मोठा मुद्दा संकल्पनात्मक आहे. सार्वजनिक चर्चेत AI bias अनेकदा ऐतिहासिक अवशेषाची समस्या म्हणून मांडला गेला आहे: समाज अन्यायकारक होता, डेटाने तो अन्याय नोंदवला, आणि मॉडेल्सनी तो वारशाने घेतला. हे संशोधन सूचित करते की काही प्रणाली नव्या अन्यायांची इंजिनेही असू शकतात, weak signals मधून साचे तयार करत, कारण तसे करणे task च्या आत instrumentally उपयुक्त ठरते.

ही शक्यता भरतीमध्ये भाषा मॉडेल्सच्या स्वीकारार्ह वापरक्षेत्रांना मर्यादा घालायला हवी. किमान, ती अधिक कठोर मानवी पुनरावलोकन आणि स्वयंचलित ranking बद्दल संशय यासाठी युक्तिवाद करते. सर्वात वाईट परिस्थितीत, याचा अर्थ काही रोजगार निर्णय इतके संवेदनशील असू शकतात की noise ला सामाजिक निर्णयामध्ये रूपांतरित करू शकणाऱ्या प्रणालींकडे ते सोपवणे योग्य ठरणार नाही.

हा लेख Gizmodo च्या वार्तांकनावर आधारित आहे. मूळ लेख वाचा.