పాతవాటిని మాత్రమే వారసత్వంగా పొందడం కాదు, AI కొత్త హైరింగ్ పక్షపాతాలను కూడా సృష్టించగలదని అధ్యయనం హెచ్చరిస్తోంది

పెద్ద భాషా నమూనాలు హైరింగ్ పనుల్లో తమ స్వంత స్టీరియోటైపులను సృష్టించగలవు

హైరింగ్‌లో artificial intelligence గురించి వచ్చే హెచ్చరికలు సాధారణంగా ఒక పరిచిత ప్రమాదంపైనే దృష్టి పెడతాయి: ఒక model పక్షపాత చారిత్రక డేటాపై శిక్షణ పొందితే, అది ఆ పక్షపాతాలను తిరిగి ఉత్పత్తి చేసి, మరింత విస్తరించగలదు. Gizmodo ప్రస్తావించిన కొత్త అధ్యయనం మరింత ఆందోళనకరమైన అవకాశాన్ని చూపిస్తోంది. పెద్ద భాషా నమూనాలు కేవలం మానవ పక్షపాతాన్ని ప్రతిబింబించకపోవచ్చు. కొన్ని పరిస్థితుల్లో, అవి స్వయంగా కొత్త సామాజిక పక్షపాతాలను సృష్టించగలవు.

ప్రిన్స్‌టన్ విశ్వవిద్యాలయం మరియు యూనివర్సిటీ ఆఫ్ చికాగోకు చెందిన పరిశోధకులు నిర్వహించిన ఈ పరిశోధన, మానవ పాల్గొనేవారితో ముందు ఉపయోగించిన ఒక నియంత్రిత హైరింగ్ గేమ్‌లో language models‌ను పరీక్షించింది. ఈ సెటప్‌లో నిజ ప్రపంచ ethnic categories తీసివేసి, వాటి స్థానంలో fictional groups పెట్టారు, తద్వారా నిజమైన underlying group differences లేనప్పుడు stereotypes ఎలా రూపుదిద్దుకుంటాయో పరిశీలించగలిగారు.

study summary ప్రకారం, language models తరచుగా human participants కంటే బలమైన biases‌ను అభివృద్ధి చేశాయి. ఈ కనుగొనం policy debate‌ను మారుస్తుంది కాబట్టి ముఖ్యం. సమస్య కేవలం కలుషిత historical data అయితే, training corpora‌ను మెరుగ్గా curate చేయడం, debiasing, లేదా auditing చేయడం ద్వారా ఎక్కువ సమస్య పరిష్కారమవుతుందని developers వాదించగలిగేవారు. కానీ models స్వంత reward-seeking behavior ద్వారా decision tasks‌లో discriminatory patterns‌ను కూడా సృష్టిస్తే, governance challenge మరింత విస్తృతమవుతుంది.

కల్పిత demographic groups‌తో నియంత్రిత పరీక్ష

ప్రయోగంలో candidates‌ను నాలుగు కల్పిత ethnic groups‌లో ఒకటికి కేటాయించారు: Tufa, Aima, Reku, లేదా Weki. ఇతర అన్ని విషయాల్లో వారు ఏ role‌లోనైనా విజయం సాధించే అవకాశం సమానంగా ఉంది. human అయినా machine అయినా, participants applicants‌ను jobs‌కు కేటాయించాలి, ఆ తరువాత hiring decision successful అయ్యిందా లేదా అనే feedback పొందారు.

ఆ feedback loop చాలా కీలకం. ఒక fictional group సభ్యుడిని ఒక specific role‌లో ఉంచిన తర్వాత చెడు ఫలితం వస్తే, పాల్గొనేవారు చాలా సార్లు అదే pairing‌ను మళ్లీ ఎంచుకునే అవకాశం తగ్గించేవారు. గేమ్ యొక్క ముందరి version‌లో humans ఈ ధోరణిని చూపించారు, మరియు game ముగిసిన తర్వాత కూడా వారు కొన్నిసార్లు ఆ నేర్చుకున్న biases‌ను కొనసాగించారు.

language models కూడా ఇలాగే ప్రవర్తించాయి, కానీ మరింత తీవ్రంగా. అధ్యయన summary ప్రకారం, models humans కంటే higher bias rates చూపించాయి మరియు పూర్తిగా artificial groups చుట్టూ స్వయంచాలకంగా social stereotypes‌ను రూపొందించగలిగాయి. groups fictional‌గా ఉండి, candidates design ప్రకారం సమానంగా qualified‌గా ఉన్నందున, కనిపించిన discrimination‌ను నిజమైన group differences‌తో వివరించలేము.

దీంతో ఫలితానికి అసాధారణ బలం వస్తుంది. ఇది model sparse feedback నుంచి durable category-based assumptions‌కు కదలగలదని సూచిస్తుంది, ఆ assumptions‌కు వాస్తవ ఆధారం లేకపోయినా. ప్రాయోగికంగా, repeated personnel decisions తీసుకోవడానికి optimized చేసిన system uncertainty‌లో crude pattern-making వైపు జారిపోవచ్చు, ఎందుకంటే అది ఒక సమర్థవంతమైన shortcut‌గా పనిచేస్తుంది.

“explore-exploit” తేడా ఎందుకు ముఖ్యమో

పరిశోధకులు ఈ ఫలితాన్ని decision science‌లోని classic principle అయిన explore-exploit tradeoff‌తో కలిపారు. uncertain situations‌లో, ఒక actor either explore చేయవచ్చు, అంటే తక్కువ తెలిసిన options‌ను ప్రయత్నించవచ్చు, లేదా exploit చేయవచ్చు, అంటే ముందు పనిచేసినట్టు కనిపించిన choices‌కే కట్టుబడి ఉండవచ్చు.

మనుషులు ఇది నిరంతరం చేస్తారు. కానీ ప్రజలు moral norms, hesitation, మరియు social constraints‌ను కూడా నిర్ణయాల్లో తీసుకువస్తారు, ఇవి purely reward-maximizing behavior‌ను కొంతవరకు తగ్గిస్తాయి. అధ్యయనం వాదన ప్రకారం AI systems explore చేయడానికి తక్కువగా ప్రేరేపితమవుతాయి, అలాగే limited feedback మెరుగైన ఫలితాలు ఇస్తున్నట్టు కనిపించే దానిపై optimize చేయడానికి ఎక్కువగా మొగ్గు చూపుతాయి. అది stereotype formation‌కు దారితీస్తుంది.

ఒక model, ఒక category ఒక specific role‌లో success లేదా failure‌తో సంబంధం కలిగి ఉండవచ్చని inference చేస్తే, అది ఆ assumption‌ను challenge చేయకుండా కొనసాగించి exploit చేయవచ్చు. ప్రమాదం ఆ assumption తప్పు కావడమే కాదు. system randomness‌ను rule‌గా మార్చి, ఆ rule meaningful అని ప్రవర్తించగలగడమే ప్రమాదం.

ఇది recruitment software, résumé screening tools, మరియు candidates‌ను summarize లేదా rank చేయడానికి ఉపయోగించే AI assistants‌పై స్పష్టమైన ప్రభావాలను చూపుతుంది. designers race, gender, లేదా ఇతర protected traits‌కు సంబంధించిన explicit references‌ను తొలగించినా, workflow‌లో categories లేదా proxies కనిపిస్తే models substitute patterns‌ను రూపొందించగలవు. bias training archive నుంచే కాక, decision process నుంచే కూడా పుట్టొచ్చని ఈ study సూచిస్తోంది.

మరింత సామర్థ్యవంతమైన models తప్పనిసరిగా సురక్షితమైనవి కాలేవు

source summary‌లో మరో ముఖ్యమైన విషయం ఏమిటంటే, పరిశోధకులు OpenAI, Anthropic, DeepSeek, Meta, Google, మరియు Alibaba వంటి ప్రధాన providers నుండి 15 models‌ను పరీక్షించారు. అత్యంత గమనించదగ్గ కనుగొనికలలో ఒకటి, బలమైన reasoning capabilities ఉన్న కొత్త మరియు పెద్ద models, ఒక model familyలోనే, మరింత పక్షపాత ఫలితాలను ఇవ్వడానికి మొగ్గు చూపించాయి.

ఇది మరింత advanced models సహజంగానే sensitive domains‌లో ఎక్కువ విశ్వసనీయంగా మారతాయని చెప్పే సాధారణ public narrative‌కు విరుద్ధం. better reasoning అనేక tasks‌లో మెరుగుదల తేవచ్చు, కానీ ఈ అధ్యయనం అది narrow, reward-maximizing strategies‌ను బలంగా పట్టుకునేలా model‌ను మరింత ప్రభావవంతం చేయవచ్చని సూచిస్తోంది, అవి తర్వాత discriminatory behavior‌గా గట్టిపడతాయి.

summary ప్రత్యేకంగా OpenAI యొక్క o3 reasoning model, పరీక్షించిన systems‌లో fictional applicants‌ను అత్యంత కఠినంగా stratify చేసిందని చెబుతోంది. అది ఒక్కటే ఏ model production hiring product‌లో ఎలా ప్రవర్తిస్తుందో నిర్ణయించదు. కానీ ఇది ఒక broader lesson‌ను నొక్కి చెబుతోంది: benchmark gains మరియు reasoning performance, realistic decision conditions‌లో fairness testing‌కు బదులుగా ఉండలేవు.

కంపెనీలు మరియు నియంత్రకులు దీని నుంచి ఏమి గ్రహించాలి

employers‌కు తక్షణ takeaway ఏమిటంటే, “AI-assisted” అంటే bias-neutral కాదని. ఒక system explicit human prejudice‌ను తప్పిస్తుందని vendor చెప్పడం చాలా సంకుచితమైన ప్రమాణం, ఎందుకంటే model repeated feedback loops ద్వారా category preferences‌ను తయారు చేయగలదు. procurement teams model కాలక్రమేణా ఎలా ప్రవర్తిస్తుందో, patternలను ఎలా update లేదా reinforce చేస్తుందో, మరియు false generalizations నేరుగా ప్రజల అవకాశాలను ప్రభావితం చేసే రంగంలో అది ఉపయోగించబడుతోందో ప్రశ్నించాలి.

regulators‌కు, ఈ అధ్యయనం static audits‌కు మాత్రమే పరిమితం కాకుండా దృష్టి మార్చాల్సిన అవసరాన్ని చూపుతోంది. frozen dataset‌పై ఒక్కసారి చేసే testing, outcomes, user prompts, లేదా downstream optimization signals‌తో intereact అవుతున్నప్పుడు మరింత discriminatoryగా మారే system‌ను మిస్ చేయవచ్చు. oversight‌లో simulation-based stress tests, continuous monitoring, మరియు high-stakes screening నుంచి AI‌ను ఎప్పుడు పూర్తిగా తొలగించాలో స్పష్టమైన నియమాలు ఉండాల్సి రావచ్చు.

పెద్ద సమస్య conceptual. public debate చాలా సార్లు AI bias‌ను historical residue problem‌గా చిత్రీకరించింది: society unfairగా ఉండేది, data ఆ unfairness‌ను capture చేసింది, మరియు models దానిని inherit చేశాయి. ఈ research కొన్ని systems కొత్త unfairness‌కు engines‌గా కూడా ఉండవచ్చని సూచిస్తోంది, weak signals నుంచి stereotypes‌ను నిర్మిస్తూ, ఎందుకంటే ఒక task‌లో అలా చేయడం instrumentally useful అవుతుంది.

ఆ అవకాశం hiringలో language models‌కు అనుమతించదగిన use cases‌ను కుదించాలి. కనీసం, ఇది మరింత కఠినమైన human review మరియు automated ranking‌పై సందేహాన్ని సూచిస్తోంది. అత్యంత చెడు పరిస్థితిలో, noise‌ను social judgment‌గా మార్చగల systems‌కు కొన్ని employment decisions చాలా sensitiveగా ఉండవచ్చని దీని అర్థం.

ఈ article Gizmodo నివేదిక ఆధారంగా రూపొందించబడింది. మూల article చదవండి.