গবেষণা সতর্ক করছে, এআই শুধু পুরোনো পক্ষপাত অনুকরণই নয়, নতুন নিয়োগ-সংক্রান্ত পক্ষপাতও তৈরি করতে পারে

বড় ভাষা মডেলগুলো নিয়োগের কাজে নিজেদের স্টেরিওটাইপ তৈরি করতে পারে

নিয়োগে কৃত্রিম বুদ্ধিমত্তা নিয়ে সতর্কবার্তাগুলো সাধারণত এক পরিচিত ঝুঁকির দিকে ইঙ্গিত করে: যদি কোনো মডেল পক্ষপাতদুষ্ট ঐতিহাসিক ডেটায় প্রশিক্ষিত হয়, তবে সেটি সেই পক্ষপাত পুনরুৎপাদন ও বিস্তার করতে পারে। Gizmodo-তে আলোচিত একটি নতুন গবেষণা আরও অস্বস্তিকর সম্ভাবনার দিকে ইঙ্গিত করছে। বড় ভাষা মডেল শুধু মানবিক পক্ষপাতের প্রতিফলন নাও হতে পারে। কিছু পরিস্থিতিতে, তারা নিজেরাই নতুন সামাজিক পক্ষপাত তৈরি করতে পারে।

প্রিন্সটন বিশ্ববিদ্যালয় এবং ইউনিভার্সিটি অব শিকাগোর গবেষকেরা পরিচালিত এই গবেষণায় ভাষা মডেলকে একটি নিয়ন্ত্রিত নিয়োগ-খেলায় পরীক্ষা করা হয়, যা আগে মানব অংশগ্রহণকারীদের সঙ্গে ব্যবহার করা হয়েছিল। এই সেটআপে বাস্তব বিশ্বের জাতিগত শ্রেণি সরিয়ে দিয়ে কাল্পনিক গোষ্ঠী বসানো হয়, যাতে গবেষকেরা দেখতে পারেন, যখন প্রকৃত কোনো অন্তর্নিহিত গোষ্ঠীগত পার্থক্য নেই তখন স্টেরিওটাইপ কীভাবে গঠিত হয়।

গবেষণা-সারাংশ অনুযায়ী, ফলাফল ছিল যে ভাষা মডেলগুলো প্রায়ই মানব অংশগ্রহণকারীদের তুলনায় আরও শক্তিশালী পক্ষপাত গড়ে তোলে। এই বিষয়টি গুরুত্বপূর্ণ, কারণ এটি নীতিগত বিতর্কের দিক বদলে দেয়। যদি সমস্যা কেবল দূষিত ঐতিহাসিক ডেটা হতো, তাহলে ডেভেলপাররা বলতে পারতেন যে প্রশিক্ষণ কোর্পাস আরও ভালোভাবে বাছাই, ডিবায়াসিং, বা অডিট করলেই বেশিরভাগ সমস্যা সমাধান হবে। কিন্তু যদি মডেলগুলো সিদ্ধান্তমূলক কাজে নিজেদের পুরস্কার-অনুসন্ধানী আচরণের মাধ্যমে বৈষম্যমূলক ধরণও তৈরি করে, তাহলে শাসন-সংক্রান্ত চ্যালেঞ্জ আরও বিস্তৃত হয়ে যায়।

কৃত্রিম জনসংখ্যাগত গোষ্ঠী নিয়ে একটি নিয়ন্ত্রিত পরীক্ষা

এই পরীক্ষায় প্রার্থীদের চারটি বানানো জাতিগত গোষ্ঠীর একটিতে রাখা হয়েছিল: Tufa, Aima, Reku, বা Weki। অন্য সব দিক থেকে তারা যেকোনো ভূমিকায় সফল হওয়ার সমান সম্ভাবনাসম্পন্ন ছিল। অংশগ্রহণকারীরা, মানুষ হোক বা মেশিন, আবেদনকারীদের কাজের সঙ্গে মিলিয়ে দিতে হতো এবং তারপর জানতে পারত সেই নিয়োগ সিদ্ধান্ত সফল হয়েছে কি না।

এই ফিডব্যাক লুপটি খুবই গুরুত্বপূর্ণ। কোনো একটি কাল্পনিক গোষ্ঠীর সদস্যকে একটি নির্দিষ্ট ভূমিকায় বসানোর পর খারাপ ফল পেলে, অংশগ্রহণকারীরা প্রায়ই একই জুটি আবার বেছে নেওয়ার সম্ভাবনা কমিয়ে দিত। আগের সংস্করণের খেলায় মানুষদের মধ্যে এই প্রবণতা দেখা গিয়েছিল, এবং খেলাটি শেষ হওয়ার পরও তারা কখনও কখনও সেই শেখা পক্ষপাত বহন করে নিয়ে যেত।

ভাষা মডেলগুলোর আচরণও একই রকম ছিল, তবে আরও তীব্রভাবে। গবেষণা-সারাংশ বলছে, মডেলগুলো মানুষের তুলনায় বেশি পক্ষপাতের হার দেখিয়েছে এবং পুরোপুরি কৃত্রিম গোষ্ঠীকে কেন্দ্র করে স্বতঃস্ফূর্তভাবে সামাজিক স্টেরিওটাইপ গঠন করতে পেরেছে। যেহেতু গোষ্ঠীগুলো কল্পিত ছিল এবং নকশা অনুযায়ী প্রার্থীরা সমানভাবে যোগ্য ছিল, তাই দেখা বৈষম্যকে বাস্তব গোষ্ঠীগত পার্থক্য দিয়ে ব্যাখ্যা করা যায় না।

এতে ফলাফলটি বিশেষ গুরুত্ব পায়। এটি ইঙ্গিত দেয়, মডেল কম তথ্যযুক্ত ফিডব্যাক থেকে স্থায়ী শ্রেণিভিত্তিক অনুমানে চলে যেতে পারে, এমনকি সেই অনুমানের কোনো বাস্তব ভিত্তি না থাকলেও। ব্যবহারিক অর্থে, বারবার কর্মী-সম্পর্কিত সিদ্ধান্ত নিতে ব্যবহৃত কোনো সিস্টেম অনিশ্চয়তার মধ্যে এক ধরনের সহজ শর্টকাট হিসেবে স্থূল প্যাটার্ন গঠনের দিকে সরে যেতে পারে।

“এক্সপ্লোর-এক্সপ্লয়ট” সমীকরণটি কেন গুরুত্বপূর্ণ

গবেষকেরা এই ফলাফলকে সিদ্ধান্তবিজ্ঞানের একটি ক্লাসিক নীতির সঙ্গে যুক্ত করেছেন, যাকে explore-exploit tradeoff বলা হয়। অনিশ্চিত পরিস্থিতিতে, কোনো সিদ্ধান্তগ্রহণকারী হয় explore করতে পারে, অর্থাৎ যে বিকল্পগুলো সম্পর্কে কম জানা আছে সেগুলো পরীক্ষা করতে পারে, অথবা exploit করতে পারে, অর্থাৎ যেগুলো আগে কাজ করেছে বলে মনে হয়েছে সেগুলোর ওপর ভরসা করতে পারে।

মানুষ প্রতিনিয়তই এটি করে। তবে মানুষ নৈতিক মানদণ্ড, দ্বিধা, এবং সামাজিক সীমাবদ্ধতাও সিদ্ধান্তে আনে, যা নিছক পুরস্কার-সর্বাধিকীকরণমূলক আচরণকে কিছুটা সংযত করে। গবেষণার মতে, AI সিস্টেমগুলো explore করতে কম অনুপ্রাণিত হয় এবং সীমিত ফিডব্যাক যে ফলাফলগুলোকে ভালো দেখায় সেগুলোর চারপাশে optimize করতে বেশি ঝোঁকে। এতে স্টেরিওটাইপ গঠনের পথ তৈরি হয়।

একবার কোনো মডেল যদি ধারণা করে যে কোনো শ্রেণি কোনো নির্দিষ্ট ভূমিকায় সাফল্য বা ব্যর্থতার সঙ্গে যুক্ত হতে পারে, তাহলে সেটি সেই ধারণাকে চ্যালেঞ্জ করার বদলে বারবার exploit করতেই পারে। ঝুঁকি শুধু এই নয় যে ধারণাটি ভুল। ঝুঁকি হলো, সিস্টেমটি দৈব ঘটনাকে নিয়মে পরিণত করে সেটিকে অর্থপূর্ণ বলে আচরণ করতে পারে।

এর স্পষ্ট প্রভাব নিয়োগ সফটওয়্যার, résumé screening tools, এবং প্রার্থীদের সারসংক্ষেপ বা র্যাঙ্ক করার জন্য ব্যবহৃত AI সহকারীদের ওপর পড়ে। এমনকি ডিজাইনাররা race, gender, বা অন্যান্য সুরক্ষিত বৈশিষ্ট্যের স্পষ্ট উল্লেখ সরিয়ে দিলেও, workflow-এ category বা proxy দেখা দিলে মডেল বিকল্প ধাঁচ গড়ে তুলতে পারে। গবেষণাটি দেখায়, পক্ষপাত কেবল প্রশিক্ষণ সংরক্ষণাগার থেকেই নয়, সিদ্ধান্ত-প্রক্রিয়ার মধ্য থেকেও তৈরি হতে পারে।

আরও সক্ষম মডেল সব সময় নিরাপদ ছিল না

সূত্র-সারাংশে আরও একটি উল্লেখযোগ্য বিষয় হলো, গবেষকেরা OpenAI, Anthropic, DeepSeek, Meta, Google, এবং Alibaba-সহ প্রধান প্রদানকারীদের 15টি মডেল পরীক্ষা করেন। সবচেয়ে চমকপ্রদ ফলাফলের একটি ছিল, আরও শক্তিশালী reasoning ক্ষমতাসম্পন্ন নতুন ও বড় মডেলগুলো, একটি মডেল পরিবারের ভেতরে, আরও বেশি পক্ষপাতপূর্ণ ফলাফল তৈরি করার প্রবণতা দেখিয়েছে।

এটি সেই প্রচলিত জনধারণার বিপরীত, যেখানে উন্নততর মডেল স্বয়ংক্রিয়ভাবে সংবেদনশীল ক্ষেত্রে বেশি নির্ভরযোগ্য হয়ে ওঠে বলে মনে করা হয়। উন্নত reasoning অনেক কাজে উন্নতি আনতে পারে, কিন্তু এই গবেষণা বলছে, এটি মডেলকে সংকীর্ণ, পুরস্কার-সর্বাধিকীকরণ কৌশলের ওপর আরও কার্যকরভাবে আটকে থাকতে সাহায্য করতে পারে, যা পরে বৈষম্যমূলক আচরণে কঠিন হয়ে যায়।

সারাংশে বিশেষভাবে বলা হয়েছে, OpenAI-র o3 reasoning model পরীক্ষিত সিস্টেমগুলোর মধ্যে কাল্পনিক আবেদনকারীদের সবচেয়ে কঠোরভাবে স্তরবিন্যাস করেছে। একা এই তথ্যটি কোনো একটি মডেল উৎপাদন পর্যায়ের নিয়োগ-পণ্যে কীভাবে আচরণ করবে তা নির্ধারণ করে না। তবে এটি একটি বৃহত্তর শিক্ষাকে স্পষ্ট করে: benchmark-এ উন্নতি এবং reasoning performance, বাস্তব সিদ্ধান্ত পরিস্থিতিতে fairness testing-এর বিকল্প নয়।

কোম্পানি ও নিয়ন্ত্রকদের কী শেখা উচিত

নিয়োগকর্তাদের জন্য তাৎক্ষণিক শিক্ষা হলো, “AI-assisted” মানেই bias-neutral নয়। কোনো ভেন্ডরের এই দাবি যে একটি সিস্টেম স্পষ্ট মানবিক পক্ষপাত এড়ায়, তা খুবই সংকীর্ণ মানদণ্ড, যদি মডেল বারবার ফিডব্যাক লুপের মাধ্যমে category preference নিজেই গড়ে তুলতে পারে। procurement team-কে জানতে হবে, মডেল সময়ের সঙ্গে কীভাবে আচরণ করে, কীভাবে pattern আপডেট বা শক্তিশালী করে, এবং এটি এমন কোনো ক্ষেত্রে ব্যবহৃত হচ্ছে কি না যেখানে ভুল সাধারণীকরণ সরাসরি মানুষের সুযোগকে প্রভাবিত করতে পারে।

নিয়ন্ত্রকদের জন্য এই গবেষণা static audit-এ সীমাবদ্ধ না থেকে এগোনোর প্রয়োজনকে সমর্থন করে। frozen dataset-এ একবারের পরীক্ষা এমন সিস্টেম মিস করতে পারে, যা outcomes, user prompts, বা downstream optimization signals-এর সঙ্গে মিথস্ক্রিয়ায় আরও বৈষম্যমূলক হয়ে ওঠে। তদারকিতে simulation-based stress tests, continuous monitoring, এবং উচ্চ ঝুঁকির screening থেকে AI কখন পুরোপুরি বাদ দেওয়া উচিত সে বিষয়ে স্পষ্ট নিয়ম অন্তর্ভুক্ত হতে পারে।

বড় সমস্যাটি ধারণাগত। জনপরিসরের বিতর্ক প্রায়ই AI bias-কে ঐতিহাসিক অবশিষ্টাংশের সমস্যা হিসেবে দেখেছে: সমাজ অন্যায্য ছিল, ডেটা সেই অন্যায্যতা ধরে রেখেছে, আর মডেল তা উত্তরাধিকারসূত্রে পেয়েছে। এই গবেষণা বলছে, কিছু সিস্টেম নতুন অন্যায্যতার ইঞ্জিনও হতে পারে, যা দুর্বল সংকেত থেকে স্টেরিওটাইপ জুড়ে দেয়, কারণ কোনো কাজের ভেতরে তা instrumentally উপকারী।

এই সম্ভাবনা নিয়োগে ভাষা মডেলের গ্রহণযোগ্য ব্যবহারক্ষেত্রকে সংকুচিত করা উচিত। অন্ততপক্ষে, এটি অনেক বেশি কঠোর মানব পর্যালোচনা এবং স্বয়ংক্রিয় ranking নিয়ে সন্দেহের পক্ষে যুক্তি দেয়। সবচেয়ে খারাপ ক্ষেত্রে, এর মানে হতে পারে যে কিছু কর্মসংস্থান-সংক্রান্ত সিদ্ধান্ত এমন সিস্টেমের হাতে দেওয়ার মতোই খুব সংবেদনশীল, যা শব্দকে সামাজিক রায়ে রূপান্তর করতে পারে।

এই নিবন্ধটি Gizmodo-র প্রতিবেদনকে ভিত্তি করে লেখা। মূল নিবন্ধ পড়ুন.