মেটা-র ঠিকাদাররা কিশোর সেজে প্রতিদ্বন্দ্বী চ্যাটবট পরীক্ষা করেছেন

বড় আকারের চ্যাটবট পরীক্ষায় শিশু-পরিচয় ব্যবহার করা হয়েছিল

মেটার একটি প্রকল্পে কাজ করা ঠিকাদারদের অনলাইনে নাবালকের ভান করে আত্মহত্যা, আত্মক্ষতি, খাওয়ার ব্যাধি, যৌনতা, মাদক এবং নির্যাতনসহ উচ্চ-ঝুঁকির প্রম্পটের প্রতি প্রতিদ্বন্দ্বী AI চ্যাটবটগুলো কীভাবে সাড়া দেয় তা পরীক্ষা করতে বলা হয়েছিল, WIRED পর্যালোচিত অভ্যন্তরীণ উপকরণ ও সাক্ষাৎকার অনুযায়ী। মেটা ঠিকাদার Covalen দ্বারা পরিচালিত এবং অভ্যন্তরীণভাবে Cannes নামে পরিচিত এই প্রচেষ্টা OpenAI-এর ChatGPT, Google-এর Gemini এবং Character.AI-কে লক্ষ্য করেছিল।

প্রতিবেদনটি বলছে, এই পরীক্ষামূলক কর্মসূচি ২১ এপ্রিল পর্যন্তও সক্রিয় ছিল এবং ১৮ বছরের কম বয়সী ব্যবহারকারী হিসেবে উপস্থাপিত ভুয়া অ্যাকাউন্ট ব্যবহার করেছিল। ঠিকাদারদের প্রতিদ্বন্দ্বী চ্যাটবটগুলোতে লিখিত প্রম্পট ও ছবি জমা দিতে, তারপর স্প্রেডশিটে প্রতিক্রিয়া নথিভুক্ত করতে বলা হয়েছিল। প্রতিবেদনে বলা হয়েছে, কিছু ছবিতে বড়ি, ছুরি, ফাঁসির দড়ি এবং একটি গাইনোকোলজিক্যাল পদ্ধতির চিকিৎসা-সংক্রান্ত চিত্র ছিল। লক্ষ্য ছিল, নিজেদের নিরাপত্তা নীতিতে যেসব পরিস্থিতি প্রত্যাখ্যান করা বা সতর্কভাবে সামলানো উচিত, সেসব ক্ষেত্রে প্রতিদ্বন্দ্বী সিস্টেমগুলো কীভাবে আচরণ করে তা দেখা।

এই অভিযানের পরিসর বিশেষভাবে চোখে পড়ার মতো। WIRED জানিয়েছে, ২০২৫ সালের আগস্টে সম্পন্ন একটি পরীক্ষার রাউন্ডে লক্ষ্যভুক্ত চ্যাটবটগুলোর ওপর ৪৫,০০০-এর বেশি প্রম্পট ছিল। পর্যালোচিত একটি প্রম্পট স্প্রেডশিটে ৩,৭৪৮টি এন্ট্রি ছিল, যার বড় অংশ আত্মহত্যা, আত্মক্ষতি ও খাওয়ার ব্যাধির সঙ্গে যুক্ত ছিল, আর অন্যগুলো ছিল যৌনতা, রোমান্স, মাদক, অশ্লীল ভাষা ও বর্ণবাদী/ঘৃণাসূচক গালাগালের ওপর। চ্যাটবটগুলোর পেছনের কোম্পানিগুলো নাকি এই পরীক্ষার বিষয়ে জানত না।

প্রম্পটগুলো সঙ্কট পরিস্থিতি ও নিরাপত্তার প্রান্তিক কেসগুলোর ওপর কেন্দ্রীভূত ছিল

প্রতিবেদনে বর্ণিত প্রম্পটগুলো অনেক সময় বিপদগ্রস্ত শিশু বা কিশোরদের দৃষ্টিকোণ থেকে লেখা ছিল। উদাহরণ হিসেবে ছিল ১৩ বছরের এক কিশোরীর এমন প্রশ্ন, যেখানে সে বড়ো এক প্রতিবেশীর কারণে হওয়া গর্ভাবস্থা শেষ করতে কোথা থেকে বড়ি কেনা যায় জানতে চায়; আরেকটি ছিল ছোট এক শিক্ষার্থীর বর্ণনা, যেখানে এক সহপাঠীর মুখে বন্দুক ধরা; এবং এক মেয়ের প্রশ্ন, কীভাবে বাবা-মায়ের কাছ থেকে বুলিমিয়া লুকানো যায়। অন্য প্রম্পটগুলো মাদকপ্রাপ্তির পথ, সহিংস চিন্তা এবং কিশোর কণ্ঠে উপস্থাপিত যৌন-উত্তেজক পরিস্থিতি অনুসন্ধান করেছে।

এই উদাহরণগুলো গুরুত্বপূর্ণ, কারণ এগুলো চলমান নির্দিষ্ট ধরনের স্ট্রেস টেস্টিং দেখায়। এটি চ্যাটবটের মান বা ব্যবহারকারীর অভিজ্ঞতার সাধারণ পর্যালোচনা ছিল না। এটি ছিল লক্ষ্যভিত্তিক নিরাপত্তা পরীক্ষা, যার উদ্দেশ্য ছিল কোনো সিস্টেম ক্ষতিকর নির্দেশনা দেবে কি না, সংকট কমাতে ব্যর্থ হবে কি না, বা নাবালক হিসেবে উপস্থাপিত কারও প্রম্পটে অনুপযুক্ত প্রতিক্রিয়ায় চলে যাবে কি না তা যাচাই করা। অন্যভাবে বললে, প্রকল্পটি এখন ভোক্তা AI প্ল্যাটফর্মগুলোর সামনে থাকা সবচেয়ে সংবেদনশীল ব্যর্থতার ধরনগুলোর দিকেই মনোযোগী ছিল বলে মনে হয়।

এটিও ব্যাখ্যা করে কেন শিশু-পরিচয়ের ব্যবহার নজর কাড়তে পারে। AI সিস্টেমের নিরাপত্তা গবেষণায় প্রায়ই প্রতিকূল প্রম্পটিং থাকে, কিন্তু প্রতিবেদনে এমন একটি সেটআপের কথা বলা হয়েছে যেখানে বহু ঠিকাদার ভুয়া নাবালক অ্যাকাউন্ট তৈরি করে সংশ্লিষ্ট কোম্পানিগুলোর অজান্তে বাহ্যিক পরিষেবার সঙ্গে যোগাযোগ করেছেন। এটি শুধু AI নিরাপত্তা বেঞ্চমার্কিং নয়, প্ল্যাটফর্ম নিয়ম, ডেটা হ্যান্ডলিং এবং শিল্প-পর্যায়ে অনুকৃত দুর্বল-ব্যবহারকারী পরীক্ষার নৈতিকতা নিয়েও প্রশ্ন তোলে।

অপারেশনাল বিবরণ একটি সংগঠিত বেঞ্চমার্কিং কর্মসূচির ইঙ্গিত দেয়

WIRED-এর মতে, অভ্যন্তরীণ স্প্রেডশিটে নাম, ইমেল ঠিকানা, পাসওয়ার্ড এবং জন্মতারিখসহ ভুয়া প্রোফাইল তালিকাভুক্ত ছিল। অ্যাকাউন্টগুলোতে ডিসপোজেবল Gmail ও Outlook ঠিকানা এবং একটি অভিন্ন পাসওয়ার্ড ব্যবহার করা হয়েছিল। প্রতিবেদনে আরও বলা হয়েছে, প্রম্পটগুলো একাধিক ভাষায় জমা দেওয়া হয়েছিল, যা ইঙ্গিত করে যে এই প্রচেষ্টা কেবল ইংরেজিভিত্তিক পর্যালোচনার মধ্যে সীমাবদ্ধ ছিল না।

সব মিলিয়ে এসব বিবরণ একবারের পর্যালোচনার বদলে একটি কাঠামোবদ্ধ মূল্যায়ন পাইপলাইনকেই নির্দেশ করে। কর্মীরা কেবল কয়েকটি প্রম্পট নিয়ে পরীক্ষা-নিরীক্ষা করছিলেন না। তারা প্রতিদ্বন্দ্বী সিস্টেম পরীক্ষা করা, আউটপুট সংগ্রহ করা এবং নিরাপত্তা-সংবেদনশীল বিষয়গুলোর বিরুদ্ধে আচরণ শ্রেণিবদ্ধ করার জন্য একটি পুনরাবৃত্তিযোগ্য প্রক্রিয়া চালাচ্ছিলেন বলে মনে হয়। আত্মক্ষতি ও খাওয়ার ব্যাধি থেকে শুরু করে রোমান্স ও অশ্লীল ভাষা পর্যন্ত বিষয়বস্তুর ব্যাপ্তি দেখায় যে কর্মসূচিটি এমন বহু বিভাগ কভার করেছিল, যেগুলোকে AI কোম্পানিগুলো সাধারণত ট্রাস্ট ও সেফটি কাজের ক্ষেত্রে উচ্চ-ঝুঁকির হিসেবে দেখে।

উপলব্ধ তথ্য থেকে যা নিশ্চিত করা যায় না, তা হলো মেটা অভ্যন্তরীণভাবে ফলাফলগুলো কীভাবে ব্যবহার করতে চেয়েছিল, বা প্রকল্পটি কোনো আনুষ্ঠানিক রুব্রিকের বিরুদ্ধে অনুগততা মাপছিল কি না। তবে এসব বিশদ ছাড়াও, প্রতিবেদনে AI বাজারের একটি ক্রমবর্ধমান গুরুত্বপূর্ণ বাস্তবতা উঠে এসেছে: নিরাপত্তা-আচরণ নিজেই এখন একটি প্রতিযোগিতামূলক ভেরিয়েবল। একটি মডেল দুর্বল অবস্থায় থাকা কিশোরের প্রতি কীভাবে সাড়া দেয়, তা ব্র্যান্ড আস্থা, নিয়ন্ত্রক অবস্থান, এবং প্ল্যাটফর্ম গ্রহণযোগ্যতার ওপর গতি বা যুক্তি-গুণমানের মতোই প্রভাব ফেলতে পারে।

একটি ঠিকাদার প্রকল্পের বাইরেও কেন এটি গুরুত্বপূর্ণ

প্রতিবেদনটি এমন এক সময় এসেছে, যখন বড় AI কোম্পানিগুলোর ওপর তাদের পণ্যগুলোকে সঙ্কট-কেন্দ্রিক এবং বয়স-সংবেদনশীল পারস্পরিক ক্রিয়া দায়িত্বশীলভাবে সামলাতে পারে তা দেখানোর চাপ বাড়ছে। চ্যাটবট নিরাপত্তা নিয়ে জনপরিসরের আলোচনা এখন আর কেবল হ্যালুসিনেশন বা কপিরাইটে সীমাবদ্ধ নয়। এতে এখন অন্তর্ভুক্ত হয়েছে, সিস্টেমগুলো কি আত্মক্ষতিতে উৎসাহ দেবে না, যৌন শোষণের পরিস্থিতি প্রতিরোধ করবে না, এবং ব্যবহারকারীদের আরও নিরাপদ ফলাফলের দিকে ঘুরিয়ে দেবে কি না।

এই প্রেক্ষাপটে, অনুকৃত নাবালকদের ঘিরে তৈরি একটি প্রতিদ্বন্দ্বী-কেন্দ্রিক পরীক্ষামূলক প্রকল্প দুটি কারণে গুরুত্বপূর্ণ। প্রথমত, এটি ইঙ্গিত করে যে শীর্ষ প্রযুক্তি প্রতিষ্ঠানগুলো এই ব্যর্থতার ধরনগুলোকে পদ্ধতিগতভাবে বেঞ্চমার্ক করার মতো যথেষ্ট গুরুত্বপূর্ণ বলে মনে করে। দ্বিতীয়ত, এটি দেখায় যে নিরাপত্তা মাপার পদ্ধতিগুলো নিজেরাই বিতর্কিত হয়ে উঠতে পারে। একটি কোম্পানি অন্য সিস্টেমগুলো কীভাবে কাজ করে সে বিষয়ে অন্তর্দৃষ্টি পেতে চাইতে পারে, কিন্তু সেই অন্তর্দৃষ্টি সংগ্রহের প্রক্রিয়াই নিজস্ব প্রশাসনিক ও নৈতিক উদ্বেগ তৈরি করতে পারে।

প্রতিবেদনটি ট্রাস্ট-অ্যান্ড-সেফটি কাজ ও প্রতিযোগিতামূলক গোয়েন্দা তথ্যের অস্বস্তিকর ওভারল্যাপও তুলে ধরেছে। যদি একটি প্রতিষ্ঠান অন্যদের অজান্তে তাদের সিস্টেমের ওপর কয়েক দশ হাজার প্রতিকূল প্রম্পট চালায়, তাহলে তা প্রত্যাখ্যানের আচরণ, এসক্যালেশন প্যাটার্ন এবং মডারেশন সীমানা সম্পর্কে বাস্তব দুনিয়ার প্রমাণ সংগ্রহ করছে। এটি অভ্যন্তরীণ তুলনার জন্য কার্যকর হতে পারে, তবে AI কোম্পানিগুলোর মধ্যে নিরাপত্তা প্রতিযোগিতা বাইরে থেকে কতটা অস্বচ্ছ রয়ে গেছে, তাও প্রকাশ করে।

AI শিল্পের জন্য বৃহত্তর সংকেত

প্রতিবেদনে বর্ণিত তথ্য থেকে কয়েকটি সিদ্ধান্ত টানা যায়।

• উচ্চ-ঝুঁকির প্রম্পট পরীক্ষা এখন এতটাই বিস্তৃত যে এতে বড় ঠিকাদার কর্মীবাহিনী এবং আনুষ্ঠানিক কর্মপ্রবাহ জড়িত থাকে।
• শিশু ও কিশোরদের নিরাপত্তা-পরিস্থিতি ভোক্তা AI মূল্যায়নের একটি প্রধান উদ্বেগের ক্ষেত্র।
• নিরাপত্তা-সম্পাদনাকে ক্রমশ কেবল সম্মতির প্রয়োজন নয়, প্রতিযোগিতামূলক বেঞ্চমার্ক হিসেবেও দেখা হচ্ছে।
• প্রতিদ্বন্দ্বীদের পরীক্ষা করতে ব্যবহৃত পদ্ধতিগুলো শিল্পের জন্য পৃথক নীতিগত ইস্যু হয়ে উঠতে পারে।

এই ঘটনাকে উল্লেখযোগ্য করে তোলে শুধু প্রম্পটের পরিমাণ বা বিষয়ের সংবেদনশীলতা নয়। বরং এটি দেখায়, কোম্পানিগুলো পর্দার আড়ালে একে অপরের সুরক্ষাব্যবস্থা কতটা আক্রমণাত্মকভাবে অধ্যয়ন করতে পারে। AI সিস্টেমগুলো দৈনন্দিন ব্যবহারে, বিশেষ করে তরুণদের মধ্যে, যত বেশি গভীরভাবে জড়িয়ে পড়ছে, ততই সেই সুরক্ষাব্যবস্থার মান আরও গুরুত্বপূর্ণ হয়ে উঠবে। কোম্পানিগুলো কীভাবে সেগুলো তদন্ত, তুলনা এবং চ্যালেঞ্জ করে, সেই মানদণ্ডও ততটাই গুরুত্বপূর্ণ হবে।

এই নিবন্ধটি Wired-এর প্রতিবেদনের ভিত্তিতে লেখা হয়েছে। মূল নিবন্ধটি পড়ুন.