AI চ্যাটবট এখনও বিপজ্জনক স্বাস্থ্য উত্তর দিচ্ছে উদ্বেগজনক আত্মবিশ্বাসে, গবেষণায় দেখা গেছে

আত্মবিশ্বাস কেন ঝুঁকির অংশ

সবচেয়ে চোখে পড়ার বিষয় শুধু ভুল হওয়া নয়। বিষয়টি হলো, ভুলগুলো persuasive language-এ মোড়ানো থাকতে পারে। লেখার উদাহরণটি হলো এক কাল্পনিক ক্যান্সার রোগী, যিনি AI সিস্টেমকে alternative clinics সম্পর্কে জিজ্ঞাসা করছেন। উদ্বেগ কেবল অসমর্থিত চিকিৎসাগত দাবিতে নয়, fake বা broken citations এবং প্রশ্নের framing-কে চ্যালেঞ্জ করার কোনো জবাব না থাকাতেও।

স্বাস্থ্যসেবার প্রেক্ষিতে এই সংমিশ্রণ বিপজ্জনক। উত্তর footnoted এবং পেশাদারভাবে লেখা হলে ব্যবহারকারীরা style-কে substance ভেবে ভুল করতে পারেন। একটি চ্যাটবট organized ও neutral শোনায় বলে random forum post-এর তুলনায় নিরাপদ মনে হতে পারে। গবেষণাটি বলছে, এই appearance বিভ্রান্তিকর হতে পারে।

স্বাস্থ্য তথ্যের জন্য শুধু recall নয়, judgment-ও দরকার: খারাপ premises চিনতে পারা, প্রমাণের মান আলাদা করা, এবং জরুরি ক্ষেত্রে যোগ্য চিকিৎসকের কাছে escalat করা। একটি মডেল যদি শুধু plausible next words অনুমান করে, তবে সেটি দক্ষ মনে হতে পারে, যদিও তা প্রকৃতপক্ষে এসব করছে না।

রোগী এবং প্ল্যাটফর্মের জন্য এর মানে কী

এই ফলাফল consumer AI systems-কে নির্ভরযোগ্য first-line medical authorities হিসেবে না দেখার পক্ষে যুক্তিকে শক্তিশালী করে। এগুলো প্রশ্নের খসড়া তৈরি, পরিভাষা ব্যাখ্যা, বা সাধারণ ধারণা বুঝতে সাহায্য করতে পারে, কিন্তু সেই সুবিধা clinical oversight-এর প্রয়োজনকে দূর করে না। oncology, টিকা, বা অপ্রমাণিত therapies-এর মতো সংবেদনশীল ক্ষেত্রে, আংশিক ভুল উত্তরও সিদ্ধান্তকে ভুল দিকে ঠেলে দিতে পারে।

ফলাফলগুলো AI কোম্পানিগুলোর জন্য product-design প্রশ্নও তুলছে। যদি 250 প্রশ্নের মধ্যে মাত্র দুটি প্রত্যাখ্যান করা হয়, তবে refusal thresholds স্বাস্থ্য ব্যবহারের জন্য খুবই সংকীর্ণ হতে পারে। আরও লক্ষ্যভিত্তিক safeguards-এ ক্ষতিকর premises শনাক্ত করা, uncertainty নিয়ে ভালো calibration, এবং এমন reference systems অন্তর্ভুক্ত থাকতে পারে যেগুলো যেখানে সমর্থন নেই সেখানে সমর্থনের ইঙ্গিত দেয় না।

সমানভাবে গুরুত্বপূর্ণ, model builders-দেরও ভাবতে হতে পারে systems কীভাবে open-ended health prompts সামলাবে। নিরাপদ উত্তর সবসময় সরাসরি উত্তর নয়। কিছু ক্ষেত্রে, সঠিক পদক্ষেপ হলো প্রশ্নটিকে চ্যালেঞ্জ করা, পরিসর সীমিত করা, বা polished response-এর বদলে clinician consultation পরামর্শ দেওয়া।

বড় শিক্ষা

এই গবেষণা দেখায় না যে স্বাস্থ্য তথ্যে AI-এর কোনো ভূমিকা নেই। এটি দেখায় যে বর্তমান general-purpose চ্যাটবটগুলো এখনও খুব ঘন ঘন এমনভাবে ব্যর্থ হয়, যা ব্যবহারকারীদের পক্ষে শনাক্ত করা কঠিন। পরীক্ষিত সিস্টেমগুলো প্রতিটি প্রশ্নের উত্তর fluent prose-এ দিতে পেরেছিল, কিন্তু fluency বিশ্বাসযোগ্যতার সমান নয়।

এটাই রোগী ও ডেভেলপারদের জন্য মূল শিক্ষা। মানুষ increasingly ডাক্তারের সঙ্গে কথা বলার আগে AI-এর কাছে যায়, বিশেষ করে যখন তারা ভীত বা অধৈর্য হয়। যদি কোনো সিস্টেম যেখানে সতর্কতা দরকার সেখানে আত্মবিশ্বাসের সঙ্গে উত্তর দেয়, তবে ব্যবহারকারী অনেক পরে ঝুঁকিটি বুঝতে পারে। চিকিৎসায় এটি একটি গুরুতর failure mode।

যতক্ষণ না accuracy, citation integrity, এবং refusal behavior উল্লেখযোগ্যভাবে উন্নত হচ্ছে, AI চ্যাটবটগুলোকে নির্ভরযোগ্য medical guides-এর বদলে drafting এবং orientation tools হিসেবে দেখা ভালো। BMJ Open-এর ফলাফল ইঙ্গিত দেয় যে শিল্পের এখনও একটি বড় safety gap বন্ধ করা বাকি।

• গবেষকেরা পাঁচটি প্রধান AI চ্যাটবটকে 50টি করে স্বাস্থ্য প্রশ্নে পরীক্ষা করেছেন।
• সব উত্তরের অর্ধেক সমস্যাজনক ছিল, এবং প্রায় পাঁচটির মধ্যে একটিকে অত্যন্ত সমস্যাজনক ধরা হয়েছে।
• open-ended স্বাস্থ্য প্রশ্ন closed questions-এর তুলনায় অনেক খারাপ ফল দিয়েছে।
• কোনো চ্যাটবটই নির্ভুল reference list নির্ভরযোগ্যভাবে তৈরি করতে পারেনি।

এই নিবন্ধটি Medical Xpress-এর প্রতিবেদনের ভিত্তিতে লেখা। মূল নিবন্ধ পড়ুন.