AI বেঞ্চমার্ককে স্কোরবোর্ড নয়, বিজ্ঞান হতে হবে

AI বেঞ্চমার্ক অগ্রগতি তুলনা করার জন্য তৈরি। একটি মডেল মানসম্মত পরীক্ষা দেয় এবং তার স্কোর বিকল্পগুলোর তুলনার সহজ উপায় হয়ে ওঠে। কিন্তু এই সরলতা এমন সমস্যা লুকিয়ে রাখতে পারে যেখানে বেঞ্চমার্ক নিজেই মাপার কথা থাকা ক্ষেত্রটিকে বদলে দেয়।

কম্পিউটার বিজ্ঞানী Moritz Hardt মনে করেন আধুনিক AI বেঞ্চমার্কিং মূলত ত্রুটিপূর্ণ। স্কোরকে বুদ্ধিমত্তা, সক্ষমতা বা বাস্তব নির্ভরযোগ্যতার প্রমাণ হিসেবে দেখা তাঁর প্রধান উদ্বেগ।

যখন স্কোরই লক্ষ্য হয়ে যায়

কোনো মাপ লক্ষ্য হলে মানুষ সেই মাপকেই উন্নত করতে থাকে। machine learning-এ এটি এমন সিস্টেম তৈরি করতে পারে যা নির্দিষ্ট dataset বা leaderboard-এ ভালো করে, কিন্তু বিস্তৃত সক্ষমতা অর্জন করে না।

Hardt সতর্ক করেছেন যে সিস্টেম “বুদ্ধিমান কিছু না করেই” leaderboard-এ উঠতে পারে। উচ্চ স্কোর সত্যিকারের অগ্রগতি হতে পারে, আবার পরীক্ষার বিশেষ বৈশিষ্ট্যের সঙ্গে মানিয়ে নেওয়ার ফলও হতে পারে।

বড় language models-এর জন্য নতুন পরীক্ষা নিয়মিত আসছে। এগুলো তথ্য দিতে পারে, তবে পরীক্ষা খুঁজে তার জন্য প্রশিক্ষণ দিয়ে আগের স্কোর ছাড়িয়ে যাওয়ার সংকীর্ণ প্রতিযোগিতাও তৈরি করে।

অতিরিক্ত প্রভাবের ইতিহাস

বেঞ্চমার্ক বহুবার AI গবেষণার দিক বদলেছে। ১৯৮৭ সালে Defense Advanced Research Projects Agency-এর speech-to-text বেঞ্চমার্ক দেখায় যে শীর্ষ সিস্টেমগুলো সহজ statistical পদ্ধতিকে হারাতে পারেনি। এতে AI গবেষণায় আগ্রহ ও অর্থায়ন কমে।

২০১২ সালে ImageNet একটি আট-স্তরীয় neural network-এর সাফল্য দেখিয়ে deep-learning বিপ্লবে সাহায্য করে। বেঞ্চমার্ক শুধু কাজের সারাংশ নয়; তারা অগ্রগতির সংজ্ঞাও তৈরি করতে পারে।

Hardt তাঁর ২০২৬ সালের বই The Emerging Science of Machine Learning Benchmarks-এ বেঞ্চমার্ককে “যে ভুল machine learning তৈরি করেছে” বলেছেন। তবু তিনি স্বীকার করেন, এগুলো বাস্তব অগ্রগতিতেও অবদান রেখেছে।

উন্নত মূল্যায়নে কী দরকার

বেঞ্চমার্কিংকে চূড়ান্ত পরীক্ষা নয়, চলমান গবেষণা সমস্যা হিসেবে দেখতে হবে। বেঞ্চমার্ক কী মাপে, বাস্তব ব্যবহারকে কতটা প্রতিফলিত করে এবং মডেলগুলো কি শুধু তার জন্য প্রস্তুত করা হয়েছে—এসব প্রশ্ন জরুরি।

জটিল সক্ষমতাকে একটিমাত্র সংখ্যায় সীমাবদ্ধ করাও ঠিক নয়। বাস্তব ব্যবহারে মডেলের সীমা জানা সর্বোচ্চ স্কোরের চেয়ে গুরুত্বপূর্ণ।

মানসম্মত মূল্যায়ন পরিত্যাগের দরকার নেই। তবে এমন মূল্যায়ন দরকার যা সীমাবদ্ধতা প্রকাশ করে এবং উপরিতলীয় অপ্টিমাইজেশনের কাছে কম ঝুঁকিপূর্ণ।

AI ব্যবহারের সঙ্গে ঝুঁকি বাড়ছে

AI আরও ক্ষেত্রে ব্যবহৃত হওয়ায় বেঞ্চমার্কের দাবি গবেষণাগারের বাইরে পৌঁছাচ্ছে। তা ক্রয়, বিনিয়োগ ও কোনো কাজের জন্য সিস্টেম প্রস্তুত কি না—এসব সিদ্ধান্তকে প্রভাবিত করতে পারে।

ক্রমবর্ধমান leaderboard সবসময় গভীর বুদ্ধিমত্তা দেখায় না—Hardt-এর সমালোচনা তা মনে করিয়ে দেয়। স্কোর প্রমাণ, চূড়ান্ত রায় নয়।

এই নিবন্ধটি Quanta Magazine-এর প্রতিবেদনের ওপর ভিত্তি করে তৈরি। মূল নিবন্ধ পড়ুন।