Gemini-এর জন্য ডাবল-ব্লাইন্ড AI বেঞ্চমার্ক পরীক্ষা চালাচ্ছে Google

AI বেঞ্চমার্ক ফাঁস ঠেকাতে Google-এর পদক্ষেপ

Google Deepmind বলছে, তারা উন্নত AI সিস্টেম মূল্যায়নের একটি নতুন পদ্ধতি পরীক্ষা করছে, যেখানে না টেস্ট প্রশ্ন, না মডেল, কোনোটিই প্রকাশ করা হবে না। একটি মালিকানাধীন frontier AI মডেলের প্রথম ডাবল-ব্লাইন্ড মূল্যায়ন হিসেবে বর্ণিত এই পাইলটের লক্ষ্য শিল্পের সবচেয়ে স্থায়ী পরিমাপগত সমস্যাগুলোর একটি, benchmark contamination, কমানো।

সমস্যাটি সহজ, কিন্তু এর ফলাফল গুরুতর। যদি কোনো মডেল প্রশিক্ষণ বা অপ্টিমাইজেশনের সময় আগে থেকেই বেঞ্চমার্ক প্রশ্ন শোষণ করে থাকে, তাহলে শক্তিশালী স্কোর ব্যাখ্যা করা কঠিন হয়ে যায়। এমন ফলাফল বিস্তৃত সক্ষমতার বদলে মুখস্থ, সরাসরি সংস্পর্শ, বা টেস্ট-নির্দিষ্ট টিউনিংকে প্রতিফলিত করতে পারে। কোম্পানি, গবেষক, নিয়ন্ত্রক এবং বহিরাগত মূল্যায়নকারীদের জন্য এটি মডেল তুলনা এবং ঝুঁকি মূল্যায়নে ব্যবহৃত প্রধান সরঞ্জামগুলোর একটির ওপর আস্থা কমিয়ে দেয়।

প্রদত্ত প্রতিবেদনের অনুযায়ী, Google-এর পদ্ধতি গোপন টেস্ট উপকরণকে একটি cryptographically protected পরিবেশে রাখে, যাতে মডেল প্রদানকারী আগে থেকে প্রম্পট দেখতে না পারে। একই সঙ্গে, মূল্যায়নকারী মডেলের weights-এ প্রবেশাধিকার পায় না। এই ব্যবস্থা বাহ্যিক পরীক্ষায় দীর্ঘদিনের একটি সমঝোতা দূর করতে চায়, যেখানে সাধারণত এক পক্ষকে sensitive benchmark data ছাড়তে হয় বা proprietary model assets ভাগ করতে হয়।

Gemini Flash Lite-কেন্দ্রিক পাইলট

এই পাইলট প্রকল্প Gemini Flash Lite লাইনের একটি মডেল ব্যবহার করে এবং Singapore AI Safety Institute-সহ অংশীদারদের সঙ্গে confidential benchmarks-এর বিরুদ্ধে চালানো হয়। প্রতিবেদিত লক্ষ্য হলো উভয় পক্ষের গোপনীয়তা বজায় রেখেও কঠোর বহিরাগত মূল্যায়ন সম্ভব করা। বাস্তবে, বেঞ্চমার্ক Google-এর কাছ থেকে গোপন থাকে, আর মডেলের অভ্যন্তরীণ তথ্য মূল্যায়নকারীর কাছ থেকে গোপন থাকে।

এটি গুরুত্বপূর্ণ, কারণ উন্নত মডেল পরীক্ষা ক্রমশ sensitive materials-এর ওপর নির্ভরশীল হয়ে উঠছে। cybersecurity, misuse potential, বা সরকারি পরিচালিত মূল্যায়নের মতো ক্ষেত্রে benchmark prompts নিজেরাই মূল্যবান বা ঝুঁকিপূর্ণ হতে পারে। সেসব প্রশ্ন ফাঁস হলে, পরীক্ষার অনেকটাই মূল্য হারাতে পারে। আর model weights দিতে বলা হলে, মডেল প্রদানকারীরা তাদের বৌদ্ধিক সম্পত্তি ও নিরাপত্তা-সংক্রান্ত উদ্বেগের মুখোমুখি হন।

প্রবন্ধটি নতুন এই প্রক্রিয়াকে একই সঙ্গে দুটো সমস্যা সমাধানের প্রচেষ্টা হিসেবে দেখিয়েছে। Google বলছে, Google Cloud-এর confidential computing portfolio-র Confidential Space ব্যবহার করে একটি সুরক্ষিত execution environment তৈরি করা হচ্ছে। উদ্দেশ্য কেবল নীতিভিত্তিক গোপনীয়তা বা চুক্তিভিত্তিক সীমাবদ্ধতা নয়, বরং cryptographic verification-সমর্থিত প্রযুক্তিগত বিচ্ছিন্নতা।

Benchmark contamination কেন বড় সমস্যা হয়ে উঠেছে

Machine learning-এ benchmark contamination নতুন চিন্তা নয়, তবে মডেল বড় হওয়া, প্রশিক্ষণ ডেটা বাড়া, এবং প্রতিযোগিতার চাপ তীব্র হওয়ার সঙ্গে সঙ্গে এটি আরও গুরুতর হয়ে ওঠে। Proprietary frontier systems বিপুল internet-scale এবং curated data-তে প্রশিক্ষিত হয়। এতে benchmark-এর মতো উপকরণ, বা তার কাছাকাছি রূপ, ইতিমধ্যেই training pipeline-এ ঢুকে পড়ার সম্ভাবনা বেড়ে যায়।

কোনো বেঞ্চমার্ক সরাসরি অন্তর্ভুক্ত না হলেও, fine-tuning, human feedback loops, synthetic training material, বা test format নিয়ে বারবার প্রকাশ্য আলোচনায় চালিত optimization-এর মাধ্যমে leakage হতে পারে। তা হলে শিরোনামের স্কোর বাস্তব বিশ্বের সক্ষমতাকে বাড়িয়ে দেখাতে পারে। বাইরের পর্যবেক্ষকদের কাছে মূল প্রশ্ন হয়ে দাঁড়ায়, বেঞ্চমার্কটি generalization মাপছে নাকি rehearsal।

Google-এর প্রস্তাবিত উত্তরটি প্রক্রিয়াগতও, প্রযুক্তিগতও: পরীক্ষাটি মডেল ডেভেলপারের কাছে ব্লাইন্ড রাখুন, আর মডেলকে টেস্টের মালিকের কাছে অস্বচ্ছ রাখুন। এতে সব মূল্যায়ন সমস্যা দূর হয় না, কিন্তু সবচেয়ে ক্ষতিকরগুলোর একটি সরাসরি লক্ষ্য করা হয়। মডেল যদি আগে থেকে প্রম্পট দেখতে না পারে, তাহলে নির্দিষ্ট ওই আইটেমগুলোর জন্য আলাদাভাবে optimize করার সুযোগও কমে যায়।

রিপোর্টে আরও বলা হয়েছে, সংবেদনশীল বাহ্যিক মূল্যায়নে আগে একটি আপস করতে হতো। মূল্যায়নকারীরা প্রম্পট দিয়ে ভরসা করতেন যে প্রদানকারী সেগুলো ধরে রাখবে না বা অপব্যবহার করবে না, অথবা প্রদানকারীরা model weights ভাগ করে সংশ্লিষ্ট ঝুঁকি মেনে নিতেন। ডাবল-ব্লাইন্ড সেটআপের লক্ষ্য হলো সেই বিকল্পটিকেই তুলে দেওয়া।

এটি শুধু Google-এর সমস্যা নয়, পুরো শিল্পের আস্থার সমস্যা

এর বৃহত্তর তাৎপর্য হলো, AI benchmarking এখন শুধু leaderboard-এর বিষয় নয়, governance-এর বিষয়ও হয়ে উঠেছে। স্কোর increasingly product launches, enterprise procurement, safety debates, এবং policy discussions-এ উদ্ধৃত হচ্ছে। যদি ওই দাবিগুলোর পেছনের পরীক্ষা নির্ভরযোগ্য না হয়, তাহলে AI performance-কে ঘিরে জনসাধারণের evidence base-এর বড় অংশ কম বিশ্বাসযোগ্য হয়ে পড়ে।

প্রবন্ধটি Anthropic-এর Fable 5-এর জন্য সাম্প্রতিক ARC-AGI মূল্যায়নে বিলম্বের একটি উদাহরণ তুলে ধরেছে, যেখানে data-retention সীমাবদ্ধতা স্বাধীন পরীক্ষাকে জটিল করে তুলেছিল। এই উদাহরণটি দেখায়, শক্তিশালী মডেল এবং গোপনীয় বাহ্যিক বেঞ্চমার্কের মুখোমুখি হলে কী ধরনের operational friction তৈরি হতে পারে। প্রদত্ত প্রতিবেদনের থেকে inference: Google তার পাইলটকে এমনভাবে অবস্থান করছে যাতে উভয় পক্ষকে অস্বস্তিকর disclosure-এ ঠেলে না দিয়ে এই মূল্যায়নগুলি সহজে করা যায়।

এখানে একটি standard-setting উচ্চাকাঙ্ক্ষাও আছে। Google বলছে, এই উদ্যোগ শিল্পকে আরও নির্ভরযোগ্য ও ব্যাপকভাবে বিশ্বাসযোগ্য AI systems গড়তে সাহায্য করবে। এই দাবিটি সতর্কভাবে পড়া উচিত। একটি পাইলট পুরো ক্ষেত্রের সমাধান নয়, এবং বেঞ্চমার্কের ওপর আস্থা কেবল প্রম্পট গোপন রাখার ওপর নির্ভর করে না। Test design-এর গুণমান, statistical rigor, reproducibility, benchmark scope, এবং evaluator independence এখনও গুরুত্বপূর্ণ। কিন্তু পরীক্ষার প্রক্রিয়াকে ঘিরে থাকা প্রযুক্তিগত সুরক্ষা stack-এর অর্থপূর্ণ অংশ হয়ে উঠতে পারে।

পরবর্তী পর্যবেক্ষণ

সবচেয়ে গুরুত্বপূর্ণ পরবর্তী প্রশ্ন হলো, এই পদ্ধতি একটি পাইলটের বাইরেও ছড়ায় কি না। অন্য বড় মডেল ডেভেলপার, স্বাধীন প্রতিষ্ঠান, এবং সরকারি মূল্যায়নকারীরা যদি একই ধরনের ব্যবস্থা গ্রহণ করে, তবে এই approach frontier-model oversight-এর স্বাভাবিক অংশ হয়ে উঠতে পারে। যদি এটি এককালীন প্রদর্শনীতে সীমাবদ্ধ থাকে, তাহলে এর প্রভাবও সীমিত হবে।

আরেকটি খোলা প্রশ্ন হলো, কোন ধরনের মূল্যায়নে সবচেয়ে বেশি লাভ হবে। প্রবন্ধটি ইঙ্গিত দেয় যে cybersecurity এবং government testing বিশেষভাবে শক্তিশালী প্রার্থী, কারণ প্রম্পটগুলো নিজেরাই sensitive হতে পারে। সেই যুক্তি biosecurity, national security, বা commercial red-team-এর কিছু পরিস্থিতিতেও প্রযোজ্য হতে পারে, যদিও প্রদত্ত লেখায় সেসব ক্ষেত্র সরাসরি উল্লেখ করা হয়নি।

এখন মূল অগ্রগতি স্পষ্ট: Google Deepmind AI benchmarking-কে trust-me ধাঁচের ব্যবস্থা থেকে সরিয়ে প্রযুক্তিগতভাবে enforced confidentiality-এর দিকে নিতে চাইছে। এমন এক ক্ষেত্রে, যেখানে performance claims প্রায়ই সিস্টেমগুলোর মতোই তীব্রভাবে বিতর্কিত হয়, এটি একটি উল্লেখযোগ্য পরিবর্তন। পাইলটটি AI capability কীভাবে মাপা উচিত, সেই বড় বিতর্ক মিটিয়ে দেয় না, কিন্তু একটি মৌলিক credibility gap-এর সমাধান করে। যদি কোনো বেঞ্চমার্কের উদ্দেশ্য হয় মডেল কী করতে পারে তা পরীক্ষা করা, তাহলে মডেলের আগে থেকেই পরীক্ষার কথা জানা থাকা উচিত নয়।

এই প্রবন্ধটি The Decoder-এর প্রতিবেদনের ভিত্তিতে। মূল প্রবন্ধ পড়ুন.