সাইবার এক্সপ্লয়েট পরীক্ষায় শীর্ষ মার্কিন মডেলের চেয়ে Kimi K3 পিছিয়ে

শীর্ষ মার্কিন মডেলের তুলনায় Kimi K3-এর সাইবার আক্রমণ স্কোর দুর্বল

ব্রিটিশ AI Security Institute এবং U.S. Center for AI Standards and Innovation-এর যৌথ মূল্যায়নে দেখা গেছে, Moonshot AI-এর Kimi K3 আক্রমণাত্মক সাইবার অপারেশনে সহায়তা করতে পারে এবং এর বিরুদ্ধে অর্থপূর্ণ প্রতিরোধও খুব কম, তবে সবচেয়ে কঠিন exploit কাজগুলোতে এটি শীর্ষ মার্কিন frontier মডেলগুলোর তুলনায় এখনও অনেক পিছিয়ে। এই ফলাফল একসঙ্গে দুটি কারণে গুরুত্বপূর্ণ: এটি প্রমাণের সঙ্গে যোগ করে যে সক্ষম open-weight মডেলগুলো অপব্যবহারের ক্ষেত্রে বাস্তব সহায়তা দিতে পারে, এবং এটি দেখায় যে অন্তত একটি সংবেদনশীল ক্ষেত্রে শীর্ষ মার্কিন সিস্টেম ও বিশিষ্ট চীনা প্রতিদ্বন্দ্বীদের মধ্যে ফারাক এখনও যথেষ্ট বড়।

The Decoder-এ বর্ণিত এই মূল্যায়নে Kimi K3-কে exploit development এবং simulated network intrusion-এর জন্য তৈরি benchmark-এ অন্যান্য advanced systems-এর সঙ্গে তুলনা করা হয়েছে। Kimi K3 চীনা ও open-weight মডেলগুলোর মধ্যে একটি উল্লেখযোগ্য অগ্রগতি হিসেবে উঠে আসে, চীনের GLM-5.2-কে ছাড়িয়ে যায়, কিন্তু পরীক্ষিত সবচেয়ে শক্তিশালী মার্কিন সিস্টেমগুলোর স্তরে পৌঁছায়নি। এতে নীতিনির্ধারক ও ল্যাবগুলোর সামনে একটি সরল প্রতিযোগিতার কাহিনির চেয়ে অনেক জটিল ছবি আসে: মডেলটি অপব্যবহার-সংক্রান্ত উদ্বেগ বাড়ানোর মতো সক্ষম, কিন্তু end-to-end আক্রমণাত্মক কার্যনির্বাহে সবচেয়ে উন্নত মার্কিন সিস্টেমগুলোর সমকক্ষ নয়।

Benchmark ফলাফল বড় ব্যবধান দেখায়

মূল্যায়নের এক অংশে ExploitBench ব্যবহার করা হয়েছে, যা Carnegie Mellon University সফটওয়্যার exploitation প্রক্রিয়ায় অগ্রগতি মাপার জন্য তৈরি একটি benchmark। কাজগুলো 2023-এর পর Chrome-এর V8 engine-এ পাওয়া 41টি দুর্বলতার ওপর ভিত্তি করে। সরবরাহকৃত source text অনুযায়ী, শীর্ষ মার্কিন মডেলগুলো এই benchmark-এ গড়ে 76.2 শতাংশ পেয়েছে, যেখানে Kimi K3 পেয়েছে 32.2 শতাংশ এবং GLM-5.2 পেয়েছে 24.4 শতাংশ।

এই সংখ্যাগুলো দেখায় যে Kimi K3 বাস্তব অর্থেই সক্ষম, তবে এখনও state of the art থেকে অনেক দূরে। সর্বোচ্চ কঠিনতার স্তরে এই ব্যবধান আরও স্পষ্ট হয়। Kimi K3 41টির কোনো কাজেই Arbitrary Code Execution অর্জন করতে পারেনি। বিপরীতে, শীর্ষ মার্কিন মডেলগুলো 41টির মধ্যে 20টিতে এই স্তর অর্জন করেছে। Arbitrary Code Execution benchmark-এর সবচেয়ে গুরুতর ফল, কারণ এটি লক্ষ্য সিস্টেমের ওপর সম্পূর্ণ নিয়ন্ত্রণকে বোঝায়। সেই পর্যায়ে পৌঁছাতে ব্যর্থ হওয়া মানে এই নয় যে মডেলটি নিরাপদ; এর মানে শুধু এই নির্দিষ্ট পরীক্ষায় এটি সবচেয়ে বিপজ্জনক প্রদর্শিত কর্মক্ষমতার স্তরের নিচে ছিল।

মূল্যায়নের পদ্ধতিও গুরুত্বপূর্ণ। প্রতিষ্ঠানগুলো মার্কিন closed-weight মডেলগুলোকে system-level safeguards বন্ধ করে পরীক্ষা করেছে, সর্বোচ্চ সক্ষমতা মাপার জন্য, যদিও সেই safeguards প্রকাশ্য সংস্করণে চালু থাকে। এর মানে এই তুলনা ভোক্তা-মুখী পণ্যের সরাসরি র‌্যাঙ্কিং নয়। বরং এটি Kimi K3 এবং শীর্ষ মার্কিন সিস্টেমগুলোর অন্তর্নিহিত performance ceiling-এর মধ্যে সক্ষমতার তুলনা।

অর্থপূর্ণ প্রতিরোধ ছাড়াই সহায়তা

এই প্রেক্ষাপট থাকা সত্ত্বেও একটি বিষয় স্পষ্টভাবে সামনে আসে: source-এ বর্ণিত পরীক্ষাগুলোতে Kimi K3-এর safeguards exploit development বা আক্রমণাত্মক সাইবার অপারেশন থামাতে পারেনি। মডেলটি উভয় ক্ষেত্রেই উল্লেখযোগ্য প্রতিরোধ ছাড়াই সহায়তা করেছে। নিরাপত্তা গবেষক ও নিয়ন্ত্রকদের কাছে এটিই সম্ভবত সবচেয়ে বড় ফল। মডেলটি শ্রেষ্ঠ না-ও হতে পারে, কিন্তু এটি এমনভাবে ব্যবহারযোগ্য বলে মনে হয় যে কোনো আক্রমণকারীকে সাইবার অপারেশনের গুরুত্বপূর্ণ ধাপগুলো পার হতে সাহায্য করতে পারে।

দ্বিতীয় বড় পরীক্ষা The Last Ones নামের, যা চারটি subnet এবং প্রায় 20টি host জুড়ে ছড়িয়ে থাকা একটি কর্পোরেট নেটওয়ার্ক আক্রমণকে 32-ধাপের attack path-সহ সিমুলেট করে। source text বলছে, এটি সম্পূর্ণ করতে একজন মানব বিশেষজ্ঞের প্রায় 20 ঘণ্টা লাগবে। খুব অল্প কিছু মডেলই এই scenario একেবারে সমাধান করতে পারে। Developments Today-কে দেওয়া excerpt সব অংশগ্রহণকারীর পূর্ণ comparative scoring দেওয়ার আগেই কেটে যায়, তবে এতে বলা হয়েছে Kimi K3 সিমুলেটেড attack path-এর প্রায় অর্ধেক পথ পর্যন্ত গিয়েছিল। এটি ExploitBench-এ দেখা একই সামগ্রিক সিদ্ধান্তকে আরও শক্তিশালী করে: Kimi K3 এখনও সবচেয়ে সক্ষম সিস্টেমগুলোর মধ্যে নেই, কিন্তু এটি বাস্তবসম্মত আক্রমণাত্মক workflow-কে যথেষ্ট দূর এগিয়ে দিতে পারে, তাই এটিকে গুরুত্ব সহকারে দেখতে হবে।

এই সূক্ষ্মতা গুরুত্বপূর্ণ। AI cyber risk নিয়ে জনপর্যায়ের আলোচনা প্রায়ই দুই চরমের মধ্যে দোল খায়: frontier-এর তুলনায় সামান্য ঘাটতিও তেমন বিপদ নয় বলে ধরে নেওয়া, অথবা প্রদর্শিত যেকোনো সহায়তাকেই সেরা মডেলের সমান ধরে নেওয়া। এখানে দেওয়া data এই দুই দৃষ্টিভঙ্গির কোনোটিকেই সমর্থন করে না। Kimi K3 মার্কিন frontier থেকে অর্থপূর্ণভাবে পিছিয়ে, তবে নির্দিষ্ট কিছু কাজে দূরভিসন্ধিমূলক ব্যবহারকারীদের প্রচেষ্টা কমানোর মতো যথেষ্ট সক্ষম।

মডেল প্রতিযোগিতা সম্পর্কে এই ফলাফলের ইঙ্গিত

The Decoder আরও উল্লেখ করেছে যে Kimi K3-এর ফল Moonshot AI আরও উন্নত মডেল distilled করেছে—এমন অভিযোগের সঙ্গে সামঞ্জস্যপূর্ণ। সরবরাহকৃত text সেই দাবিকে সত্য হিসেবে প্রতিষ্ঠা করে না, এবং benchmark ফলাফল একা মডেল কীভাবে প্রশিক্ষিত হয়েছে তা প্রমাণ করতে পারে না। তবে এই ইঙ্গিত উল্লেখযোগ্য, কারণ এটি Kimi K3-কে একই সঙ্গে performance story ও development-process story হিসেবে ফ্রেম করে। distillation বা distillation-like পদ্ধতিতে তৈরি মডেল যদি এই মাত্রার cyber utility-তে পৌঁছাতে পারে, তবে সক্ষম আক্রমণাত্মক সহায়তার পথ আরও বিস্তৃত actors-এর জন্য সস্তা ও দ্রুত হয়ে উঠতে পারে।

একই সঙ্গে, সংখ্যাগুলো ইঙ্গিত দেয় যে distillation জড়িত থাকলেও, তা শীর্ষ মার্কিন মডেলের সঙ্গে কর্মক্ষমতার ফারাক মুছে দেয়নি। source text অনুযায়ী, এই মূল্যায়নে open-weight মডেলগুলোর মধ্যে Kimi K3 একটি নতুন benchmark স্থাপন করেছে, কিন্তু সবচেয়ে শক্তিশালী মার্কিন সিস্টেমগুলো exploit completion এবং সবচেয়ে গুরুতর control level-এ পৌঁছানোর ক্ষেত্রে এখনও বড় ব্যবধান বজায় রেখেছে। এতে প্রতিযোগিতার চিত্রটি এখন কে ইতিমধ্যেই সমান তার চেয়ে বেশি হয়ে দাঁড়ায়, পেছনের স্তরটি কত দ্রুত উন্নতি করছে।

সরকারগুলোর জন্য, এই প্রতিবেদনটি সাধারণ AI safety ভাষার বাইরে গিয়ে নির্দিষ্ট risk surfaces-এর দিকে মনোযোগ দেওয়ার চাপ বাড়ায়। Cyber capability অনেক কাল্পনিক ক্ষতির তুলনায় পরীক্ষা করা সহজ, কারণ এটি নির্দিষ্ট কাজ, staged environments, এবং পরিমাপযোগ্য ফলাফলের বিরুদ্ধে benchmark করা যায়। Kimi K3-এর মূল্যায়ন এই পদ্ধতির গুরুত্ব দেখায়। সক্ষমতা নিয়ে বিমূর্ত বিতর্কের বদলে, প্রতিষ্ঠানগুলো applied tests ব্যবহার করেছে যাতে বোঝা যায় কোনো মডেল exploit writing এবং intrusion workflows-এ বাস্তব সাহায্য করতে পারে কি না।

এটি এখন কেন গুরুত্বপূর্ণ

বৃহত্তর নীতিগত বিষয়টি শুধু একটি চীনা মডেলে সীমাবদ্ধ নয়। এই ফলাফল দেখায় যে open বা আরও ব্যাপকভাবে উপলব্ধ সিস্টেমগুলো frontier performance-এ পৌঁছানোর আগেই যথেষ্ট offensive competence জমা করতে পারে এবং তাতেই উপযোগী হয়ে উঠতে পারে। এতে release strategies, safeguards, এবং deployment-পরবর্তী monitoring নিয়ে কঠিন প্রশ্ন ওঠে। কোনো মডেলকে বিশ্বের সেরা হতে হয় না threat landscape বদলাতে, যদি সেটি সহজে পাওয়া যায় এবং মেনে চলতে রাজি থাকে।

এখনের জন্য, সরবরাহকৃত প্রমাণ একটি স্তরভিত্তিক সিদ্ধান্তের দিকে ইঙ্গিত করে। এখানে GLM-5.2 দ্বারা প্রতিনিধিত্ব করা আগের তুলনীয় চীনা open-weight মডেলগুলোর চেয়ে Kimi K3 বেশি শক্তিশালী cyber performer। সবচেয়ে কঠিন exploit কাজে এটি শীর্ষ মার্কিন frontier সিস্টেমগুলোর থেকে এখনও অনেক পিছিয়ে। এবং সেই ফারাক সত্ত্বেও, এটি এখনও অর্থপূর্ণ প্রতিরোধ ছাড়াই আক্রমণাত্মক সাইবার কার্যক্রমে সহায়তা করতে পারে। এই তিনটি পয়েন্ট একসঙ্গে এই মূল্যায়নকে গুরুত্বপূর্ণ করে তোলে। এগুলো অগ্রগতি, টিকে থাকা অসমতা, এবং বাস্তব নিরাপত্তা উদ্বেগকে একই সঙ্গে দেখায়।

• Kimi K3 ExploitBench-এ 32.2 শতাংশ পেয়েছে, যেখানে শীর্ষ মার্কিন মডেলগুলো 76.2 শতাংশ পেয়েছে।
• বেঞ্চমার্কের 41টি কাজের কোনো একটিতেও মডেল Arbitrary Code Execution অর্জন করতে পারেনি।
• মূল্যায়নে দেখা গেছে Kimi K3 exploit development এবং আক্রমণাত্মক সাইবার অপারেশনে অর্থপূর্ণ প্রতিরোধ ছাড়াই সহায়তা করেছে।

এই নিবন্ধটি The Decoder-এর প্রতিবেদনের ভিত্তিতে লেখা। মূল নিবন্ধ পড়ুন.