যে কেউ ফ্ল্যাট-প্যাক বুকশেলফ শেষ করে মেঝেতে একটি অতিরিক্ত স্ক্রু গড়িয়ে বেড়াতে দেখেছেন, তিনি IKEA অ্যাসেম্বলি ভুল হওয়ার নীরব আতঙ্ক চেনেন। এখন এমন একটি মেশিন থাকতে পারে যা এই বিতর্ক মিটিয়ে দিতে পারে। Epoch AI-এর ফার্নিচার অ্যাসেম্বলি বেঞ্চমার্ক (FAB) অনুসারে, OpenAI-এর GPT-6 Astra অর্ধ-নির্মিত ফার্নিচারের একটি ছবি পরীক্ষা করে ঠিক কোথায় অ্যাসেম্বলি ভুল হয়েছে তা শনাক্ত করতে পারে এবং এই কাজে ৮০ শতাংশ নির্ভুলতা অর্জন করেছে।
এই ফলাফল এসেছে বেঞ্চমার্কের সেরা পারফর্মার Claude Opus 4.5 মাত্র ২৮ শতাংশ অর্জনের প্রায় দশ মাস পরে। প্রায় সম্পূর্ণ ব্যর্থতা থেকে প্রবর্তিত ভুলের বড় অংশ ধরার এই লাফ হলো সর্বশেষ FAB লিডারবোর্ড আপডেটের প্রধান খবর।
ফার্নিচার অ্যাসেম্বলি বেঞ্চমার্ক কীভাবে কাজ করে
FAB ইচ্ছাকৃতভাবে নীরস, এবং সেটাই এর মূল উদ্দেশ্য বলে মনে হয়। বেঞ্চমার্কটি অ্যাসেম্বলির সময় তিনটি IKEA ফার্নিচারের ছবি তোলে, যেখানে ইচ্ছাকৃত ভুল প্রবর্তন করা হয়। এরপর একটি মডেলকে সেই ছবিগুলো প্রস্তুতকারকের নির্দেশনার পাশে দেখানো হয়, এবং একইসঙ্গে দুটি কাজ করতে হয়: ভুলটি চিহ্নিত করা এবং কী ভুল হয়েছে তা শব্দে বর্ণনা করা।
এই সমন্বয়ই কাজটিকে সাধারণ ইমেজ-ক্লাসিফিকেশন সমস্যার চেয়ে কঠিন করে তোলে। মডেল কেবল কিছু একটা অস্বাভাবিক দেখাচ্ছে বলে চিহ্নিত করতে পারে না। এটিকে আংশিকভাবে সংযোজিত বস্তুর ভেতরে একটি ভুল স্থানীয়করণ করতে হবে এবং তারপর এমনভাবে স্পষ্টভাবে ব্যাখ্যা করতে হবে যাতে একজন মানব নির্মাতা বর্ণনা অনুযায়ী কাজ করতে পারেন। তাই বেঞ্চমার্কটি ভিজ্যুয়াল রিজনিং, নির্দেশনা অনুসরণ এবং ভাষা উৎপাদনকে একটি একক স্কোরে মিলিয়ে দেয়।
ফ্ল্যাট-প্যাক ফার্নিচার একটি উপকারী স্ট্রেস টেস্ট হিসেবে প্রমাণিত হয়েছে ঠিক কারণ এটি একঘেয়ে। টুকরোগুলো অনমনীয়, নির্দেশনাগুলো চিত্রভিত্তিক, এবং সঠিকতা দ্ব্যর্থহীন। হয় শেলফ রেলটি ভুল মুখে লাগানো হয়েছে, নয়তো হয়নি। ইমেজ-ভিত্তিক মূল্যায়নকে ঘোলা করতে পারে এমন বিষয়ভিত্তিক বিচারের খুব কম সুযোগ আছে।
দশ মাসে ২৮ শতাংশ থেকে ৮০ শতাংশে
উন্নতির মাত্রাই আপডেটের সবচেয়ে চমকপ্রদ উপাদান। ২০২৫ সালের নভেম্বরে, সবচেয়ে শক্তিশালী উপলব্ধ মডেল বেঞ্চমার্কের এক-তৃতীয়াংশেরও কম স্কোর করেছিল। দশ মাস পরে, শীর্ষস্থানীয় মডেলটি সেই বিন্দুর কাছাকাছি পৌঁছে যাচ্ছে যেখানে টুলটি ভুলের চেয়ে অনেক বেশি বার সঠিক হবে।
- নভেম্বর ২০২৫: Claude Opus 4.5 ২৮ শতাংশ নিয়ে শীর্ষে।
- সেপ্টেম্বর ২০২৬: OpenAI-এর GPT-6 Astra ৮০ শতাংশে পৌঁছায়, প্রতি ছবিতে গড়ে প্রায় তিন মিনিট সময় নেয়।
- Claude Fable 5.1 ৭০ শতাংশে অবস্থান করছে।
- Claude Opus 5 ৬১ শতাংশে পৌঁছেছে।
- Kimi K3-এর মতো চীনা ওপেন-ওয়েট মডেলগুলো শীর্ষস্থানীয়দের চেয়ে অন্তত সাত মাস পিছিয়ে।
পাঁচটি ডেটা পয়েন্টের তিনটি একটি একক অপ্রতিরোধ্য বিজয়ীর বদলে একটি অর্থপূর্ণ ব্যান্ডে কেন্দ্রীভূত ক্ষেত্র বর্ণনা করে। Astra একটি সুবিধা ধরে রেখেছে, তবে Fable 5.1 যথেষ্ট কাছাকাছি যে পরবর্তী রিলিজের সাথে ক্রমটি বদলে যেতে পারে। আরও প্রকাশক ফাঁক হলো ফ্রন্টিয়ার এবং ওপেন-ওয়েট চ্যালেঞ্জারদের মধ্যে, যেখানে Kimi K3 এবং তার সমকক্ষরা প্রায় সাত মাস পিছিয়ে আছে।
কেন বক্ররেখা এত তীব্রভাবে বাঁক নিল
সূত্র উপাদানটি এই লাভকে একটি বিচ্ছিন্ন কৃতিত্বের বদলে একটি বৃহত্তর পরিবর্তনের অংশ হিসেবে চিত্রিত করে। মডেলগুলো খুব বেশি দিন আগেও অনেক সহজ ভিজ্যুয়াল কাজে ব্যর্থ হচ্ছিল, যা একটি বহু-ধাপ পরিদর্শন সমস্যায় ৮০ শতাংশ ফলাফলকে উল্লেখযোগ্য করে তোলে। ভিশন-ল্যাঙ্গুয়েজ সিস্টেমগুলো ছবিতে আসলে যা দৃশ্যমান তা নিয়ে বর্ণনাকে ভিত্তি দিতে আরও ভালো হওয়ার সাথে সাথে, ভৌত বস্তুকে কেন্দ্র করে তৈরি বেঞ্চমার্কগুলো আগের মতো আর অগম্য নয়।
গতি হলো অবশিষ্ট বাধা
Astra-এর স্কোরের সাথে একটি গুরুত্বপূর্ণ সতর্কতা যুক্ত: প্রতি ছবিতে তিন মিনিট। রিয়েল-টাইম অ্যাসেম্বলি সহায়তার জন্য এটি অনেক ধীর, যে পরিস্থিতি বেশিরভাগ মানুষ প্রথমে কল্পনা করবেন। যে সহায়ক একটি রায় দিতে তিন মিনিট নেয়, আপনার হাত ব্যস্ত থাকলে এবং আপনি চতুর্থ ধাপের অর্ধেক পথে থাকলে তা কার্যকর নয়।
তবুও গবেষকরা এই সক্ষমতাকে একটি সোপান হিসেবে দেখেন। তারা পরামর্শ দেন যে অন্তর্নিহিত দক্ষতাটি শেষ পর্যন্ত গাড়ি মেরামত বা যন্ত্রপাতি সারাইয়ের মতো কাজে ব্যবহার করা যেতে পারে, যেখানে একটি মডেল একটি ত্রুটিপূর্ণ বা আংশিকভাবে বিচ্ছিন্ন সিস্টেমের ছবি ডকুমেন্টেশনের সাথে তুলনা করে ত্রুটিটি বর্ণনা করবে। সেই ক্ষেত্রগুলো একটি বুকশেলফের চেয়ে অনেক বিশৃঙ্খল: উপাদানগুলো লুকানো, আলো পরিবর্তনশীল, এবং পূর্ববর্তী মেরামত একটি মেশিনকে অ-মানক অবস্থায় রেখে যেতে পারে।
গতিও নীতিগতভাবে নির্ভুলতার চেয়ে সহজ সমস্যা। ইনফারেন্স খরচ কমতে এবং থ্রুপুট বাড়তে ঝোঁক দেখিয়েছে ধারাবাহিক মডেল প্রজন্মে, তাই আজকের তিন মিনিটের টার্নঅ্যারাউন্ড কোনো কঠিন সীমার বদলে বর্তমান শিল্পের অবস্থা সম্পর্কে বেশি বলে।
ফ্ল্যাট-প্যাকের বাইরে: ভিজ্যুয়াল রোবোটিক্স
বেঞ্চমার্কের ফলাফল একা দাঁড়িয়ে নেই। সূত্র উপাদান অনুসারে, Astra ভিজ্যুয়াল রোবোটিক কাজেও শক্তিশালী পারফর্ম করে, যা পরামর্শ দেয় যে একই অন্তর্নিহিত ক্ষমতা, একটি দৃশ্য পড়া এবং ভৌত বিন্যাস নিয়ে যুক্তি করা, ফার্নিচারের স্থির ছবির বাইরেও স্থানান্তরিত হয়।
এই সংযোগ গুরুত্বপূর্ণ কারণ রোবোটিক্স সবসময় অ্যাকচুয়েটরের চেয়ে উপলব্ধি এবং সাধারণ জ্ঞান দ্বারা বেশি সীমাবদ্ধ ছিল। যে রোবট একটি অর্ধ-সম্পূর্ণ অ্যাসেম্বলির দিকে তাকিয়ে একটি পরিকল্পনার সাথে তুলনা করতে পারে এবং কী ভুল তা বলতে পারে, সে কাঠামোগতভাবে ম্যানিপুলেশনের মতো কিছু করছে: এটি একটি বস্তুর সঠিক অবস্থার একটি অভ্যন্তরীণ মডেল তৈরি করছে এবং বাস্তবতার সাথে তুলনা করছে। এই ধরনের ত্রুটি শনাক্তকরণ ত্রুটি সংশোধনের একটি যৌক্তিক পূর্বসূরি।
সৎ থাকার জন্য তৈরি একটি বেঞ্চমার্ক
FAB-এর নকশাও AI মূল্যায়ন কীভাবে পরিণত হচ্ছে তা বলে। বিমূর্ত ধাঁধা-সমাধান পরীক্ষা করার বদলে, এটি দৈনন্দিন জীবন থেকে একটি কাজ ধার করে এবং নিয়ন্ত্রিত ত্রুটি প্রবর্তন করে, যা স্কোরিংকে বস্তুনিষ্ঠ এবং পুনরুৎপাদনযোগ্য করে তোলে। ইচ্ছাকৃত ভুল তালিকাভুক্ত করা যায়, তাই একটি সঠিক উত্তর যাচাইযোগ্য এবং একটি ভুল উত্তর দ্ব্যর্থহীন।
এই কঠোরতার মূল্য হলো সংকীর্ণতা। তিনটি IKEA টুকরা একটি ছোট নমুনা, এবং সেগুলোতে সফলতা একটি রান্নাঘরের ক্যাবিনেট বা একটি সাইকেলে সফলতার নিশ্চয়তা দেয় না। তবে ভিজ্যুয়াল রিজনিং অগ্রগতির একটি দিকনির্দেশক সংকেত হিসেবে, বেঞ্চমার্কটি অস্বাভাবিকভাবে স্পষ্ট: এটি পরিমাপ করে একটি মডেল একটি ভৌত বস্তুর দিকে তাকিয়ে আপনাকে বলতে পারে কি না যে এতে কী ভুল আছে।
পরবর্তীতে কী দেখবেন
তিনটি বিষয় নির্ধারণ করবে এই ফলাফলটি একটি মাইলফলক নাকি একটি প্রান্তটীকা। প্রথমটি হলো আগামী মাসগুলোতে Fable 5.1 এবং Opus 5-এর উপর Astra-এর লিড প্রশস্ত হয় নাকি সংকুচিত হয়। দ্বিতীয়টি হলো ইনফারেন্স সময় যথেষ্ট কমে যায় কি না যাতে রিয়েল-টাইম নির্দেশনা বিশ্বাসযোগ্য হয়। তৃতীয়টি হলো ত্রুটি-শনাক্তকরণ দক্ষতা ফ্ল্যাট-প্যাক ফার্নিচার থেকে গবেষকদের মনের বিশৃঙ্খল মেরামত কাজে সাধারণীকৃত হয় কি না।
আপাতত, ব্যবহারিক সারমর্মটি সংযত কিন্তু বাস্তব: যে প্রযুক্তি এক বছরেরও কম আগে একটি উল্টো শেলফ ব্র্যাকেট নির্ভরযোগ্যভাবে শনাক্ত করতে পারত না, এখন তা দশবারের মধ্যে আটবার ভুলটি শনাক্ত করতে এবং ব্যাখ্যা করতে পারে। যে কেউ কখনো সঙ্গীর সাথে তর্ক করেছেন একটি ডোয়েল কোন দিকে যাবে তা নিয়ে, তিনি এই অগ্রগতিকে মূল্যবান মনে করতে পারেন।
এই নিবন্ধটি The Decoder-এর রিপোর্টিংয়ের উপর ভিত্তি করে। মূল নিবন্ধ পড়ুন।
Originally published on the-decoder.com
