OpenAI এবং অংশীদাররা AI প্রশিক্ষণ নেটওয়ার্ককে আরও শক্তিশালী করতে MRC প্রকাশ করেছে

বড় AI ক্লাস্টারের জন্য একটি নতুন নেটওয়ার্কিং স্তর

OpenAI Multipath Reliable Connection, বা MRC, চালু করেছে। এটি বৃহৎ পরিসরের AI প্রশিক্ষণ সিস্টেমের জন্য তৈরি একটি নেটওয়ার্কিং প্রোটোকল, যেখানে GPUs-এর মধ্যে বিলম্ব পুরো কাজকে ধীর করে দিতে পারে। কোম্পানিটি বলেছে, AMD, Broadcom, Intel, Microsoft, এবং NVIDIA-এর সঙ্গে মিলে তারা এই প্রোটোকলটি তৈরি করেছে, এবং পরে Open Compute Project-এর মাধ্যমে এর স্পেসিফিকেশন প্রকাশ করেছে যাতে অন্য অপারেটররাও এটি গ্রহণ করতে পারেন।

এই পদক্ষেপ ফ্রন্টিয়ার-মডেল উন্নয়নের অপেক্ষাকৃত কম দৃশ্যমান বাধাগুলোর একটিকে লক্ষ্য করে। প্রশিক্ষণ রান নির্ভর করে অ্যাক্সিলারেটরগুলির মধ্যে বিপুল পরিমাণ ডেটা চলাচলের ওপর, আর একটি দেরিতে হওয়া ট্রান্সফারও ব্যয়বহুল হার্ডওয়্যারকে নিষ্ক্রিয়ভাবে অপেক্ষায় রাখতে পারে। ক্লাস্টার যত বড় হয়, জট, লিংক ব্যর্থতা, এবং রাউটিং সমস্যাগুলো ততটাই ঘন ঘন ঘটে যে নেটওয়ার্ক নকশাই প্রশিক্ষণের গতি ও নির্ভরযোগ্যতার একটি মূল নির্ধারক হয়ে ওঠে বলে OpenAI যুক্তি দেয়।

MRC কী ঠিক করতে চায়

সিস্টেমটির বর্ণনায় OpenAI বলেছে, প্রোটোকলটি তিনটি ধারণার ওপর গড়ে উঠেছে: redundancy-এর জন্য multi-plane high-speed networks, core congestion কমাতে adaptive packet spraying, এবং ব্যর্থতা সামলাতে static source routing। কোম্পানি এই সিদ্ধান্তগুলোকে জটিলতা কমিয়ে resilience বাড়ানোর উপায় হিসেবে উপস্থাপন করেছে।

মূল সমস্যা হলো scale। একটি আধুনিক training step-এর জন্য supercomputer fabric জুড়ে লক্ষ লক্ষ data transfers প্রয়োজন হতে পারে। কোনো network path যদি congested হয়ে যায় বা কোনো device ব্যর্থ হয়, সেই বিঘ্ন ছড়িয়ে পড়ে বহু GPUs-এর synchronized work থামিয়ে দিতে পারে। OpenAI বলেছে, MRC-এর লক্ষ্য হলো ট্রাফিক আরও কার্যকরভাবে বিতরণ করে এবং আরও ভঙ্গুর routing behavior-এর ওপর নির্ভর না করে failure এড়িয়ে এই সমস্যাগুলো ছড়িয়ে পড়া ঠেকানো।

তিনটি মূল ডিজাইন পছন্দ

• Multi-plane networking-এর উদ্দেশ্য হলো কিছু বিকল্পের তুলনায় কম components ও কম power ব্যবহার করে redundancy প্রদান করা।
• Adaptive packet spraying network core-এ hot spots কমাতে ট্রাফিককে একাধিক পথে ছড়িয়ে দেয়।
• Deployment-এ static source routing ব্যবহার করা হয় ব্যর্থতা এড়িয়ে যেতে এবং routing failure-এর কিছু শ্রেণি পুরোপুরি এড়াতে।

এটি কেন একটি কোম্পানির বাইরেও গুরুত্বপূর্ণ

OpenAI এই প্রকাশকে তার বৃহত্তর compute strategy এবং Stargate-scale infrastructure-এর চাহিদার সঙ্গে যুক্ত করেছে। কোম্পানিটি বলেছে, গুরুত্বপূর্ণ infrastructure স্তরগুলোতে shared standards AI systems-কে বৃহত্তর partner ecosystem জুড়ে আরও দক্ষভাবে scale করতে সাহায্য করতে পারে। OCP-এর মাধ্যমে স্পেসিফিকেশন প্রকাশ করাও ইঙ্গিত দেয় যে AI ক্লাস্টারের জন্য networking design এখন আর কেবল private implementation detail নয়, বরং একটি ভাগাভাগি করা শিল্প সমস্যা হিসেবে দেখা হচ্ছে।

এটি গুরুত্বপূর্ণ, কারণ model training-এর অর্থনীতি শুধু chips এবং power-এর ওপর নয়, বরং operator-রা ক্লাস্টারগুলোকে কতটা দক্ষভাবে busy রাখতে পারেন তার ওপরও নির্ভর করে। এমন একটি প্রোটোকল যা jitter কমায় এবং failure এড়িয়ে চলাকে সহজ করে, বড় deployment-এ utilization বাড়াতে পারে, যা নতুন model কত দ্রুত trained হবে এবং নির্দিষ্ট লক্ষ্য অর্জনে কত infrastructure গড়তে হবে, সেটিতে প্রভাব ফেলে।

partner list-ও দেখায় সমস্যাটি কতটা বিস্তৃত হয়ে উঠেছে। semiconductor vendor, cloud infrastructure operator, এবং system builder-রা সবাই এতে যুক্ত থাকায়, এই প্রকাশ ইঙ্গিত দেয় যে AI networking নিজেই একটি গুরুত্বপূর্ণ competitive layer হয়ে উঠছে। OpenAI যে purely proprietary approach-এর বদলে open specification বেছে নিয়েছে, তা বোঝায় যে stack-এর এই অংশটি বন্ধ রাখার চেয়ে এখন interoperability এবং ecosystem adoption বেশি মূল্যবান।

বড় infrastructure signal

এই ঘোষণা একটি একক protocol feature-এর চেয়ে কম, বরং AI infrastructure-এর ওপর চাপ কোথায় জমা হচ্ছে তা দেখানোর জন্য বেশি গুরুত্বপূর্ণ। বহু বছর ধরে model scaling নিয়ে জনপরিসরের আলোচনা GPUs-কেন্দ্রিক ছিল। MRC পরের স্তরের সীমাবদ্ধতাকে সামনে আনে: accelerator সংখ্যা বিশাল হয়ে গেলে, তাদের মধ্যকার network-ই ঠিক করে দিতে পারে তাত্ত্বিক compute আসলেই useful work-এ রূপান্তরিত হবে কি না।

OpenAI কার্যত যুক্তি দিচ্ছে যে বড় এবং আরও নির্ভরযোগ্য training systems-এর পথে যেতে হলে সহজ, বেশি failure-tolerant network fabric দরকার। বাস্তব deployments-এ MRC যদি বর্ণিতভাবে কাজ করে, তবে ভবিষ্যতের hyperscale AI ক্লাস্টার কীভাবে নির্মিত হবে, সে বিষয়ে প্রত্যাশা নির্ধারণে এটি সাহায্য করতে পারে। অন্তত, এটি AI infrastructure-এর industrialization-এর আরেকটি ধাপ, যেখানে অগ্রগতি increasingly model architecture-এর পাশাপাশি systems engineering থেকেও আসছে।

এই নিবন্ধটি OpenAI-এর প্রতিবেদনভিত্তিক। মূল নিবন্ধটি পড়ুন.