बड़े AI क्लस्टरों के लिए एक नई नेटवर्किंग परत
OpenAI ने Multipath Reliable Connection, या MRC, पेश किया है, जो बड़े पैमाने की AI ट्रेनिंग प्रणालियों के लिए बनाया गया एक नेटवर्किंग प्रोटोकॉल है, जहां GPUs के बीच होने वाली देरी पूरी प्रक्रिया को धीमा कर सकती है। कंपनी ने कहा कि उसने यह प्रोटोकॉल AMD, Broadcom, Intel, Microsoft और NVIDIA के साथ मिलकर विकसित किया, और फिर इसका विनिर्देश Open Compute Project के माध्यम से जारी किया ताकि अन्य ऑपरेटर भी इसे अपना सकें।
यह कदम फ्रंटियर-मॉडल विकास की उन कम दिखाई देने वाली बाधाओं में से एक को निशाना बनाता है। ट्रेनिंग रन के लिए एक्सेलरेटरों के बीच भारी मात्रा में डेटा की आवाजाही जरूरी होती है, और एक भी देर से हुआ ट्रांसफर महंगे हार्डवेयर को बेकार इंतजार में छोड़ सकता है। OpenAI का तर्क है कि जैसे-जैसे क्लस्टर बड़े होते जाते हैं, भीड़भाड़, लिंक विफलताएं और रूटिंग समस्याएं इतनी सामान्य हो जाती हैं कि नेटवर्क डिज़ाइन खुद ट्रेनिंग की गति और विश्वसनीयता का एक मुख्य निर्धारक बन जाता है।
MRC किस समस्या को ठीक करने के लिए है
प्रणाली के अपने विवरण में, OpenAI ने कहा कि यह प्रोटोकॉल तीन विचारों पर आधारित है: रेडंडेंसी के लिए मल्टी-प्लेन हाई-स्पीड नेटवर्क, कोर भीड़भाड़ कम करने के लिए अनुकूली पैकेट स्प्रेयिंग, और विफलताओं से निपटने के लिए स्टैटिक सोर्स रूटिंग। कंपनी ने इन चुनावों को जटिलता कम करते हुए लचीलापन बढ़ाने के तरीके के रूप में प्रस्तुत किया।
मूल समस्या पैमाने की है। आधुनिक ट्रेनिंग स्टेप के लिए सुपरकंप्यूटर फैब्रिक में लाखों डेटा ट्रांसफर की आवश्यकता हो सकती है। यदि कोई नेटवर्क पथ भीड़भाड़ वाला हो जाए या कोई डिवाइस विफल हो जाए, तो वह व्यवधान फैलकर कई GPUs में समन्वित कार्य को रोक सकता है। OpenAI ने कहा कि MRC का उद्देश्य ट्रैफिक को अधिक प्रभावी ढंग से वितरित करके और अधिक नाजुक रूटिंग व्यवहार पर निर्भर हुए बिना विफलताओं को दरकिनार करने की अनुमति देकर इन समस्याओं को फैलने से रोकना है।
तीन मुख्य डिज़ाइन विकल्प
- मल्टी-प्लेन नेटवर्किंग का उद्देश्य कुछ विकल्पों की तुलना में कम घटकों और कम बिजली के साथ रेडंडेंसी प्रदान करना है।
- अनुकूली पैकेट स्प्रेयिंग नेटवर्क के कोर में हॉट स्पॉट कम करने के लिए ट्रैफिक को कई पथों पर फैलाती है।
- डिप्लॉयमेंट में स्टैटिक सोर्स रूटिंग का उपयोग विफलताओं को बायपास करने और रूटिंग विफलताओं की कुछ श्रेणियों से पूरी तरह बचने के लिए किया जाता है।
यह एक कंपनी से आगे क्यों मायने रखता है
OpenAI ने इस रिलीज़ को अपनी व्यापक कंप्यूट रणनीति और Stargate-स्तरीय इन्फ्रास्ट्रक्चर की मांगों से जोड़ा। कंपनी ने कहा कि प्रमुख इन्फ्रास्ट्रक्चर स्तरों पर साझा मानक AI प्रणालियों को व्यापक साझेदार पारिस्थितिकी तंत्र में अधिक कुशलता से स्केल करने में मदद कर सकते हैं। OCP के माध्यम से विनिर्देश जारी करना यह भी संकेत देता है कि AI क्लस्टरों के लिए नेटवर्किंग डिज़ाइन को अब निजी कार्यान्वयन विवरण के बजाय एक साझा उद्योग समस्या के रूप में देखा जाने लगा है।
यह इसलिए महत्वपूर्ण है क्योंकि मॉडल ट्रेनिंग की अर्थव्यवस्था केवल चिप्स और बिजली से नहीं, बल्कि इस बात से भी तय होती है कि ऑपरेटर क्लस्टरों को कितनी प्रभावी तरह से व्यस्त रख सकते हैं। एक ऐसा प्रोटोकॉल जो jitter कम करे और विफलताओं को आसानी से बायपास करने दे, बड़े डिप्लॉयमेंट में उपयोगिता बढ़ा सकता है, जिससे नए मॉडल कितनी जल्दी ट्रेन किए जा सकते हैं और किसी लक्ष्य तक पहुंचने के लिए कितना इन्फ्रास्ट्रक्चर बनाना पड़ेगा, दोनों पर असर पड़ता है।
साझेदारों की सूची भी दिखाती है कि यह समस्या कितनी व्यापक हो चुकी है। सेमीकंडक्टर विक्रेताओं, क्लाउड इन्फ्रास्ट्रक्चर ऑपरेटरों और सिस्टम निर्माताओं की भागीदारी के साथ, यह रिलीज़ संकेत देती है कि AI नेटवर्किंग अपने आप में एक महत्वपूर्ण प्रतिस्पर्धी परत बनती जा रही है। OpenAI ने पूरी तरह मालिकाना तरीके के बजाय एक खुला विनिर्देश चुना है, जो इस पर दांव को दर्शाता है कि अब इस स्टैक के हिस्से को बंद रखने से अधिक मूल्य इंटरऑपरेबिलिटी और इकोसिस्टम अपनाने में है।
बड़ा इन्फ्रास्ट्रक्चर संकेत
यह घोषणा किसी एक प्रोटोकॉल विशेषता के कारण कम और इस कारण अधिक उल्लेखनीय है कि यह दिखाती है कि AI इन्फ्रास्ट्रक्चर पर दबाव किस जगह जमा हो रहा है। वर्षों तक मॉडल स्केलिंग को लेकर सार्वजनिक चर्चा GPUs पर केंद्रित रही है। MRC अगली-स्तर की बाधा को सामने लाता है: जब एक्सेलरेटरों की संख्या बहुत बड़ी हो जाती है, तो उनके बीच का नेटवर्क तय कर सकता है कि सैद्धांतिक कंप्यूट वास्तव में उपयोगी काम में बदलेगा या नहीं।
OpenAI मूल रूप से यह तर्क दे रहा है कि बड़े और अधिक विश्वसनीय ट्रेनिंग सिस्टम तक पहुंचने का रास्ता सरल और अधिक विफलता-सहनशील नेटवर्क फैब्रिक्स से होकर जाता है। यदि MRC वास्तविक डिप्लॉयमेंट में वर्णन के अनुसार काम करता है, तो यह भविष्य के हाइपरस्केल AI क्लस्टरों के निर्माण के लिए अपेक्षाएं तय करने में मदद कर सकता है। कम से कम, यह AI इन्फ्रास्ट्रक्चर के औद्योगिकीकरण में एक और कदम है, जहां प्रगति越来越 अधिक मॉडल आर्किटेक्चर के साथ-साथ सिस्टम इंजीनियरिंग से भी आ रही है।
यह लेख OpenAI की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.
Originally published on openai.com