OpenAI आणि भागीदारांनी AI प्रशिक्षण नेटवर्क अधिक सक्षम करण्यासाठी MRC जारी केले

मोठ्या AI क्लस्टरसाठी नवे नेटवर्किंग स्तर

OpenAI ने Multipath Reliable Connection, किंवा MRC, सादर केले आहे. हा मोठ्या प्रमाणावरच्या AI प्रशिक्षण प्रणालींसाठी तयार केलेला नेटवर्किंग प्रोटोकॉल आहे, जिथे GPUs मधील विलंब संपूर्ण काम मंदावू शकतो. कंपनीने सांगितले की तिने हा प्रोटोकॉल AMD, Broadcom, Intel, Microsoft, आणि NVIDIA यांच्या सहकार्याने विकसित केला, आणि नंतर त्याचे स्पेसिफिकेशन Open Compute Project मार्फत जारी केले, जेणेकरून इतर ऑपरेटरही तो स्वीकारू शकतील.

हे पाऊल frontier-model विकासातील कमी दिसणाऱ्या अडथळ्यांपैकी एका लक्ष्यावर केंद्रित आहे. प्रशिक्षण रनमध्ये accelerators दरम्यान प्रचंड प्रमाणात डेटा हलवावा लागतो, आणि एकच उशिरा झालेला ट्रान्सफर महागडे हार्डवेअर निष्क्रियपणे वाट पाहत ठेवू शकतो. क्लस्टर वाढत गेल्यावर congestion, link failures, आणि routing समस्या इतक्या वारंवार होतात की नेटवर्क डिझाइन स्वतः प्रशिक्षणाची गती आणि विश्वासार्हतेचा मुख्य निर्णायक बनतो, असा OpenAI चा युक्तिवाद आहे.

MRC ने काय दुरुस्त करायचे आहे

प्रणालीच्या वर्णनात, OpenAI ने सांगितले की हा प्रोटोकॉल तीन कल्पनांभोवती बांधला आहे: redundancy साठी multi-plane high-speed networks, core congestion कमी करण्यासाठी adaptive packet spraying, आणि अपयश हाताळण्यासाठी static source routing. जटिलता कमी करत resilience सुधारण्याचा मार्ग म्हणून कंपनीने या निवडी मांडल्या.

मूळ समस्या scale ची आहे. आधुनिक training step साठी supercomputer fabric वर लाखो data transfers लागू शकतात. एखादा network path congested झाला किंवा एखादे device निकामी झाले, तर तो व्यत्यय पसरून अनेक GPUs मधील synchronized work थांबवू शकतो. OpenAI च्या मते, MRC चा उद्देश ट्रॅफिक अधिक प्रभावीपणे वितरित करून आणि अधिक fragile routing behavior वर अवलंबून न राहता अपयशांना बायपास करण्याची मुभा देऊन या समस्या पसरू न देणे हा आहे.

तीन मुख्य डिझाइन निवडी

• Multi-plane networking काही पर्यायांपेक्षा कमी घटक आणि कमी वीज वापरून redundancy देण्यासाठी तयार केले आहे.
• Adaptive packet spraying network core मधील hot spots कमी करण्यासाठी ट्रॅफिक अनेक मार्गांवर पसरवते.
• Deployment मध्ये static source routing वापरून failures बायपास केले जातात आणि routing failure च्या काही प्रकारांपासून पूर्णपणे दूर राहिले जाते.

हे एका कंपनीपलीकडे का महत्त्वाचे आहे

OpenAI ने ही release आपल्या व्यापक compute strategy आणि Stargate-scale infrastructure च्या मागण्यांशी जोडली. कंपनीने म्हटले की महत्त्वाच्या infrastructure layers वरील shared standards AI systems ला विस्तृत partner ecosystem मध्ये अधिक कार्यक्षमतेने scale होण्यास मदत करू शकतात. OCP मार्फत स्पेसिफिकेशन जारी करणे हेही सूचित करते की AI क्लस्टरसाठी networking design आता खासगी implementation detail न राहता सामायिक उद्योग समस्या म्हणून पाहिले जात आहे.

हे महत्त्वाचे आहे कारण model training ची economics केवळ chips आणि power वर नाही, तर operators क्लस्टर किती प्रभावीपणे busy ठेवू शकतात यावरही अवलंबून असते. jitter कमी करणारा आणि failures भोवती मार्ग काढणे सोपे करणारा प्रोटोकॉल मोठ्या deployments मधील utilization सुधारू शकतो, ज्यामुळे नवीन models किती वेगाने train करता येतील आणि एखादे लक्ष्य गाठण्यासाठी किती infrastructure उभारावे लागेल, यावर परिणाम होतो.

भागीदारांची यादीही समस्या किती व्यापक झाली आहे हे दाखवते. semiconductor vendors, cloud infrastructure operators, आणि system builders सर्वजण यात सहभागी असल्यामुळे, AI networking स्वतः एक महत्त्वाचा स्पर्धात्मक स्तर बनत आहे, असे या release वरून दिसते. OpenAI ने पूर्णपणे proprietary पद्धतीऐवजी open specification निवडली, यावरून interoperability आणि ecosystem adoption आता stack चा हा भाग बंद ठेवण्यापेक्षा अधिक मौल्यवान आहेत, असा विश्वास दिसतो.

मोठा infrastructure संकेत

ही घोषणा एकाच protocol feature मुळे महत्त्वाची नाही, तर AI infrastructure वरचा ताण कुठे साचत आहे हे दाखवते म्हणून अधिक महत्त्वाची आहे. अनेक वर्षे model scaling विषयीची सार्वजनिक चर्चा GPUs वर केंद्रीत होती. MRC पुढच्या स्तरावरील बंधन समोर आणते: accelerator counts प्रचंड झाल्यावर, त्यांच्यामधील network ठरवू शकतो की सैद्धांतिक compute प्रत्यक्षात उपयुक्त कामात रूपांतरित होते की नाही.

OpenAI मुळात असा युक्तिवाद करत आहे की अधिक मोठ्या आणि अधिक विश्वासार्ह training systems कडे जाण्याचा मार्ग साध्या, अधिक failure-tolerant network fabrics मधून जातो. प्रत्यक्ष deployments मध्ये MRC ने वर्णन केल्याप्रमाणे कार्य केले, तर भविष्यातील hyperscale AI क्लस्टर्स कसे बांधले जातील याबद्दलच्या अपेक्षा ठरविण्यास ते मदत करू शकते. किमान, हे AI infrastructure च्या industrialization मधील आणखी एक पाऊल आहे, जिथे प्रगती increasingly model architecture इतकीच system engineering कडूनही येत आहे.

हा लेख OpenAI च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.