OpenAI च्या पहिल्या in-house inference chip ने Nvidia विरुद्ध प्रारंभीच्या यशांची नोंद केली

OpenAI ची पहिली custom inference chip एक गंभीर आव्हानकर्ता म्हणून पुढे येते

OpenAI ने आपली पहिली in-house inference chip, Jalapeño नावाचा processor, benchmark निकालांसह सादर केला आहे, ज्यांनी reportedly अनेक महत्त्वाच्या निकषांवर Nvidia च्या Blackwell आणि Rubin platforms ला पुढे ठेवले आहे. हा प्रदर्शन केवळ headline तुलनेमुळे महत्त्वाचा नाही, तर तो हे सूचित करतो की सर्वात मोठ्या AI model developers पैकी एक merchant silicon वरची अवलंबित्वता ओलांडून inference ची economics स्वतः घडवण्याचा प्रयत्न करत आहे.

Hot Chips conference मधील reported results नुसार, Jalapeño फक्त inference साठी डिझाइन केलेले आहे. हे training chip नाही, आणि ते फक्त OpenAI च्या स्वतःच्या models साठीच tune केलेलेही नाही. त्याऐवजी, हे models अधिक efficiently आणि कमी latency सह चालवण्यासाठी बनवलेले general-purpose large language model inference accelerator म्हणून वर्णन केले आहे. ही मांडणी महत्त्वाची आहे. Inference ही ती अवस्था आहे जिथे मोठी AI systems वापरकर्त्यांपर्यंत पोहोचतात, आणि जिथे chatbots, agents, आणि इतर generative applications सेवा देण्याचा खर्च scale वर वाढत जातो.

Source text नुसार, OpenAI चा दावा आहे की Jalapeño तीन tested models मध्ये peak throughput वर प्रति watt 1.5x ते 1.9x अधिक AI work देते, आणि त्या tests मध्ये best commercially available systems च्या तुलनेत end-to-end latency 1.7x ते 3.6x कमी आहे. Interactive workloads साठी, कंपनीच्या मते performance 2.1x ते 4.1x जास्त आहे. हे आकडे व्यापक deployments मध्ये टिकले, तर हे chip Nvidia ने वेग ठरवलेल्या आणि जिथे नवीन challengers ना खऱ्या अर्थाने competitive होण्यासाठी साधारणतः अनेक product cycles लागतात अशा बाजारात एक उल्लेखनीय first-generation result ठरेल.

हे benchmarks का महत्त्वाचे आहेत

Reported tests मध्ये SemiAnalysis चा public InferenceX benchmark वापरला गेला, ज्यासाठी OpenAI ने आकडे पुरवले आणि SemiAnalysis ने site वर काही runs verify केले. Source मध्ये नमूद केलेले models होते GPT-OSS 120B, Deepseek R1 670B, आणि Kimi K2.5 1T. GPT-OSS वर Jalapeño reportedly प्रति user प्रति second सुमारे 1,400 tokens पर्यंत पोहोचले. Deepseek R1 वर, ते reportedly एकाच concurrent request मध्ये 700 tokens प्रति second च्या पुढे गेले.

Source असेही सांगते की matched decoding speed वर, model नुसार, Jalapeño ने best available accelerator च्या तुलनेत प्रति kilowatt token throughput मध्ये 54x ते 104x मिळवले. हा एक लक्षवेधी दावा आहे कारण तो raw speed च्या पलीकडे जातो आणि AI स्पर्धेला increasingly परिभाषित करणाऱ्या infrastructure equation कडे पोहोचतो: एका ठराविक power budget मध्ये कंपनी किती useful tokens तयार करू शकते.

Electricity, cooling, आणि rack density हे आता chips इतकेच महत्त्वाचे constraints बनले आहेत. अशा वातावरणात, throughput per watt सुधारू शकणारे design एका fixed data center footprint मधून किती user sessions सेवा दिले जाऊ शकतात हे बदलते. Lower latency देखील तितकीच महत्त्वाची आहे. अनेक AI products साठी, responses मंद झाल्यास user experience पटकन बिघडते, विशेषतः interactive reasoning किंवा tool-using agents मध्ये, ज्यांना अनेक back-and-forth operations लागू शकतात.

OpenAI प्रतिष्ठा नव्हे, तर inference economics लक्ष्य करत आहे

Jalapeño चे खोल महत्त्व रणनीतिक आहे. OpenAI फक्त इतकेच म्हणत नाही की ते एक competitive chip तयार करू शकते. ते हे सूचित करत आहे की inference vertical integration ला योग्य ठरवेल इतके मूल्यवान आहे. Training अजूनही AI infrastructure मधील बहुतेक लक्ष वेधून घेतो, पण आर्थिकदृष्ट्या mature products इथेच जगतात किंवा मरतात. प्रति watt tokens किंवा latency मधील प्रत्येक marginal gain कमी serving costs, जास्त capacity, किंवा दोन्हीमध्ये रूपांतरित होऊ शकतो.

Source text नोंदते की Jalapeño ने multi-token prediction किंवा speculative decoding सारख्या techniques न वापरता आपले reported numbers मिळवले, तर काही comparison systems ने त्या optimizations वापरल्या. म्हणजे OpenAI chip चे सध्याचे results हे ceiling नव्हे, तर base म्हणून मांडत आहे. प्रत्यक्षात, कंपनी असा युक्तिवाद करत आहे की software आणि system-level tuning मधून अजूनही अतिरिक्त headroom उपलब्ध आहे.

हा मुद्दा महत्त्वाचा आहे कारण custom chips तेव्हाच यशस्वी होतात जेव्हा hardware आणि software इतक्या चांगल्या प्रकारे co-designed केले जातात की architectural advantages production gains मध्ये रूपांतरित होतात. OpenAI आपल्या model-serving software, compiler work, आणि system orchestration ला आपल्या operational गरजांनुसार डिझाइन केलेल्या chip सोबत जोडू शकली, तर तिला कोणत्याही एकाच benchmark chart पेक्षा जास्त leverage मिळू शकते.

दावे जितके महत्त्वाचे आहेत तितकेच caveatsही

तथापि, या घोषणेकडे काळजीपूर्वक पाहण्याची कारणे आहेत. Source स्वतःच निकाल किती दूर generalize करता येतील यावर अनेक मर्यादा दाखवते. Nvidia आणि AMD ने आधीच Deepseek V4 Pro आणि Kimi K3 सारख्या मोठ्या models वापरून results प्रकाशित केले आहेत, ज्यांची अजून Jalapeño वर चाचणी झालेली नाही. त्यामुळे model sizes, context demands, आणि memory pressure reported set च्या पुढे गेल्यावर chip कशी कामगिरी करते हा प्रश्न उघडाच राहतो.

Maturity gap हा आणखी एक मोठा caveat आहे. Rubin systems आधीच customers कडे shipping होत आहेत, तर Jalapeño reportedly अजून engineering samples च्या पलीकडे गेलेले नाही. Early samples architectural promise दाखवू शकतात, पण product readiness manufacturing yield, software stability, thermal behavior, deployment reliability, आणि supply-chain scale यांवर अवलंबून असते. Conference stage वरची benchmark lead fleet-wide repeatable advantage मध्ये आपोआप रूपांतरित होत नाही.

Source असेही सांगते की किमान एका comparison मध्ये प्रति token total cost of ownership Jalapeño आणि Rubin यांच्यात अंदाजे समान होते, efficiency edge असूनही. हे लक्षात ठेवण्यासारखे आहे कारण data center economics अनेक variables वर अवलंबून असते. Memory, packaging, networking, deployment complexity, आणि utilization rates हे तांत्रिकदृष्ट्या श्रेष्ठ chip आणि व्यावसायिकदृष्ट्या श्रेष्ठ platform यांच्यातील फरक कमी करू शकतात.

एक first-generation chip जी चर्चा बदलते

या caveats असूनही, reported performance लक्षणीय आहे. First-generation chips कडून साधारणपणे अपेक्षा नसते की त्यांनी latency आणि efficiency दोन्हीमध्ये market leader च्या current आणि near-next platforms ला मागे टाकावे. OpenAI चे प्रदर्शन प्रतिनिधिक असेल, तर ते सूचित करते की कंपनी specialized silicon तयार करण्यात अनेकांच्या अपेक्षेपेक्षा वेगाने पुढे गेली आहे. Source नुसार, Jalapeño Broadcom सोबत नऊ महिन्यांत विकसित करण्यात आली, काही अंशी OpenAI च्या स्वतःच्या models चा वापर करून. हा कमी कालावधी खरा असेल, तर मोठे AI developers stack चा अधिकाधिक भाग किती वेगाने आतमध्ये आणण्याचा प्रयत्न करत आहेत हे ते अधोरेखित करते.

विस्तृत उद्योग परिणाम असा आहे की frontier model companies आता फक्त algorithms आणि products वर स्पर्धा करण्यावर समाधानी नसतील. cost, performance, आणि deployment scale ठरवणाऱ्या hardware path वर थेट नियंत्रण मिळवायची त्यांची इच्छा वाढत आहे. Nvidia shipping systems आणि खोलवर रुजलेल्या ecosystem सह incumbent राहते, पण शीर्ष AI lab कडून येणारा credible custom alternative देखील बाजारभर negotiating power बदलू शकतो.

आत्तासाठी, Jalapeño कडे निश्चित विजय म्हणून नाही, तर सुरुवातीचा पण अर्थपूर्ण संकेत म्हणून पाहिले पाहिजे. सर्वात महत्त्वाची गोष्ट ही नाही की OpenAI ने benchmark विजय नोंदवला आहे, जरी तो असा reported असला तरी. महत्त्वाचे हे आहे की कंपनीने उद्योगमानकाशी गंभीरपणे तुलना करता येईल असे chip तयार केले असावे. AI infrastructure मध्ये, तीच एक विकास लक्ष ठेवण्यासारखा आहे.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.