OpenAI-এর প্রথম in-house inference chip Nvidia-এর বিরুদ্ধে প্রাথমিক সাফল্য পেয়েছে

OpenAI-এর প্রথম custom inference chip একটি গুরুতর প্রতিদ্বন্দ্বী হিসেবে উঠে এসেছে

OpenAI তার প্রথম in-house inference chip, Jalapeño নামের একটি processor, benchmark ফলাফলসহ উপস্থাপন করেছে, যা reportedly কয়েকটি গুরুত্বপূর্ণ মাপকাঠিতে Nvidia-এর Blackwell এবং Rubin platforms-এর আগে স্থান পেয়েছে। এই প্রদর্শনটি শুধু headline তুলনার কারণে গুরুত্বপূর্ণ নয়, বরং এটি ইঙ্গিত দেয় যে সবচেয়ে বড় AI model developers-দের একজন merchant silicon-এর ওপর নির্ভরতা থেকে বেরিয়ে inference-এর অর্থনীতি নিজেই গঠন করার চেষ্টা করছে।

Hot Chips conference থেকে reported results অনুযায়ী, Jalapeño কেবল inference-এর জন্য ডিজাইন করা হয়েছে। এটি training chip নয়, এবং এটি শুধু OpenAI-এর নিজের models-এর জন্যও tune করা হয়নি। বরং এটিকে একটি general-purpose large language model inference accelerator হিসেবে বর্ণনা করা হয়েছে, যার উদ্দেশ্য models-কে আরও efficiently এবং কম latency-তে চালানো। এই অবস্থানটি গুরুত্বপূর্ণ। Inference হল সেই পর্যায় যেখানে বড় AI systems ব্যবহারকারীদের মুখোমুখি হয়, এবং এখানেই chatbots, agents, এবং অন্যান্য generative applications-কে scale-এ পরিবেশন করার খরচ জমতে থাকে।

Source text বলছে OpenAI দাবি করছে Jalapeño তিনটি tested models জুড়ে peak throughput-এ প্রতি watt-এ 1.5x থেকে 1.9x বেশি AI work দেয়, পাশাপাশি ওই tests-এ best commercially available systems-এর তুলনায় end-to-end latency 1.7x থেকে 3.6x কম। Interactive workloads-এর ক্ষেত্রে, কোম্পানির দাবি performance 2.1x থেকে 4.1x বেশি। যদি এই সংখ্যাগুলো বৃহত্তর deployments-এও টিকে যায়, তবে chipটি এমন এক বাজারে একটি উল্লেখযোগ্য first-generation result হবে, যেখানে Nvidia গতি নির্ধারণ করেছে এবং যেখানে নতুন challengers-দের সত্যিকারের competitive হতে সাধারণত কয়েকটি product cycle লাগে।

এই benchmarks কেন গুরুত্বপূর্ণ

Reported tests-এ SemiAnalysis-এর public InferenceX benchmark ব্যবহার করা হয়েছিল, যেখানে OpenAI পরিসংখ্যান সরবরাহ করে এবং SemiAnalysis site-এ কিছু runs verify করে। Source-এ উল্লেখিত models ছিল GPT-OSS 120B, Deepseek R1 670B, এবং Kimi K2.5 1T। GPT-OSS-এ Jalapeño reportedly প্রতি ব্যবহারকারীর জন্য সেকেন্ডে প্রায় 1,400 tokens অর্জন করেছে। Deepseek R1-এ, এটি reportedly একটি single concurrent request-এ সেকেন্ডে 700 tokens ছাড়িয়ে গেছে।

Source আরও বলছে, matched decoding speed-এ Jalapeño model অনুযায়ী best available accelerator-এর তুলনায় প্রতি kilowatt token throughput-এ 54x থেকে 104x অর্জন করেছে। এটি একটি আকর্ষণীয় দাবি, কারণ এটি raw speed-এর বাইরে গিয়ে AI competition-কে increasingly সংজ্ঞায়িত করা infrastructure equation-এর দিকে নিয়ে যায়: একটি নির্দিষ্ট power budget-এ একটি company কত useful tokens তৈরি করতে পারে।

Electricity, cooling, এবং rack density এখন chips-এর মতোই গুরুত্বপূর্ণ constraints হয়ে উঠেছে। এই পরিবেশে, throughput per watt উন্নত করতে পারে এমন design নির্ধারণ করে fixed data center footprint থেকে কতগুলো user session service করা যাবে। Lower latency-ও ততটাই গুরুত্বপূর্ণ। বহু AI products-এর জন্য, responses ধীর হলে user experience দ্রুত খারাপ হয়, বিশেষ করে interactive reasoning বা tool-using agents-এ, যাদের অনেক back-and-forth operation প্রয়োজন হতে পারে।

OpenAI কেবল prestige নয়, inference economics লক্ষ্য করছে

Jalapeño-এর গভীর তাৎপর্য কৌশলগত। OpenAI কেবল বলছে না যে তারা একটি competitive chip বানাতে পারে। তারা ইঙ্গিত দিচ্ছে যে inference vertical integration-কে ন্যায্যতা দেওয়ার মতো যথেষ্ট মূল্যবান। Training এখনও AI infrastructure-এ সবচেয়ে বেশি মনোযোগ পায়, কিন্তু financialভাবে mature products বাঁচে বা মরে এখানে। প্রতি watt-এ tokens বা latency-তে প্রতিটি marginal gain কম serving costs, বেশি capacity, বা উভয়েই রূপ নিতে পারে।

Source text উল্লেখ করে যে Jalapeño multi-token prediction বা speculative decoding-এর মতো techniques ব্যবহার না করেই তার reported numbers অর্জন করেছে, যদিও কিছু comparison systems সেই optimizations ব্যবহার করেছিল। এর মানে OpenAI chip-এর বর্তমান results-কে ceiling নয়, বরং base হিসেবে উপস্থাপন করছে। বাস্তবে, কোম্পানি বলছে software এবং system-level tuning থেকে এখনও অতিরিক্ত headroom পাওয়া সম্ভব।

এই বিষয়টি গুরুত্বপূর্ণ, কারণ custom chips সফল হয় তখনই যখন hardware এবং software এমনভাবে co-designed হয় যে architectural advantages production gains-এ রূপ নেয়। OpenAI যদি তার model-serving software, compiler work, এবং system orchestration-কে তার operational প্রয়োজন অনুযায়ী তৈরি chip-এর সঙ্গে জুড়ে দিতে পারে, তবে এটি যেকোনো একক benchmark chart-এর চেয়েও বেশি leverage পেতে পারে।

দাবির মতোই caveats-ও গুরুত্বপূর্ণ

তবে, ঘোষণাটি সতর্কতার সঙ্গে পড়ার মতো। Source নিজেই ফলাফলগুলো কতটা generalized করা যায় সে বিষয়ে বেশ কিছু সীমাবদ্ধতা দিয়েছে। Nvidia এবং AMD ইতিমধ্যেই Deepseek V4 Pro এবং Kimi K3-এর মতো বড় models ব্যবহার করে results প্রকাশ করেছে, যেগুলো এখনও Jalapeño-তে test করা হয়নি। ফলে model sizes, context demands, এবং memory pressure reported set-এর বাইরে গেলে chipটি কেমন কাজ করে, সেই প্রশ্ন খোলা রয়েছে।

Maturity gap আরেকটি বড় caveat। Rubin systems ইতিমধ্যেই customers-এর কাছে shipping হচ্ছে, কিন্তু Jalapeño reportedly এখনও engineering samples-এর পর্যায় ছাড়ায়নি। Early samples architectural promise দেখাতে পারে, কিন্তু product readiness manufacturing yield, software stability, thermal behavior, deployment reliability, এবং supply-chain scale-এর ওপর নির্ভর করে। Conference stage-এ benchmark lead মানেই fleet জুড়ে পুনরাবৃত্তিযোগ্য advantage নয়।

Source আরও দেখায় যে অন্তত একটি comparison-এ token-প্রতি total cost of ownership Jalapeño এবং Rubin-এর মধ্যে মোটামুটি সমান ছিল, efficiency edge থাকা সত্ত্বেও। এটি মনে করিয়ে দেয় যে data center economics বহু variable-এর সমষ্টি। Memory, packaging, networking, deployment complexity, এবং utilization rates প্রযুক্তিগতভাবে শ্রেষ্ঠ chip ও বাণিজ্যিকভাবে শ্রেষ্ঠ platform-এর মধ্যে ব্যবধান কমাতে পারে।

একটি first-generation chip, যা আলোচনা বদলে দেয়

এই caveats থাকা সত্ত্বেও, reported performance তাৎপর্যপূর্ণ। First-generation chips-দের কাছ থেকে সাধারণত আশা করা হয় না যে তারা latency এবং efficiency উভয় ক্ষেত্রেই market leader-এর current এবং near-next platforms-কে হারাবে। যদি OpenAI-এর প্রদর্শনটি প্রতিনিধিত্বমূলক হয়, তবে এটি ইঙ্গিত দেয় যে company specialized silicon তৈরিতে অনেকের প্রত্যাশার চেয়ে দ্রুত এগিয়েছে। Source বলে Jalapeño Broadcom-এর সঙ্গে নয় মাসে, আংশিকভাবে OpenAI-এর নিজের models ব্যবহার করে তৈরি করা হয়েছে। যদি এই সময়রেখা সঠিক হয়, তবে এটি দেখায় যে বড় AI developers কত দ্রুত stack-এর আরও বেশি অংশ নিজেদের মধ্যে আনতে চাইছে।

বৃহত্তর শিল্পগত তাৎপর্য হলো frontier model companies সম্ভবত আর শুধু algorithms এবং products-এর ওপর প্রতিযোগিতায় সন্তুষ্ট নয়। তারা increasingly সেই hardware path-এর ওপর সরাসরি নিয়ন্ত্রণ চায়, যা cost, performance, এবং deployment scale নির্ধারণ করে। Nvidia shipping systems এবং গভীরভাবে প্রতিষ্ঠিত ecosystem নিয়ে incumbent রয়ে গেছে, কিন্তু একটি শীর্ষ AI lab থেকে credible custom alternative বাজারজুড়ে negotiating power বদলে দিতে পারে।

এখনের জন্য, Jalapeño-কে স্থির হয়ে যাওয়া জয় নয়, বরং একটি প্রাথমিক কিন্তু অর্থবহ সংকেত হিসেবে দেখা উচিত। সবচেয়ে গুরুত্বপূর্ণ সত্য হলো OpenAI একটি benchmark জয় দেখিয়েছে, তা নয়, যদিও এমনটাই reported হয়েছে। গুরুত্বপূর্ণ হলো কোম্পানিটি এমন একটি chip তৈরি করেছে বলে মনে হচ্ছে, যা শিল্পমানের সঙ্গে গুরুত্বের সঙ্গে তুলনা করা যায়। AI infrastructure-এ, সেটাই একাই নজর রাখার মতো উন্নয়ন।

এই নিবন্ধটি The Decoder-এর রিপোর্টিং-এর ভিত্তিতে লেখা। মূল নিবন্ধ পড়ুন.