Google local AI को बहुत छोटे form factor में ला रहा है

Google ने एक नया Coral Board पेश किया है, जिसे AI workloads को कॉम्पैक्ट डिवाइसों पर सीधे चलाने के लिए डिज़ाइन किया गया है, बजाय इसके कि उन कार्यों को वापस cloud पर भेजा जाए। Google I/O में अनावरण किया गया यह बोर्ड कंपनी के Coral ecosystem के आसपास बनाया गया है और headphones, AR glasses, और smartwatches जैसे उत्पादों को ध्यान में रखकर तैयार किया गया है, जहां latency, connectivity, और power constraints on-device processing को विशेष रूप से मूल्यवान बनाते हैं।

मुख्य दावा सीधा है: Google का कहना है कि यह बोर्ड अपने open-source Gemma 3 270M language model को पूरी तरह local रूप से चला सकता है। इससे यह hardware raw scale से कम और इस बात से अधिक महत्वपूर्ण हो जाता है कि यह क्या दर्शाता है। Edge AI अक्सर fragmented accelerators, सीमित memory budgets, और उपयोगी models को छोटे systems पर फिट करने की व्यावहारिक कठिनाई से सीमित रही है। Google Coral Board को इस समस्या के लिए एक अधिक सुसंगत जवाब के रूप में पेश कर रहा है।

Hardware में क्या शामिल है

बोर्ड के केंद्र में एक Synaptics Astra SL2619 chip है, जिसमें 2 GHz dual-core processor, 2 GB RAM, और 1 TOPS compute क्षमता है। Google का कहना है कि बोर्ड में Coral NPU भी शामिल है, जो RISC-V architecture पर आधारित एक open-source machine learning unit है और Google Research द्वारा विकसित की गई है।

ये specifications इस डिवाइस को उस श्रेणी में रखते हैं जहां headline performance से अधिक efficiency और integration मायने रखते हैं। Google बोर्ड को desktop-class AI machine के रूप में पेश नहीं कर रहा है। वह इसे ऐसे hardware के लिए developer-friendly building block के रूप में पेश कर रहा है जिसे audio, vision, या text को स्वयं device पर interpret करने की जरूरत होती है।

Local inference क्यों महत्वपूर्ण है

Gemma 3 को local रूप से चलाने का मतलब है कि डिवाइस कुछ कार्यों को persistent cloud connection के बिना संभाल सकता है। इससे latency कम हो सकती है, responsiveness बेहतर हो सकती है, और network reliability पर निर्भरता घट सकती है। इससे कुछ applications की cost dynamics भी बदलती है, क्योंकि हर बार जब कोई user बोलता है, gesture करता है, या translation मांगता है, inference को किसी remote service पर route करने की आवश्यकता नहीं रहती।

Google के अपने demonstrations इसी दिशा की ओर इशारा करते हैं। I/O में, कंपनी ने real-time translation, voice-controlled hardware, और एक generative music setup दिखाया, जिसमें YOLOv8 vision model ने jellyfish की movement को track किया और उसे music में बदला। ये सभी उदाहरण दिखाने के लिए हैं कि यह board सिर्फ model demos के लिए नहीं, बल्कि interactive systems के लिए है जो sensors, inference, और output को real time में जोड़ते हैं।

Accelerator fragmentation को कम करने की कोशिश

Google के विवरण का एक दिलचस्प हिस्सा AI accelerators के बीच fragmentation के लिए इसे समाधान के रूप में प्रस्तुत करना है। यह wearables, smart devices, और embedded systems जैसी श्रेणियों में उत्पाद बनाने वाले developers के लिए एक वास्तविक बाधा है। Models सिद्धांत में फिट हो सकते हैं, लेकिन deployment अक्सर incompatible toolchains, hardware quirks, और सीमित vendor support के कारण अटक जाता है।

एक open-source NPU approach को एक ज्ञात model family और public demos के साथ जोड़कर, Google edge stack को अधिक पूर्ण दिखाने की कोशिश कर रहा है। इससे thermal limits, battery use, या memory ceilings से जुड़े कठिन tradeoffs खत्म नहीं हो जाते। लेकिन यह local AI को एक showcase feature से एक repeatable development path में बदलने के प्रति एक अधिक गंभीर push का संकेत देता है।

Developers के लिए इसका क्या मतलब है

उम्मीद है कि यह board इस summer में ship होगा, हालांकि Google ने pricing की घोषणा नहीं की है। इससे एक बड़ा व्यावहारिक सवाल अभी खुला रहता है। Small-device AI hardware को इतना सस्ता, accessible, और program करने में आसान होना चाहिए कि वह prototypes से आगे बढ़ सके।

फिर भी, यह product edge AI की दिशा के बारे में एक महत्वपूर्ण बात कहता है। एक साल पहले, AI hardware पर अधिकांश चर्चाएं लगभग पूरी तरह giant clusters और data centers पर केंद्रित थीं। market का वह हिस्सा अभी भी dominant है। लेकिन Google का नया board इस बात की याद दिलाता है कि AI buildout का एक और front भी है: छोटे devices को इतनी local intelligence देना कि वे cloud inference पर लगातार निर्भर हुए बिना अधिक autonomous और अधिक उपयोगी बन सकें।

क्या सबसे अलग दिखता है

  • Gemma 3 270M board पर cloud support के बिना चलता है।
  • Hardware glasses, headphones, और wearables जैसे compact products को target करता है।
  • Google board को fragmented accelerator choices के बीच edge AI development को सरल बनाने के तरीके के रूप में पेश कर रहा है।

यदि platform affordable है और software stack stable है, तो Coral Board एक demo unit से कहीं अधिक बन सकता है। यह AI की दिशा में एक व्यावहारिक कदम हो सकता है जो everyday devices के भीतर रहता है, बजाय इसके कि उसे हमेशा घर वापस call करना पड़े।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.

Originally published on the-decoder.com