Google-এর Coral Board ছোট ডিভাইসের AI-কে আরও edge-এ ঠেলে দিচ্ছে

Google local AI-কে আরও ছোট form factor-এ আনছে

Cloud-এ এই কাজগুলো ফেরত পাঠানোর বদলে compact devices-এ সরাসরি AI workloads চালানোর জন্য ডিজাইন করা একটি নতুন Coral Board Google উন্মোচন করেছে। Google I/O-তে প্রকাশিত এই boardটি কোম্পানির Coral ecosystem-এর ওপর ভিত্তি করে তৈরি এবং headphones, AR glasses, ও smartwatches-এর মতো products-কে লক্ষ্য করে, যেখানে latency, connectivity, ও power constraints on-device processing-কে বিশেষভাবে মূল্যবান করে তোলে।

মূল দাবি খুবই সরল: Google বলছে boardটি তার open-source Gemma 3 270M language model পুরোপুরি local-ভাবেই চালাতে পারে। ফলে hardwareটি raw scale-এর চেয়ে বেশি গুরুত্বপূর্ণ হয়ে ওঠে এই কারণে যে এটি কী প্রতিনিধিত্ব করে। Edge AI-কে অনেক সময় fragmented accelerators, সীমিত memory budgets, এবং ছোট systems-এ কার্যকর models বসানোর বাস্তব জটিলতা আটকে রেখেছে। Google Coral Board-কে সেই সমস্যার একটি আরও সুসংহত উত্তর হিসেবে তুলে ধরছে।

Hardware-এ কী আছে

Board-এর কেন্দ্রে রয়েছে একটি Synaptics Astra SL2619 chip, যেখানে 2 GHz dual-core processor, 2 GB RAM, এবং 1 TOPS compute আছে। Google বলছে boardটিতে Coral NPU-ও রয়েছে, যা RISC-V architecture-ভিত্তিক একটি open-source machine learning unit এবং Google Research দ্বারা উন্নত।

এই specifications ডিভাইসটিকে এমন একটি শ্রেণিতে রাখে, যেখানে headline performance-এর চেয়ে efficiency ও integration বেশি গুরুত্বপূর্ণ। Google boardটিকে desktop-class AI machine হিসেবে উপস্থাপন করছে না। বরং audio, vision, বা text device-এর মধ্যেই interpret করার প্রয়োজন আছে এমন hardware-এর জন্য এটিকে developer-friendly building block হিসেবে উপস্থাপন করছে।

Local inference কেন গুরুত্বপূর্ণ

Gemma 3-কে localভাবে চালানো মানে একটি device persistent cloud connection ছাড়াই কিছু কাজ সামলাতে পারে। এতে latency কমতে পারে, responsiveness বাড়তে পারে, এবং network reliability-এর ওপর নির্ভরতা কমে। পাশাপাশি কিছু application-এর cost dynamics-ও বদলে যায়, কারণ ব্যবহারকারী কথা বললেই, gesture করলেই, বা translation চাইলে প্রতিবার inference-কে remote service-এ পাঠাতে হয় না।

Google-এর নিজস্ব demonstrations এই দিকেই ইঙ্গিত করে। I/O-তে কোম্পানি real-time translation, voice-controlled hardware, এবং একটি generative music setup দেখিয়েছে, যেখানে YOLOv8 vision model jellyfish-এর movement track করে তা music-এ রূপান্তর করে। এই সব উদাহরণ দেখানোর উদ্দেশ্য, boardটি শুধু model demo-এর জন্য নয়, বরং sensors, inference, এবং output-কে real time-এ মিলিয়ে দেওয়া interactive systems-এর জন্যও।

Accelerator fragmentation কমানোর চেষ্টা

Google-এর বর্ণনার সবচেয়ে আকর্ষণীয় অংশগুলোর একটি হলো AI accelerators-এর fragmentation-এর জন্য এটিকে একটি সমাধান হিসেবে উপস্থাপন করা। Wearables, smart devices, ও embedded systems-এর মতো category-তে products বানাতে চাওয়া developers-এর জন্য এটি একটি বাস্তব বাধা। Models তত্ত্বগতভাবে মানিয়ে যেতে পারে, কিন্তু deployment প্রায়ই incompatible toolchains, hardware quirks, এবং সীমিত vendor support-এর কারণে ভেঙে পড়ে।

একটি open-source NPU approach-কে পরিচিত model family এবং public demos-এর সঙ্গে যুক্ত করে Google edge stack-টিকে আরও সম্পূর্ণ দেখানোর চেষ্টা করছে। এতে thermal limits, battery use, বা memory ceilings-এর কঠিন tradeoffs দূর হয় না। তবে এটি local AI-কে একটি showcase feature থেকে repeatable development path-এ রূপান্তর করার আরও সিরিয়াস প্রচেষ্টার ইঙ্গিত দেয়।

Developers-এর জন্য এর মানে কী

প্রত্যাশা করা হচ্ছে boardটি এই summer-এ ship হবে, যদিও Google এখনো pricing ঘোষণা করেনি। এতে সবচেয়ে বড় practical প্রশ্নগুলোর একটি এখনও খোলা থাকে। Small-device AI hardware-কে যথেষ্ট সস্তা, সহজলভ্য, এবং প্রোগ্রাম করা সহজ হতে হবে, যাতে তা prototype-এর বাইরে যেতে পারে।

তবুও, এই product edge AI কোন দিকে যাচ্ছে তা নিয়ে গুরুত্বপূর্ণ কিছু বলে। এক বছর আগে, AI hardware নিয়ে অনেক আলোচনা প্রায় পুরোপুরি giant clusters ও data centers ঘিরে ছিল। বাজারের সেই অংশ এখনও প্রভাবশালী। কিন্তু Google-এর নতুন board মনে করিয়ে দেয়, AI buildout-এর আরেকটি front আছে: ছোট devices-কে যথেষ্ট local intelligence দেওয়া, যাতে তারা cloud inference-এর ওপর ক্রমাগত ভরসা না করে আরও autonomous ও কার্যকর হতে পারে।

যা বিশেষভাবে চোখে পড়ে

• Gemma 3 270M cloud support ছাড়াই board-এ চলে।
• Hardware glasses, headphones, ও wearables-এর মতো compact products-কে লক্ষ্য করে।
• Fragmented accelerator choices-এর মধ্যে edge AI development সহজ করতে Google boardটিকে উপস্থাপন করছে।

Platform affordable এবং software stack stable হলে, Coral Board একটি demo unit-এর চেয়ে বেশি কিছু হয়ে উঠতে পারে। এটি everyday devices-এর ভেতরে বসবাসকারী AI-র দিকে একটি practical পদক্ষেপ হতে পারে, যা সবসময় home-এ call করতে বাধ্য নয়।

এই নিবন্ধটি The Decoder-এর রিপোর্টিং-এর ভিত্তিতে লেখা হয়েছে। মূল নিবন্ধ পড়ুন.