Google యొక్క Coral Board చిన్న పరికరాల AIని edge వైపు మరింత ముందుకు నెట్టుతోంది

Google local AIని చాలా చిన్న form factorకి తీసుకొస్తోంది

Cloudకు ఆ పనులను తిరిగి పంపడం బదులు, compact devicesపై నేరుగా AI workloadsను రన్ చేయడానికి రూపొందించిన కొత్త Coral Boardను Google పరిచయం చేసింది. Google I/Oలో వెల్లడించిన ఈ board, company యొక్క Coral ecosystem చుట్టూ నిర్మించబడింది మరియు headphones, AR glasses, smartwatches వంటి productsను లక్ష్యంగా పెట్టుకుంది; ఇక్కడ latency, connectivity, power constraints కారణంగా on-device processing ప్రత్యేకంగా విలువైనది.

ప్రధాన వాదన సరళమైనది: ఈ board తన open-source Gemma 3 270M language modelను పూర్తిగా localగా రన్ చేయగలదని Google చెబుతోంది. అందువల్ల ఈ hardware raw scale కంటే అది ఏం సూచిస్తుందో దానికి ఎక్కువ ప్రాధాన్యం పొందుతోంది. Edge AI తరచుగా fragmented accelerators, కఠినమైన memory budgets, మరియు ఉపయోగకరమైన modelsను చిన్న systemsపై సరిపెట్టే ప్రాక్టికల్ కష్టాల వల్ల పరిమితమైంది. Coral Boardను ఆ సమస్యకు మరింత సుసంపన్నమైన సమాధానంగా Google ప్రస్తావిస్తోంది.

Hardwareలో ఏముంది

Board కేంద్రంలో Synaptics Astra SL2619 chip ఉంది; ఇందులో 2 GHz dual-core processor, 2 GB RAM, మరియు 1 TOPS compute ఉన్నాయి. Boardలో Coral NPU కూడా ఉందని Google చెబుతోంది; ఇది RISC-V architecture ఆధారంగా ఉన్న open-source machine learning unit, Google Research ద్వారా అభివృద్ధి చేయబడింది.

ఈ specifications, headline performance కంటే efficiency మరియు integration ముఖ్యమైన వర్గంలో ఈ deviceను ఉంచుతాయి. Google ఈ boardను desktop-class AI machineగా స్థానం చేయడం లేదు. బదులుగా, audio, vision, లేదా textను deviceపైనే interpret చేయాల్సిన hardware కోసం developer-friendly building blockగా దీనిని స్థానం చేస్తోంది.

Local inference ఎందుకు ముఖ్యము

Gemma 3ను localగా రన్ చేయడం అంటే persistent cloud connection లేకుండానే కొన్ని పనులను ఒక device నిర్వహించగలదని అర్థం. ఇది latencyను తగ్గించగలదు, responsivenessను మెరుగుపరచగలదు, మరియు network reliabilityపై ఆధారాన్ని తగ్గించగలదు. అలాగే కొన్ని applicationsలో cost dynamicsను కూడా మారుస్తుంది, ఎందుకంటే user మాట్లాడిన ప్రతిసారీ, gesture చేసిన ప్రతిసారీ, లేదా translation కోరిన ప్రతిసారీ inferenceను remote serviceకు route చేయాల్సిన అవసరం ఉండదు.

Google తన demonstrations కూడా అదే దిశను సూచిస్తున్నాయి. I/Oలో, company real-time translation, voice-controlled hardware, మరియు YOLOv8 vision model jellyfish movementను track చేసి దాన్ని musicగా మార్చిన generative music setupను చూపించింది. ఈ ఉదాహరణలన్నీ, ఈ board కేవలం model demos కోసం మాత్రమే కాదని, sensors, inference, మరియు outputను real timeలో కలిపే interactive systems కోసం కూడా ఉద్దేశించబడిందని చూపించడానికి ఉన్నాయి.

Accelerator fragmentationను తగ్గించే ప్రయత్నం

Google వివరణలో ఆసక్తికరమైన భాగాల్లో ఒకటి, AI accelerators మధ్య fragmentationకు ఇది పరిష్కారమని framing చేయడం. Wearables, smart devices, embedded systems వంటి వర్గాల్లో products నిర్మించడానికి ప్రయత్నించే developersకు ఇది నిజమైన అడ్డంకి. Models సిద్ధాంతపరంగా సరిపోవచ్చు, కానీ deployment చాలాసార్లు incompatible toolchains, hardware quirks, మరియు పరిమిత vendor support కారణంగా విఫలమవుతుంది.

Open-source NPU approachను తెలిసిన model family మరియు public demosతో కలిపి, edge stackను మరింత సంపూర్ణంగా చూపించడానికి Google ప్రయత్నిస్తున్నట్లు కనిపిస్తోంది. ఇది thermal limits, battery use, లేదా memory ceilings చుట్టూ ఉన్న కఠిన tradeoffsను తొలగించదు. కానీ local AIని ఒక showcase feature నుంచి పునరావృతం చేయగల development pathగా మార్చాలనే మరింత గంభీరమైన ప్రయత్నాన్ని ఇది సూచిస్తుంది.

Developersకు దీని అర్థం ఏమిటి

ఈ board ఈ summerలో ship అవుతుందని భావిస్తున్నారు, అయితే ధరను Google ప్రకటించలేదు. దాంతో ఒక పెద్ద ప్రాక్టికల్ ప్రశ్న ఇంకా మిగిలే ఉంది. Small-device AI hardware prototypesను మించి వెళ్లేంత చౌకగా, అందుబాటులో, మరియు program చేయడానికి సులభంగా ఉండాలి.

అయినా, ఈ product edge AI ఏ దిశగా సాగుతోందో ఒక ముఖ్యమైన విషయాన్ని చెబుతోంది. ఒక సంవత్సరం క్రితం, AI hardware గురించి చాలా చర్చలు దాదాపు పూర్తిగా giant clusters మరియు data centersపై కేంద్రీకృతమై ఉండేవి. మార్కెట్‌లో ఆ భాగమే ఇంకా ఆధిపత్యం వహిస్తోంది. కానీ Google కొత్త board, AI buildoutలో మరో front కూడా ఉందని గుర్తు చేస్తోంది: cloud inferenceపై నిరంతరం ఆధారపడకుండా, చిన్న devicesకు సరిపడా local intelligence ఇచ్చి వాటిని మరింత autonomousగా మరియు ఉపయోగకరంగా మార్చడం.

ఏం ప్రత్యేకంగా కనిపిస్తోంది

• Gemma 3 270M boardలో cloud support లేకుండానే రన్ అవుతుంది.
• Hardware glasses, headphones, మరియు wearables వంటి compact productsను లక్ష్యంగా పెట్టుకుంది.
• Fragmented accelerator choices మధ్య edge AI developmentను సులభతరం చేయడానికి ఈ boardను Google framing చేస్తోంది.

Platform affordableగా, software stack stableగా ఉంటే, Coral Board ఒక demo unit కంటే ఎక్కువగా మారవచ్చు. అది everyday devicesలో నివసించే AI వైపు ఒక practical stepగా నిలవచ్చు, ఎప్పుడూ homeకు call చేయాల్సిన అవసరం లేని AIగా.

ఈ వ్యాసం The Decoder అందించిన నివేదిక ఆధారంగా రూపొందించబడింది. మూల వ్యాసాన్ని చదవండి.