Nvidia యొక్క PAIR ఇంటి PCలను స్థానిక AI క్లస్టర్‌గా మార్చాలని లక్ష్యంగా పెట్టుకుంది

స్థానిక AI పనుల కోసం ఒక router layer

డెవలపర్లకు మరియు power users‌కు విస్తృత ఆకర్షణ కలిగించగల ఒక సాధారణ ఆలోచనను Nvidia ముందుకు తెస్తోంది: సామర్థ్యం ఉన్న యంత్రాలతో నిండిన ఇంటి network, విడివిడిగా ఉన్న కంప్యూటర్ల గుదిగుచ్చు కంటే చిన్న local compute cluster‌లా ప్రవర్తించాలి. కంపెనీ కొత్త PAIR tool, అంటే Personal AI Router, ఒకే networkలో ఉన్న అనుకూల పరికరాల మధ్య స్థానిక AI requests‌ను స్వయంచాలకంగా పంచడం ద్వారా దీనిని సాధ్యం చేయడానికి రూపొందించబడింది.

ఇచ్చిన source text ప్రకారం, PAIR అనేది Ollama లేదా LM Studio వంటి ఉన్న local AI tools మరియు వినియోగదారుడికి అందుబాటులో ఉన్న computers మధ్యలో ఉంటుంది. ఒక application లేదా agent‌ను ఒకే machine‌పై ఆధారపడేలా చేయడం బదులు, ఈ software virtual router‌లా పనిచేస్తుంది. అది పనిని ఖాళీగా ఉన్న machines‌కు పంపి, తరువాత ఫలితాలను calling application‌కు తిరిగి ఇస్తుంది. అదనపు capacityని ఉపయోగించుకోవడానికి వినియోగదారులు తమ agents లేదా apps‌ను మళ్లీ రాయాల్సిన అవసరం లేదని Nvidia చెప్పుతోంది.

ఆ design choice ఈ ప్రకటనలో ప్రధాన అంశం. local AI మరింత సామర్థ్యం పొందింది, కానీ అది ఇంకా uneven hardware, ఎక్కువ వేచిచూపు సమయం, మరియు అనేక systems‌ను చేతితో సమన్వయం చేయాల్సిన అసౌకర్యం వల్ల పరిమితమవుతోంది. సాంకేతికంగా ఆసక్తి ఉన్న చాలా మంది వినియోగదారుల వద్ద ఇప్పటికే ఉపయోగకరమైన AI horsepower ఉన్న ఒకటి కంటే ఎక్కువ పరికరాలు ఉన్నాయి: recent GeForce card ఉన్న desktop, ఒక laptop, ఒక workstation, లేదా కొత్త Apple silicon machine. ఈ విడివిడిగా ఉన్న ఆస్తులను ఒక coordinated pool‌గా మార్చడమే PAIR లక్ష్యం.

Nvidia ఒక అవకాశం ఎందుకు చూస్తోంది

local AI market ఇప్పుడు orchestration అనేది కేవలం access కంటే ఎక్కువగా ఒక practical problem‌గా మారేంత వరకు ఎదిగింది. పెరుగుతున్న వినియోగదారులు models‌ను on-device‌గా నడపగలుగుతున్నారు, కానీ ఒక machine‌పై ఒక model నడపడం మరియు parallel execution‌తో లాభపడే concurrent agent work లేదా multi-step AI tasks‌ను నిర్వహించడం వేరు. ఇది ముఖ్యంగా agent-style workflows ఎక్కువ అవుతున్నప్పుడు, ఒక పని అనేక subtasks‌గా విడిపోవచ్చని సందర్భంలో మరింత ప్రాసంగికం.

source material ఆ నిర్దిష్ట use case‌ను హైలైట్ చేస్తోంది. Nvidia framingలో, PAIR అందుబాటులో ఉన్న devices అంతటా requests‌ను పంచి wait times‌ను తగ్గించడం ద్వారా parallel agent tasks‌కు సహాయపడుతుంది. పేర్కొన్న demoలో, ఐదు subagents ఉన్న ఒక task‌పై మూడు-device cluster‌ను single laptopతో పోల్చారు. మూడు-machine setup ఆ పనిని కేవలం తొమ్మిది నిమిషాల కంటే కొద్దిగా తక్కువ సమయంలో పూర్తి చేసినట్టు, single deviceపై 18 నిమిషాలు పట్టినట్టు చెప్పారు. ఒక demo universal benchmark కాకపోయినా, parallelizable workloads‌పై చిన్న local clusters కూడా latencyని తగ్గించగలవని ఇది చూపిస్తుంది.

ఇది ముఖ్యమైనది ఎందుకంటే local AI వినియోగదారులు తరచుగా privacy మరియు performance మధ్య tradeoffను ఎదుర్కొంటారు. workloads‌ను on-device‌లో ఉంచడం cost control, data handling, offline use, లేదా experimentation కోసం ఆకర్షణీయంగా ఉంటుంది. కానీ local setups‌కు cloud services అందించే elastic infrastructure సాధారణంగా ఉండదు. PAIR అనేది homes, labs, మరియు offices లో distributed-systems engineer‌గా మారమని అడగకుండా, data-center ప్రవర్తనలోని చిన్న భాగాన్ని తిరిగి సృష్టించే ప్రయత్నం.

సాఫ్ట్‌వేర్ వాస్తవానికి ఏమి చేస్తుంది

PAIR పాత్రను model hosting కంటే orchestrationగా వివరిస్తున్నారు. ఇది front-end tools మరియు networkకి కలుపుకున్న machines మధ్య ఉంటుంది, అనుకూల పరికరాలను auto-detect చేస్తుంది, మరియు requests‌ను ఖాళీగా ఉన్న hardwareకు route చేస్తుంది. అంటే ప్రధాన విలువ కొత్త model లేదా కొత్త interface కాదు, కానీ వినియోగదారులు ఇప్పటికే కలిగి ఉన్న hardware‌ను ఉపయోగించగల coordination layer.

ఈ స్థానం, మరింత జోక్యం చేసే platform కంటే tool‌ను సులభంగా స్వీకరించదగినదిగా చేయవచ్చు. వినియోగదారుడి ప్రస్తుత stack ఇప్పటికే Ollama, LM Studio, లేదా ఇలాంటి local tooling‌పై ఆధారపడి ఉంటే, PAIR‌ను replacementగా కాక insertion point‌గా చూపిస్తున్నారు. వాస్తవంలో, ఇది migration friction‌ను తగ్గిస్తుంది. వినియోగదారులు తమ agents లేదా applications‌ను మార్చాల్సిన అవసరం లేదని ఈ ప్రకటన ప్రత్యేకంగా చెబుతోంది, ఇది పనిచేస్తున్న local setups‌ను తిరిగి తీర్చిదిద్దడానికి developers ఎంత నిరాకరించగలరో Nvidiaకు తెలుసునని బలమైన సంకేతం.

Security కూడా ఈ పిచ్‌లో భాగమే. ఇచ్చిన text ప్రకారం, machines మధ్య traffic mutual TLS encryptionతో secure చేయబడుతుంది. local networkపై requests మరియు results‌ను కదిలించడమే ప్రధాన పని అయిన productకు ఇది చిన్న విషయం కాదు. ఇది Nvidia PAIR‌ను కేవలం hobbyist experimentగా కాక, అనేక machines workloads‌ను పంచుకునే మరింత serious environments‌లో నమ్మదగిన toolగా స్థానం కల్పిస్తోంది అని సూచిస్తుంది.

హార్డ్‌వేర్ పరిమితి

PAIR open source అయినప్పటికీ, broadest senseలో hardware-agnostic కాదు. source‌లో పేర్కొన్న supported listలో 20 series నుంచి GeForce RTX cards, RTX Pro workstations, DGX Spark, అలాగే M4 generation నుంచి మొదలయ్యే Apple silicon ఉన్నాయి. ఈ compatibility range రెండు కారణాల వల్ల ముఖ్యమైనది.

మొదటిది, ఇది సంప్రదాయ Nvidia desktop GPUsని దాటి Apple siliconను కూడా కలుపుతుంది; ఇది heterogeneous local AI setups ఇప్పటికే ఉన్న చోట Nvidia చేరాలనుకుంటోందని సూచిస్తుంది. రెండవది, ఇది Nvidia యొక్క broader ecosystem strategyని ఇంకా బలపరుస్తుంది. ఒక tool open sourceగా మరియు అనేక devicesపై పనిచేయడానికి రూపొందించబడినా, ఆ tool యొక్క utility వినియోగదారుడి Nvidia-class compute మరియు local acceleration-centered workflowsతో సంబంధాన్ని మరింత లోతుగా చేయగలదు.

source text ఈ పెద్ద strategic point‌ను స్పష్టంగా చెబుతోంది, open AIని తన hardwareతో మరింత దగ్గరగా బంధించాలన్న Nvidia ప్రయత్నంలో PAIR భాగమని వాదిస్తోంది. ఇది dominant pattern‌గా మారుతుందా అనేది software‌ను deploy చేయడం ఎంత సులభం, అది workloads‌ను ఎంత నమ్మకంగా balance చేస్తుంది, మరియు mixed-device home networks యొక్క గందరగోళ వాస్తవాలను ఎంత బాగా నిర్వహిస్తుంది అన్నదానిపై ఆధారపడి ఉంటుంది. కానీ దిశ స్పష్టంగా ఉంది: Nvidia local AI usersను isolated endpoints కాక clustersగా ఆలోచించమని కోరుతోంది.

consumer-scale infrastructure వైపు ఒక అడుగు

PAIR ఆసక్తికరంగా ఉండటానికి కారణం అది distributed computingను ఆవిష్కరించడం కాదు. బదులుగా, దాన్ని ప్రత్యక్షంగా నిర్వహించదలచని కానీ మరింతగా అవసరమయ్యే ఒక user class కోసం distributed compute యొక్క ఒక రూపంగా ప్యాకేజీ చేయడం. ఆ user classలో local models నడిపే developers, అనేక machinesపై workflowsను పరీక్షించే researchers, మరియు agent systems‌తో ప్రయోగాలు చేసే advanced consumers ఉన్నారు.

PAIR వివరణ ప్రకారం పనిచేస్తే, local AI కోసం ఒక కొత్త mental modelను సాధారణం చేయడంలో ఇది సహాయపడుతుంది: ఒక household లేదా చిన్న officeలో compute యొక్క ఉపయోగకరమైన unit ఇక single box కాదు, networkలో ఉన్న ప్రతి అనుకూల machine యొక్క సమిష్టి అన్న ఆలోచన. ఇది cloud infrastructureను భర్తీ చేయదు, అలాగే consumer hardware మరియు dedicated data-center systems మధ్య performance తేడాలను తొలగించదు. కానీ మరిన్ని local workflowsను సాధ్యంగా చేయడానికి ఆ gap‌ను తగ్గించగలదు.

beta Windows, macOS, మరియు Linux కోసం అందుబాటులో ఉంది, దీని ద్వారా ప్రాజెక్ట్ మొదటి నుంచే విస్తృత operating-system footprint‌ను పొందుతోంది. పెద్ద ప్రశ్న Nvidia ఈ accessibilityని నిజమైన local AI standard layer‌గా మార్చగలదా అన్నదే. ఇప్పటికి, ఈ ప్రకటన ఇప్పటికే సాగుతున్న market transitionను సూచిస్తోంది: local AI ఒక machine‌పై solitary inference నుండి అనేక machines across coordinated workloads వైపు కదులుతోంది.

• PAIR అనుకూల పరికరాలపై స్థానిక AI requests‌ను home network అంతటా పంచుతుంది.
• ఈ tool Ollama మరియు LM Studio వంటి ఉన్న local AI software‌తో పనిచేయడానికి రూపొందించబడింది.
• దీన్ని ఉపయోగించడానికి వినియోగదారులు తమ agents లేదా apps‌ను మార్చాల్సిన అవసరం లేదని Nvidia అంటోంది.
• beta Windows, macOS, మరియు Linuxలో అందుబాటులో ఉంది, machines మధ్య traffic MTLSతో secure చేయబడుతుంది.

ఈ వ్యాసం The Decoder నివేదికపై ఆధారపడింది. మూల వ్యాసాన్ని చదవండి.