Sparse AI வன்பொருள், மாதிரிகளைச் சிறிதாக்காமல் ஆற்றல் பயன்பாட்டைக் குறைக்க முடியும்

AI திறன் மேம்பாட்டுக்கு ஒரு வேறு பாதை

AI மாதிரிகள் தொடர்ந்து பெரிதாகிக் கொண்டே போகும் நிலையில், தொழில் ஒரு பழக்கமான பரிமாற்றத்தை எதிர்கொண்டுள்ளது: பெரிய அமைப்புகள் பரந்த திறன்களை வழங்கினாலும், அவை அதிக ஆற்றல், அதிக நினைவகம், மற்றும் இயக்க அதிக நேரம் தேவைப்படுத்துகின்றன. இந்த செலவுகளை கட்டுப்படுத்த பல முயற்சிகள் மாதிரிகளை சிறிதாக்குவது அல்லது எண்ணியல் துல்லியத்தை குறைப்பது என்பதையே மையமாகக் கொண்டுள்ளன. ஆனால் ஒரு வேறு ஆய்வுத்துறை, சிறந்த பதில் பெரிய மாதிரிகளில் ஏற்கனவே மிகுதியாக உள்ள ஒரு பண்பை மையமாக வைத்து வன்பொருளை மறுவடிவமைப்பதாக இருக்கலாம் என்று வாதிடுகிறது: பூஜ்யங்கள்.

அந்த பண்பு sparsity என அழைக்கப்படுகிறது. பல நியூரல் நெட்வொர்க்களில், எடைகள் மற்றும் activations-களின் பெரும்பகுதி முழுமையாக பூஜ்யமாகவோ அல்லது பூஜ்யத்திற்கு மிக அருகிலோ இருக்கும்; அவற்றை துல்லிய இழப்பு இல்லாமல் பூஜ்யமாகக் கருதலாம். கோட்பாட்டில், அந்த குறைவான பகுதிகள் மிகப்பெரிய வாய்ப்பை வழங்குகின்றன. சிறிது கூட பயனளிக்காத மதிப்புகளை பெருக்கி கூட்டுவதற்கு ஆற்றலை செலவிடுவதற்குப் பதிலாக, ஒரு அமைப்பு அவற்றைத் தவிர்க்கலாம். நீண்ட பூஜ்ய தொடர்களை சேமிப்பதற்குப் பதிலாக, உண்மையில் முக்கியமான nonzero பகுதிகளைக் கவனிக்கலாம்.

பிரச்சினை என்னவென்றால், பொதுவான கணினி வன்பொருள் இந்த அமைப்பை இயல்பாகப் பயன்படுத்துவதில்லை. CPUs மற்றும் GPUs dense numerical work-க்கு சிறந்தவை; அங்கு ஒரு matrix-இல் உள்ள ஒவ்வொரு இடமும் முக்கியமானதாகக் கருதப்படுகிறது. Sparse computation கடினம், ஏனெனில் எதைத் தவிர்க்க வேண்டும், தேவையான மதிப்புகளை எவ்வாறு திறமையாகப் பெற வேண்டும், மற்றும் ஒழுங்கற்ற தரவை நிர்வகிப்பதில் overhead அதிகமாகி லாபங்கள் மறைந்து போகாமல் எப்படி தடுப்பது என்பதைக் கணினி அறிந்திருக்க வேண்டும்.

முழு stack மாற்றப்பட வேண்டும் என்று ஆராய்ச்சியாளர்கள் ஏன் நினைக்கிறார்கள்

ஸ்டான்போர்டு பொறியாளர்கள், sparsity-யை தீவிரமாக எடுத்துக்கொள்ள hardware, low-level firmware, மற்றும் software உள்ளிட்ட முழு stack-இல் மறுவடிவமைப்பு தேவைப்படும் என்கிறார்கள். அவர்களின் ஆராய்ச்சி குழு sparse மற்றும் பாரம்பரிய workloads இரண்டையும் திறமையாகக் கையாளக்கூடிய ஒரு chip-ஐ உருவாக்கியதாக தெரிவிக்கிறது; dense-computing assumptions-க்கு ஒட்டப்பட்ட ஒரு awkward special case போல அதை நடத்தவில்லை.

குழுவின் கூற்றுப்படி, பெறுபேறு குறிப்பிடத்தக்கது. அவர்கள் மதிப்பீடு செய்த workloads-ல், அந்த chip சராசரியாக ஒரு CPU-வின் ஆற்றலின் எழுபதிலொரு பங்கையே பயன்படுத்தியது, மேலும் கணக்கீடுகளை சராசரியாக சுமார் எட்டு மடங்கு வேகமாக முடித்தது. இந்த எண்கள் workload-ஐப் பொறுத்து மாறின, ஆனால் மையக் கோரிக்கை என்னவென்றால் sparse-native design உயர் திறன் மாதிரிகளைத் துறக்காமல் பெரிய நன்மைகளை வழங்க முடியும் என்பதுதான்.

இந்த முடிவு அளவில் தொடர்ந்தால், அது கல்வி benchmarking-ஐ விட வெகுதூரம் செல்லும். AI-யின் எதிர்காலம் algorithmic progress மட்டுமன்றி, power availability, cooling, carbon footprint, மற்றும் தொடர்ந்து பெரிதாகும் inference அமைப்புகளை இயக்கும் செலவு ஆகியவற்றால் மேலும் கட்டுப்படுகிறது. குறைந்த ஆற்றல் கணக்கீட்டிற்கான எந்த நம்பகமான பாதையும் மூலதன முக்கியத்துவம் கொண்டது.

சிறிய மாதிரிகளைக் காட்டிலும் sparsity என்ன வழங்குகிறது

Sparsity-யின் ஈர்ப்பு என்னவென்றால், அது மாதிரி அளவை அல்லது performance-ஐ விட்டுக்கொடுக்க வேண்டியதில்லை. சிறிய மாதிரிகள் மற்றும் lower-precision arithmetic செலவைக் குறைக்கலாம், ஆனால் அவை பெரும்பாலும் திறனை கட்டுப்படுத்துகின்றன. Sparsity இன்னொரு விருப்பத்தை முன்வைக்கிறது: மிகப் பெரிய மாதிரிகளை வைத்துக்கொள்ளுங்கள், ஆனால் மிகக் குறைந்த பங்களிப்பு தரும் பகுதிகளில் கணக்கீட்டை வீணாக்க வேண்டாம்.

இந்த யோசனை, முன்னணி நிறுவனங்கள் தொடர்ந்து பெரிய அமைப்புகளை வெளியிடும் நிலையில் மிகவும் தொடர்புடையது. Meta-வின் சமீபத்திய Llama release 2 trillion parameters-ஐ எட்டியதாக கட்டுரை குறிப்பிடுகிறது; scale எவ்வளவு வேகமாக ஆற்றல் தேவையை பெருக்குகிறது என்பதை இது காட்டுகிறது. அந்த parameters அல்லது அவற்றின் activations-இன் பெரிய பகுதி பயன்பாட்டில் பொருளற்றதாக இருந்தால், அவற்றை புத்திசாலித்தனமாகக் கையாளும் வன்பொருள் scale-இல் இருந்து பின்வாங்காமல் efficiency-யைத் திறக்க முடியும்.

நடைமுறையில், நன்மைகள் இவற்றை உள்ளடக்கலாம்:

• மாதிரி training அல்லது inference-க்கு குறைந்த ஆற்றல் பயன்பாடு
• Sparse workloads-க்கு குறைந்த runtime
• பூஜ்யங்களின் பெரிய தொகுதிகளைச் சேமிக்க வேண்டாம் என்பதால் குறைந்த memory burden
• பெரிய அளவிலான AI deployment-க்கு குறைந்த carbon footprint

இவை சிறிய மேம்பாடுகள் அல்ல. அவை நவீன AI-யின் பொருளாதாரத்துக்கும் சுற்றுச்சூழல் தக்கவைத்தலுக்கும் நேரடியாக தொடர்புடையவை.

Sparse computing-ஐ உண்மையாக மாற்றும் சவால்

Sparsity கருத்தியல் ரீதியாக பல ஆண்டுகளாக ஈர்ப்பைக் கொண்டிருந்தாலும், அதைச் செயல்படுத்துவது கடினம். Dense hardware ஒழுங்குமுறையில் சிறந்தது. Sparse data இயல்பாகவே ஒழுங்கற்றது. இதன் பொருள், வடிவமைப்பாளர்கள் indexing, routing, scheduling, மற்றும் memory access போன்ற பிரச்சினைகளைத் தீர்க்க வேண்டியுள்ளது; பல மதிப்புகள் இல்லாதபோது அவை மேலும் சிக்கலாகின்றன.

அதனால் தான் ஸ்டான்போர்டு குழு முழு-stack design-ஐ வலியுறுத்துகிறது. firmware மற்றும் software இன்னும் dense execution patterns-ஐ கருதினால், ஒரு தனித்த specialized accelerator போதாது. கருவிகள் sparse representations-ஐ புரிந்துகொள்ள வேண்டும், hardware அவற்றை திறமையாகச் செயலாக்க வேண்டும், மேலும் முழு அமைப்பும் “zeros-ஐத் தவிர்க்கவும்” என்பதை “zeros எங்கே இருக்கின்றன என்பதை அறிய நேரத்தை வீணாக்கவும்” என்பதாக மாற்றிவிடக் கூடாது.

இந்த systems perspective தான் இந்தப் பணியை குறிப்பிடத்தக்கதாக்குகிறது. இது sparsity-யை ஒரே algorithmic trick-ஆகக் காட்டவில்லை. AI workloads-ஐ இயந்திரங்களுக்கு எப்படி பொருத்துவது என்ற கட்டமைப்புச் சிந்தனையாக இதை முன்வைக்கிறது.

பெரிய AI buildout-க்கு இது ஏன் முக்கியம்

தொழிலின் உடனடி compute பசி மந்தமாவதாகத் தெரியவில்லை. சில நிபுணர்கள் எளிய scaling குறையும் பலன்களை அடைகிறது என்று வாதிட்டாலும், நிறுவனங்கள் இன்னும் பெரிய மாதிரிகளையும் அதிக விரிவான deployment-ஐயும் தொடர்ந்து நாடுகின்றன. இதனால் ஆற்றல் திறன் ஒரு இரண்டாம் நிலை பொறியியல் கவலை அல்ல, முதல்நிலை பிரச்சினையாக மாறுகிறது.

ஆய்வகத்திற்கு அப்பால் கிடைக்கும் நன்மைகள் உறுதியாக இருந்தால், sparse-native hardware மிக முக்கியமான பதில்களில் ஒன்றாக மாறலாம். இது advanced மாதிரிகளை நடைமுறையில் வைத்திருக்கும்போதே power draw-ஐயும் runtime-ஐயும் குறைக்கும் வழியை வழங்கும். அதனால் இவற்றில் தாக்கம் இருக்கும்:

• தரவு மைய வடிவமைப்பு மற்றும் செயல்பாட்டு செலவுகள்
• பெரிய மாதிரிகளை அளவில் சேவை செய்யும் சாத்தியக்கூறு
• கடுமையான power limits உடைய edge அல்லது embedded AI systems
• AI வளர்ச்சியைச் சுற்றிய காலநிலை மற்றும் உட்கட்டமைப்பு விவாதங்கள்

முக்கியமாக, எதிர்கால மாதிரிகள் எப்படிக் கட்டப்படுகின்றன என்பதையும் இது வடிவமைக்கக்கூடும். hardware sparsity-க்கு நேரடியாகப் பரிசளிக்கத் தொடங்கியவுடன், model designers architectures மற்றும் training methods-ஐ மேலும் sparsity வெளிப்படும் வகையில் மேம்படுத்தலாம்.

யதார்த்தமான ஆனால் முக்கியமான முன்னேற்றம்

வலுவான research முடிவுகளுக்கும் பிரதானப் பயன்பாட்டிற்கும் இடையில் இன்னும் பெரிய இடைவெளி உள்ளது. தற்போதைய AI infrastructure, dense computation-ஐ மையமாகக் கொண்ட GPUs மற்றும் software ecosystems-இல் ஆழமாக முதலீடு செய்துள்ளது. புதிய hardware வேலை செய்கிறது என்பதைக் காட்டுவதோடு, அது integrate ஆகிறது, scale ஆகிறது, மற்றும் switching costs-ஐ நியாயப்படுத்துகிறது என்பதையும் நிரூபிக்க வேண்டும்.

அதைக் கடந்து, இந்த ஆய்விலிருந்து வரும் வாதத்தை புறக்கணிப்பது கடினம். பெரிய AI மாதிரிகளில் பாரம்பரிய முறையில் செயலாக்கத் தேவையில்லாத மதிப்புகள் நிறைந்திருந்தால், தற்போதைய hardware stack உண்மையான efficiency-யை மேசையில் விட்டுவிடுகிறது. Sparse computing அந்த inefficiency-யை ஒரு design target-ஆக மாற்றுகிறது.

AI முன்னேற்றம் benchmark scores போலவே energy limits-க்கும் எதிராக அளக்கப்படும் இந்த நேரத்தில், இது துறையின் முக்கியமான engineering targets-இல் ஒன்றாக இருக்கலாம். சக்திவாய்ந்த AI-யின் எதிர்காலம் பெரிய மாதிரிகளை நீக்குவதைக் காட்டிலும், அவை பயன்படுத்தாததை இறுதியாக கணக்கிடுவதை நிறுத்தக் கற்றுக்கொள்வதிலேயே அதிகமாக சார்ந்திருக்கலாம்.

இந்தக் கட்டுரை IEEE Spectrum இன் செய்திப்பதிவை அடிப்படையாகக் கொண்டது. மூலக் கட்டுரையைப் படிக்கவும்.