News
Bellek Neden Yapay Zeka Altyapısında Gerçek Darboğaz Haline Geliyor
Yapay Zeka modelleri büyüdükçe ve çıkarım talebi arttıkça, endüstri GPU kıtlığından bellek kısıtlamalarına odaklanmasını kaydırmaktadır. SK hynix, Samsung ve Micron tarafından sağlanan Yüksek Bant Genişliği Belleği (HBM), Yapay Zeka altyapısında kritik ve giderek daha pahalı bir bileşen haline gelmektedir.
Key Takeaways
- Yüksek Bant Genişliği Belleği (HBM) bir Yapay Zeka hızlandırıcısının maliyetinin yüzde 30-40'ını temsil edebilir ve altyapı harcamaları payı olarak artmaktadır
- Yalnızca üç şirket—SK hynix, Samsung ve Micron—HBM üretmekte, fiyat artışıyla bir arz oligopolü yaratmaktadır
- Çıkarım talebi, eğitim değil, Yapay Zeka uygulamaları milyonlarca kullanıcıya ölçeklendikçe bellek tüketiminin birincil itici gücüdür
- Yeni kapasitenin inşası yıllar alır ve bu durum GPU kullanılabilirliği iyileşse bile bellek kısıtlamalarının devam edeceği anlamına gelir
- Kuantilenme ve uzman mimarisi karışımı gibi teknikler, bellek maliyeti baskılarına doğrudan yanıtlardır
DE
DT Editorial AI··via techcrunch.com