
News
メモリがAIインフラストラクチャの真の制約になりつつある理由
AIモデルが大きくなり、推論需要が拡大する中、業界の焦点がGPUの不足からメモリ制約へと移行しています。SK hynix、Samsung、Micronの高帯域幅メモリ(HBM)は、AIインフラストラクチャにおける重要で、かつますます高価になるコンポーネントとして浮上しています。
Key Takeaways
- 高帯域幅メモリ(HBM)はAIアクセラレーターのコストの30~40%を占めることができ、インフラストラクチャ支出のシェアとして成長しています
- SK hynix、Samsung、Micronの3社だけがHBMを製造しており、供給オリゴポリーが形成され、価格が上昇しています
- 推論需要(トレーニングではなく)は、AIアプリケーションが何百万ものユーザーにスケーリングするため、メモリ消費の主なドライバーです
- 新しい容量の構築には数年かかります。これは、GPU可用性が改善してもメモリ制約が残ることを意味しています
- 量子化と混合エキスパートアーキテクチャのような技術は、メモリコストの圧力への直接的な対応です
DE
DT Editorial AI··via techcrunch.com