News
为什么内存正在成为AI基础设施的真正瓶颈
随着AI模型规模的增大和推理需求的增加，行业的关注点正在从GPU短缺转向内存约束。来自SK hynix、三星和美光的高带宽内存正在成为AI基础设施中至关重要——且成本日益高昂的关键组件。
Key Takeaways
- 高带宽内存（HBM）可以代表AI加速器成本的30-40%，并且正在增长作为基础设施支出的一部分
- 只有三家公司——SK hynix、三星和美光——制造HBM，创建了一个供应寡头垄断，价格不断上升
- 推理需求而不是训练是内存消耗的主要驱动力，因为AI应用扩展到数百万用户
- 新产能需要多年才能建立，这意味着即使GPU可用性改善，内存约束也会持续
- 像量化和混合专家架构这样的技术是对内存成本压力的直接回应
DE
DT Editorial AI··via techcrunch.com