News
메모리가 AI 인프라의 진정한 병목이 되는 이유
AI 모델이 성장하고 추론 수요가 급증함에 따라, 업계는 GPU 부족에서 메모리 제약으로 초점을 이동하고 있습니다. SK hynix, Samsung, Micron의 고대역폭 메모리(HBM)는 AI 인프라의 중요하고 점점 더 비싼 구성 요소로 떠오르고 있습니다.
Key Takeaways
- 고대역폭 메모리(HBM)는 AI 가속기 비용의 30-40%를 나타낼 수 있으며 인프라 지출의 비율로 증가하고 있습니다
- SK hynix, Samsung, Micron 3개 회사만 HBM을 제조하여 가격 인상을 동반한 공급 독과점을 만듭니다
- 훈련이 아닌 추론 수요는 AI 애플리케이션이 수백만 사용자에게 확장될 때 메모리 소비의 주요 동인입니다
- 새로운 용량을 구축하는 데 몇 년이 걸리므로 GPU 가용성이 개선되어도 메모리 제약이 지속됩니다
- 양자화 및 혼합 전문가 아키텍처와 같은 기술은 메모리 비용 압력에 직접적인 대응입니다
DE
DT Editorial AI··via techcrunch.com