News
Por Que a Memória Está Se Tornando o Verdadeiro Gargalo da Infraestrutura de IA
À medida que os modelos de IA crescem e a demanda de inferência escala, o foco da indústria está mudando da escassez de GPU para restrições de memória. A Memória de Banda Alta de SK hynix, Samsung e Micron está emergindo como o componente crítico — e cada vez mais caro — da infraestrutura de IA.
Key Takeaways
- Memória de Banda Alta (HBM) pode representar 30-40% do custo de um acelerador de IA e está crescendo como parte dos gastos com infraestrutura
- Apenas três empresas — SK hynix, Samsung e Micron — fabricam HBM, criando um oligopólio de fornecimento com preços crescentes
- A demanda de inferência, não o treinamento, é o driver primário do consumo de memória à medida que as aplicações de IA escalam para milhões de usuários
- Novas capacidades levam anos para serem construídas, o que significa que as restrições de memória persistirão mesmo com a melhoria da disponibilidade de GPU
- Técnicas como quantização e arquiteturas de mistura de especialistas são respostas diretas às pressões de custo de memória
DE
DT Editorial AI··via techcrunch.com