News
Por qué la memoria se está convirtiendo en el verdadero cuello de botella en la infraestructura de IA
A medida que los modelos de IA crecen y la demanda de inferencia se escala, el enfoque de la industria se está desplazando de la escasez de GPU a las restricciones de memoria. La memoria de alto ancho de banda de SK hynix, Samsung y Micron se está convirtiendo en el componente crítico—y cada vez más costoso—en la infraestructura de IA.
Key Takeaways
- La memoria de alto ancho de banda (HBM) puede representar del 30 al 40% del costo de un acelerador de IA y está creciendo como parte del gasto en infraestructura
- Solo tres empresas—SK hynix, Samsung y Micron—fabrican HBM, creando un oligopolio de suministro con precios en aumento
- La demanda de inferencia, no el entrenamiento, es el impulsor principal del consumo de memoria a medida que las aplicaciones de IA se escalan a millones de usuarios
- La nueva capacidad tarda años en construirse, lo que significa que las restricciones de memoria persistirán incluso a medida que mejora la disponibilidad de GPU
- Técnicas como cuantización y arquitecturas de mezcla de expertos son respuestas directas a las presiones de costo de memoria
DE
DT Editorial AI··via techcrunch.com