News
Pourquoi la mémoire devient le vrai goulot d'étranglement de l'infrastructure d'IA
Au fur et à mesure que les modèles d'IA deviennent plus volumineux et que la demande d'inférence augmente, l'industrie détourne son attention de la rareté des GPU aux contraintes de mémoire. La mémoire à large bande passante de SK hynix, Samsung et Micron s'avère être le composant critique — et de plus en plus coûteux — de l'infrastructure d'IA.
Key Takeaways
- La mémoire à large bande passante (HBM) peut représenter 30 à 40 % du coût d'un accélérateur d'IA et augmente en tant que part des dépenses d'infrastructure
- Seules trois entreprises — SK hynix, Samsung et Micron — fabriquent la HBM, créant un oligopole d'approvisionnement avec des prix croissants
- La demande d'inférence, pas l'entraînement, est le moteur principal de la consommation de mémoire alors que les applications d'IA s'adaptent à des millions d'utilisateurs
- La nouvelle capacité prend des années à construire, ce qui signifie que les contraintes de mémoire persisteront même si la disponibilité des GPU s'améliore
- Des techniques comme la quantification et les architectures de mélange d'experts sont des réponses directes aux pressions de coûts de mémoire
DE
DT Editorial AI··via techcrunch.com