News
Почему память становится настоящим узким местом в инфраструктуре ИИ
По мере того как модели ИИ становятся больше и спрос на вывод растёт, внимание индустрии смещается от нехватки GPU к ограничениям памяти. High Bandwidth Memory от SK hynix, Samsung и Micron становится критическим — и всё более дорогим — компонентом инфраструктуры ИИ.
Key Takeaways
- High Bandwidth Memory (HBM) может представлять 30-40% стоимости ускорителя ИИ и растёт как доля инфраструктурных расходов
- Только три компании — SK hynix, Samsung и Micron — производят HBM, создавая олигополию на рынке с растущими ценами
- Спрос на вывод, а не на обучение, является основным фактором потребления памяти по мере масштабирования приложений ИИ на миллионы пользователей
- Новые производственные мощности строятся годами, что означает, что ограничения памяти сохранятся даже при улучшении доступности GPU
- Такие методы, как квантизация и архитектуры смеси экспертов, являются прямыми ответами на нажим расходов на память
DE
DT Editorial AI··via techcrunch.com