News
Warum der Speicher zum echten Engpass in der KI-Infrastruktur wird
Während KI-Modelle wachsen und die Nachfrage nach Inferenz zunimmt, verlagert die Industrie den Fokus von GPU-Knappheit auf Speicherbeschränkungen. High-Bandwidth-Memory von SK hynix, Samsung und Micron wird zu einem kritischen—und zunehmend teuren—Komponenten der KI-Infrastruktur.
Key Takeaways
- High-Bandwidth-Memory (HBM) kann 30-40% der Kosten eines KI-Beschleunigers ausmachen und wächst als Anteil der Infrastrukturausgaben
- Nur drei Unternehmen—SK hynix, Samsung und Micron—stellen HBM her, was ein Angebots-Oligopol mit steigenden Preisen schafft
- Inferenznachfrage, nicht Training, ist der Haupttreiber des Speicherverbrauchs, wenn KI-Anwendungen auf Millionen Benutzer skalieren
- Neue Kapazität braucht Jahre zum Aufbau, was bedeutet, dass Speicherbeschränkungen bleiben, auch wenn GPU-Verfügbarkeit sich verbessert
- Techniken wie Quantisierung und Mixture-of-Experts-Architekturen sind direkte Reaktionen auf Speicher-Kostendrücke
DE
DT Editorial AI··via techcrunch.com