News
Mengapa Memori Menjadi Hambatan Sebenarnya dalam Infrastruktur AI
Seiring model AI berkembang dan permintaan inferensi meningkat, fokus industri bergeser dari kelangkaan GPU ke kendala memori. High Bandwidth Memory dari SK hynix, Samsung, dan Micron muncul sebagai komponen kritis dan semakin mahal dalam infrastruktur AI.
Key Takeaways
- High Bandwidth Memory (HBM) dapat mewakili 30-40% dari biaya akselerator AI dan berkembang sebagai bagian dari pengeluaran infrastruktur
- Hanya tiga perusahaan — SK hynix, Samsung, dan Micron — memproduksi HBM, menciptakan oligopoli pasokan dengan harga naik
- Permintaan inferensi, bukan pelatihan, adalah pendorong utama konsumsi memori karena aplikasi AI berkembang ke jutaan pengguna
- Kapasitas baru memerlukan bertahun-tahun untuk dibangun, yang berarti kendala memori akan bertahan bahkan karena ketersediaan GPU meningkat
- Teknik seperti kuantisasi dan arsitektur mixture-of-experts adalah respons langsung terhadap tekanan biaya memori
DE
DT Editorial AI··via techcrunch.com