Revolusi Format Angka

Kecerdasan buatan telah mendorong ledakan yang belum pernah terjadi sebelumnya dalam desain format angka baru — cara angka direpresentasikan secara digital dalam perangkat keras komputer. Dorongan untuk melatih dan menjalankan neural networks yang semakin besar dengan biaya lebih rendah telah memandu para insinyur untuk mengeksplorasi setiap cara yang mungkin untuk mengurangi jumlah bit yang digunakan untuk mewakili data, menghemat waktu komputasi dan konsumsi energi dalam prosesnya. Format seperti bfloat16 dari Google, TensorFloat-32 dari NVIDIA, dan berbagai representasi 8-bit dan bahkan 4-bit telah menjadi alat standar dalam arsenal insinyur AI.

Format presisi tereduksi ini bekerja untuk AI karena neural networks sangat toleran terhadap ketidakakuratan numerik. Kesalahan pembulatan kecil dalam nilai aktivasi satu neuron diserap oleh rata-rata statistik yang terjadi di seluruh jutaan parameter. Pelatihan mungkin memerlukan marginally lebih banyak iterasi untuk konvergen, tetapi kecepatan yang diperoleh dari pemrosesan angka yang lebih kecil jauh melampaui biaya komputasi yang sedikit lebih bising.

Kesuksesan format yang dioptimalkan AI ini telah menciptakan godaan alami: jika presisi tereduksi bekerja untuk neural networks, mengapa tidak menerapkan pendekatan yang sama pada komputasi ilmiah? Jawabannya, seperti dijelaskan Laslo Hunhold dalam wawancara terperinci dengan IEEE Spectrum, adalah bahwa matematika tidak ditransfer.

Mengapa Komputasi Ilmiah Berbeda?

Komputasi ilmiah mencakup fisika komputasi, dinamika fluida, simulasi teknik struktural, pemodelan iklim, dinamika molekuler, dan puluhan bidang lainnya di mana komputer menyelesaikan sistem persamaan yang menggambarkan fenomena fisik. Simulasi ini berbeda dari perhitungan neural networks dengan cara yang fundamental: mereka memerlukan akurasi numerik, bukan hanya korelasi statistik.

Ketika seorang fisikawan mensimulasikan aliran udara yang bergejolak di atas sayap, setiap sel komputasi harus secara akurat mewakili nilai tekanan, kecepatan, dan suhu yang berinteraksi dengan sel tetangga melalui hukum fisika yang terdefinisi dengan baik. Kesalahan numerik kecil di satu sel tidak rata-rata — kesalahan ini menyebar melalui simulasi, berpotensi tumbuh secara eksponensial melalui fenomena yang disebut ketidakstabilan numerik. Apa yang dimulai sebagai kesalahan pembulatan yang tidak terlihat dapat mengakibatkan simulasi yang menghasilkan hasil yang tidak bermakna secara fisik.

Sensitivitas terhadap presisi ini bukan merupakan kegagalan perangkat lunak simulasi. Ini mencerminkan sifat matematika dari persamaan diferensial parsial yang sedang diselesaikan. Banyak persamaan ini secara inheren kacau, artinya gangguan kecil pada kondisi awal atau perhitungan perantara menghasilkan hasil yang secara dramatis berbeda. Seluruh disiplin analisis numerik ada untuk memahami dan mengendalikan kesalahan ini, dan puluhan tahun penelitian telah menetapkan bahwa persyaratan presisi minimum tertentu harus dipenuhi agar simulasi menghasilkan hasil yang dapat dipercaya.

Tantangan Format Khusus

Hunhold, yang baru-baru ini bergabung dengan Openchip yang berbasis di Barcelona sebagai insinyur AI, telah bekerja untuk mengembangkan format angka yang dirancang khusus untuk komputasi ilmiah — bukan dipinjam dari AI. Pendekatannya mengakui bahwa persyaratan presisi simulasi ilmiah secara kualitatif berbeda dari neural networks, dan bahwa hanya menerapkan format AI pada masalah ilmiah bukanlah jalan pintas yang layak.

Tantangannya bersifat multifaset. Komputasi ilmiah memerlukan presisi lebih tinggi di bagian tertentu dari kisaran angka dan dapat mentoleransi presisi lebih rendah di bagian lainnya. Distribusi nilai dalam simulasi fisika tidak terlihat sama sekali seperti distribusi aktivasi dalam neural network. Format yang dioptimalkan untuk satu aplikasi mungkin aktif merugikan aplikasi lainnya.

  • Format angka AI mengurangi presisi untuk mempercepat komputasi, mengandalkan toleransi neural networks terhadap kesalahan pembulatan
  • Simulasi ilmiah memerlukan akurasi numerik — kesalahan kecil dapat mengakibatkan hasil yang bencana
  • Format AI presisi rendah dapat menghasilkan hasil yang tidak bermakna secara fisik dalam simulasi teknik
  • Para peneliti mengembangkan format angka khusus yang dirancang khusus untuk komputasi ilmiah
  • Distribusi nilai dalam simulasi fisika secara fundamental berbeda dari aktivasi neural networks

Dimensi Perangkat Keras

Masalahnya melampaui perangkat lunak ke dalam desain perangkat keras. Akselerator AI modern — GPU dan chip khusus dari NVIDIA, Google, AMD, dan startup — semakin dioptimalkan untuk format angka spesifik yang digunakan dalam machine learning. Unit aritmetika mereka dirancang untuk memproses bfloat16, FP8, dan format asli AI lainnya pada throughput maksimum, sementara kinerja floating-point presisi ganda tradisional telah stagnan atau bahkan menurun dalam istilah relatif.

Tren perangkat keras ini menciptakan masalah praktis untuk komputasi ilmiah. Jika produsen chip terus memprioritaskan format khusus AI, para ilmuwan dan insinyur mungkin menemukan bahwa perangkat keras komputasi terbaru dan paling kuat tidak cocok untuk beban kerja mereka. Chip yang dapat melakukan triliunan operasi AI presisi rendah per detik mungkin kesulitan dengan aritmetika presisi ganda yang dibutuhkan model iklim atau analisis struktural.

Pekerjaan Hunhold pada format ilmiah khusus dimotivasi sebagian oleh realitas perangkat keras ini. Jika komputasi ilmiah dapat mengidentifikasi format angka yang mencapai akurasi yang dapat diterima dengan lebih sedikit bit daripada presisi ganda tradisional, format tersebut dapat diimplementasikan dalam perangkat keras masa depan bersama dengan format AI, memastikan bahwa beban kerja ilmiah mendapat manfaat dari kemajuan manufaktur yang sama yang mendorong kinerja chip AI.

Taruhan Menjadi Salah

Konsekuensi dari menerapkan presisi numerik yang tidak memadai pada komputasi ilmiah bukanlah abstrak. Simulasi teknik menginformasikan desain struktur pesawat, sistem penyimpanan reaktor nuklir, beban jembatan, dan interaksi molekuler farmasi. Simulasi yang mengembalikan hasil yang tampak masuk akal tetapi secara numerik salah dapat menyebabkan desain yang gagal secara katastrofi di dunia nyata.

Kesuksesan luar biasa industri AI dengan komputasi presisi tereduksi adalah pencapaian yang genuine, tetapi dilengkapi dengan caveat khusus domain yang komunitas komputasi ilmiah bersemangat untuk menekankan: apa yang berfungsi untuk pengenalan pola tidak otomatis bekerja untuk fisika. Angkanya harus benar, dan benar berarti sesuatu yang sangat berbeda ketika hidup tergantung pada akurasi simulasi.

Artikel ini berdasarkan pelaporan IEEE Spectrum. Baca artikel asli.