Sayı Formatı Devrimi

Yapay zeka, sayı formatlarının tasarımında eşi benzeri görülmemiş bir patlamayı tetiklemiştir — sayıların bilgisayar donanımında dijital olarak temsil edilme yolları. Giderek daha büyük sinir ağlarını daha düşük maliyetle eğitmek ve çalıştırma arzusu, mühendisleri verileri temsil etmek için kullanılan bit sayısını azaltmanın her olası yolunu keşfetmeye yöneltmiştir; bu süreçte hesaplama süresini ve enerji tüketimini azaltmıştır. Google'ın bfloat16'sı, NVIDIA'nın TensorFloat-32'si ve çeşitli 8-bit ve hatta 4-bit temsilleri gibi formatlar, AI mühendisinin araç setinin standart araçları haline gelmiştir.

Bu azaltılmış hassasiyet formatları AI için işe yarıyor çünkü sinir ağları sayısal imprecision'a karşı oldukça toleranstır. Bir nöronun aktivasyon değerindeki hafif bir yuvarlama hatası, milyonlarca parametre arasında meydana gelen istatistiksel ortalama tarafından absorbe edilir. Eğitim, yakınsamak için biraz daha fazla iterasyon alabilir, ancak daha küçük sayıları işlemekten elde edilen hız, biraz daha gürültülü hesaplamaların maliyetini çok daha fazla telafi eder.

Bu AI-optimize edilmiş formatların başarısı doğal bir cezbedici yaratmıştır: azaltılmış hassasiyet sinir ağları için işe yarıyorsa, neden aynı yaklaşımı bilimsel hesaplamalara uygulanmayız? Cevap, Laslo Hunhold'un ayrıntılı bir IEEE Spectrum röportajında açıkladığı gibi, matematiğin aktarılmadığıdır.

Neden Bilimsel Hesaplama Farklı?

Bilimsel hesaplama, hesaplamalı fizik, akışkan dinamiği, yapısal mühendislik simülasyonları, iklim modellemesi, moleküler dinamikler ve bilgisayarların fiziksel olayları tanımlayan denklem sistemlerini çözdüğü düzinelerce diğer alanı kapsar. Bu simülasyonlar sinir ağı hesaplamalarından temel bir şekilde farklıdır: istatistiksel korelasyondan değil, sayısal doğruluk gerektirirler.

Bir fizikçi kanat üzerindeki hava akışının türbülanslı akışını simüle ettiğinde, her hesaplama hücresi basınç, hız ve sıcaklık değerlerini iyi tanımlanmış fiziksel yasalar aracılığıyla komşu hücrelerle etkileşim halinde doğru bir şekilde temsil etmelidir. Bir hücredeki küçük bir sayısal hata ortalama almaz — simülasyon boyunca yayılır, sayısal istikrarsızlık adı verilen bir fenomen aracılığıyla potansiyel olarak katlanarak büyür. Algılanmayan bir yuvarlama hatasından başlayan şey, fiziksel olarak anlamsız sonuçlar üreten bir simülasyona dönüşebilir.

Bu hassasiyete duyarlılık, simülasyon yazılımının bir başarısızlığı değildir. Çözülen kısmi diferansiyel denklemlerin matematiksel doğasını yansıtır. Bu denklemlerin çoğu doğal olarak kaotiktir, yani başlangıç koşulları veya ara hesaplamalardaki küçük pertürbasyonlar dramatik olarak farklı sonuçlara yol açar. Sayısal analiz disiplininin tamamı bu hataları anlamak ve kontrol etmek için mevcuttur ve onlarca yıllık araştırma, simülasyonların güvenilir sonuçlar üretmesi için belirli minimum hassasiyet gereksinimlerinin karşılanması gerektiğini ortaya koymuştur.

Özel Format Tasarımı Zorlugu

Barcelona'da bulunan Openchip'e yakın zamanda bir AI mühendisi olarak katılan Hunhold, bilimsel hesaplama için özel olarak tasarlanan sayı formatları geliştirmek için çalışmaktadır — AI'dan ödünç alınanlar değil. Yaklaşımı, bilimsel simülasyonların hassasiyet gereksinimlerinin sinir ağlarınkilerden niteliksel olarak farklı olduğunu ve AI formatlarını bilimsel sorunlara basitçe uygulamanın uygulanabilir bir kısayol olmadığını kabul eder.

Zorluk çok yönlüdür. Bilimsel hesaplama, sayı aralığının belirli bölümlerinde daha yüksek hassasiyet gerektirir ve diğerlerinde daha düşük hassasiyete tolerans gösterebilir. Fizik simülasyonundaki değerlerin dağılımı, sinir ağındaki aktivasyonların dağılımına hiç benzemez. Bir uygulama için optimize edilmiş bir format, diğeri için aktif olarak zararlı olabilir.

  • AI sayı formatları hesaplama hızını artırmak için hassasiyeti azaltır, sinir ağlarının yuvarlama hatalarına toleransına güvenerek
  • Bilimsel simülasyonlar sayısal doğruluk gerektirirler — küçük hatalar felaket düzeyinde bağlantılı olabilir
  • Azaltılmış hassasiyetli AI formatları mühendislik simülasyonlarında fiziksel olarak anlamsız sonuçlar üretebilir
  • Araştırmacılar bilimsel hesaplama için özel olarak tasarlanan özel sayı formatları geliştirmektedir
  • Fizik simülasyonlarındaki değer dağılımları sinir ağı aktivasyonlarından temel olarak farklıdır

Donanım Boyutu

Sorun yazılımın ötesine geçerek donanım tasarımına uzanır. Modern AI hızlandırıcıları — NVIDIA, Google, AMD ve startuplardan GPUlar ve özel çipler — makine öğrenmesinde kullanılan belirli sayı formatları için giderek daha fazla optimize edilmektedir. Bunların aritmetik üniteleri bfloat16, FP8 ve diğer AI-native formatları maksimum verimlilikle işleme için tasarlanmış olsa da, geleneksel çift hassasiyetli kayan nokta performansı nispi terimlerle durmuş veya hatta düşmüştür.

Bu donanım trendi, bilimsel hesaplama için pratik bir sorun yaratır. Çip üreticileri AI'ya özgü formatları önceliklendirmeye devam ederlerse, bilim insanları ve mühendisler en yeni ve en güçlü bilişim donanımının iş yükleri için zayıf bir şekilde uyarlanmış olduğunu görebilirler. Saniyede trilyonlarca düşük hassasiyetli AI işlemi yapabilen bir çip, bir iklim modeli veya yapısal analiz gerektiren çift hassasiyetli aritmetik ile mücadele edebilir.

Hunhold'un özel bilimsel formatlar üzerindeki çalışması kısmen bu donanım gerçeğiyle motive edilmiştir. Bilimsel hesaplama, geleneksel çift hassasiyetten daha az bitlerle kabul edilebilir doğruluk elde eden sayı formatlarını tanımlayabilirse, bu formatlar gelecekteki donanımlarda AI formatlarının yanında uygulanabilir, bilimsel iş yüklerinin AI çip performansını yönlendiren aynı üretim ilerlemelerinden yararlanmasını sağlayabilir.

Yanlış Yapmanın Paydaları

Yetersiz sayısal hassasiyeti bilimsel hesaplamaya uygulamanın sonuçları soyut değildir. Mühendislik simülasyonları, uçak yapılarının tasarımını, nükleer reaktör muhafaza sistemlerini, köprü yüklemelerini ve farmasötik moleküler etkileşimleri bilgilendirir. İnanılır görünen ancak sayısal olarak yanlış bir sonuç döndüren bir simülasyon, gerçek dünyada felaket düzeyinde başarısız olan tasarımlara yol açabilir.

AI endüstrisinin azaltılmış hassasiyetli hesaplama konusundaki dikkat çekici başarısı, gerçek bir başarıdır, ancak bilimsel hesaplama topluluğunun vurgulamak için istekli olduğu alana özgü bir uyarı ile gelir: örüntü tanıma için işe yarayan şey otomatik olarak fizik için işe yaramaz. Sayıların doğru olması gerekir ve doğru, yaşamlar simülasyonun doğruluğuna bağlı olduğunda çok farklı bir şey anlamına gelir.

Bu makale IEEE Spectrum tarafından yapılan raporlamaya dayanmaktadır. Orijinal makaleyi okuyun.