Die Zahlenformat-Revolution
Künstliche Intelligenz hat zu einer beispiellosen Explosion im Design neuer Zahlenformate geführt — der Art, wie Zahlen in der Computerhardware digital dargestellt werden. Das Bestreben, immer größere neuronale Netzwerke bei niedrigeren Kosten zu trainieren und zu betreiben, hat Ingenieure dazu veranlasst, jede mögliche Weise zu erkunden, die Anzahl der zur Datendarstellung erforderlichen Bits zu reduzieren und dabei Rechenzeit und Energieverbrauch zu sparen. Formate wie Googles bfloat16, NVIDIAs TensorFloat-32 und verschiedene 8-Bit- und sogar 4-Bit-Darstellungen sind zu Standardtools im Arsenal des KI-Ingenieurs geworden.
Diese Formate mit reduzierter Genauigkeit funktionieren für KI, weil neuronale Netzwerke bemerkenswert tolerant gegenüber numerischen Ungenauigkeiten sind. Ein leichter Rundungsfehler im Aktivierungswert eines Neurons wird durch die statistische Mittelung absorbiert, die über Millionen von Parametern stattfindet. Das Training könnte etwas mehr Iterationen zum Konvergieren benötigen, aber der Geschwindigkeitsvorteil durch die Verarbeitung kleinerer Zahlen überwiegt bei Weitem die Kosten weniger präziser Berechnungen.
Der Erfolg dieser KI-optimierten Formate hat eine natürliche Versuchung geschaffen: Wenn reduzierte Genauigkeit für neuronale Netzwerke funktioniert, warum nicht den gleichen Ansatz auch auf wissenschaftliches Rechnen anwenden? Die Antwort, wie Laslo Hunhold in einem detaillierten Interview mit IEEE Spectrum erklärt, ist, dass sich die Mathematik nicht überträgt.
Warum wissenschaftliches Rechnen anders ist
Wissenschaftliches Rechnen umfasst rechnergestützte Physik, Strömungsdynamik, Ingenieur-Simulationen, Klimamodellierung, Molekulardynamik und Dutzende weitere Bereiche, in denen Computer Gleichungssysteme lösen, die physikalische Phänomene beschreiben. Diese Simulationen unterscheiden sich von Berechnungen mit neuronalen Netzwerken in einer grundlegenden Weise: Sie erfordern numerische Genauigkeit, nicht nur statistische Korrelation.
Wenn ein Physiker die turbulente Strömung von Luft über einen Flügel simuliert, muss jede Rechenzelle genau Druck-, Geschwindigkeits- und Temperaturwerte darstellen, die durch klar definierte physikalische Gesetze mit benachbarten Zellen interagieren. Ein kleiner numerischer Fehler in einer Zelle gleicht sich nicht aus — er breitet sich durch die Simulation aus und kann durch ein Phänomen namens numerische Instabilität potenziell exponentiell wachsen. Das, was als unmerklicher Rundungsfehler beginnt, kann zu einer Simulation führen, die physikalisch sinnlose Ergebnisse liefert.
Diese Empfindlichkeit gegenüber Genauigkeit ist kein Versagen der Simulationssoftware. Sie spiegelt die mathematische Natur der gelösten partiellen Differentialgleichungen wider. Viele dieser Gleichungen sind von Natur aus chaotisch, was bedeutet, dass kleine Störungen in Anfangsbedingungen oder Zwischenberechnungen zu dramatisch unterschiedlichen Ergebnissen führen. Die gesamte Disziplin der numerischen Analyse existiert, um diese Fehler zu verstehen und zu kontrollieren, und Jahrzehnte von Forschung haben etabliert, dass bestimmte Mindestgenauigkeitsanforderungen erfüllt werden müssen, damit Simulationen vertrauenswürdige Ergebnisse liefern.
Die Herausforderung maßgeschneiderter Formate
Hunhold, der kürzlich als KI-Ingenieur zum Barcelona-basierten Unternehmen Openchip beitrat, arbeitet daran, Zahlenformate speziell für wissenschaftliches Rechnen zu entwickeln — nicht aus KI entlehnt. Sein Ansatz erkennt an, dass die Genauigkeitsanforderungen wissenschaftlicher Simulationen qualitativ anders sind als bei neuronalen Netzwerken, und dass die bloße Anwendung von KI-Formaten auf wissenschaftliche Probleme keine tragfähige Abkürzung darstellt.
Die Herausforderung ist vielseitig. Wissenschaftliches Rechnen erfordert höhere Genauigkeit in bestimmten Teilen des Zahlenbereichs und kann niedrigere Genauigkeit in anderen tolerieren. Die Verteilung von Werten in einer Physik-Simulation sieht völlig anders aus als die Verteilung von Aktivierungen in einem neuronalen Netzwerk. Ein Format, das für eine Anwendung optimiert ist, könnte für die andere aktiv schädlich sein.
- KI-Zahlenformate reduzieren die Genauigkeit, um die Berechnung zu beschleunigen und verlassen sich auf die Toleranz neuronaler Netzwerke für Rundungsfehler
- Wissenschaftliche Simulationen erfordern numerische Genauigkeit — kleine Fehler können sich katastrophal ausbreiten
- Formate mit reduzierter KI-Genauigkeit können in Ingenieur-Simulationen zu physikalisch sinnlosen Ergebnissen führen
- Forscher entwickeln maßgeschneiderte Zahlenformate, die speziell für wissenschaftliches Rechnen konzipiert sind
- Die Wertverteilungen in Physik-Simulationen unterscheiden sich grundlegend von Aktivierungen in neuronalen Netzwerken
Die Hardware-Dimension
Das Problem reicht über Software hinaus bis zur Hardware-Gestaltung. Moderne KI-Beschleuniger — GPUs und kundenspezifische Chips von NVIDIA, Google, AMD und Startups — sind zunehmend für die spezifischen Zahlenformate optimiert, die im maschinellen Lernen verwendet werden. Ihre Recheneinheiten sind dafür ausgelegt, bfloat16, FP8 und andere KI-native Formate mit maximaler Durchsatzleistung zu verarbeiten, während die traditionelle Doppel-Genauigkeit Gleitpunkt-Leistung stagniert oder sogar relativ abgenommen hat.
Dieser Hardware-Trend erzeugt ein praktisches Problem für wissenschaftliches Rechnen. Wenn Chip-Hersteller weiterhin KI-spezifische Formate priorisieren, könnten Wissenschaftler und Ingenieure feststellen, dass die neueste und leistungsfähigste Computerhardware für ihre Workloads schlecht geeignet ist. Ein Chip, der Billionen von KI-Operationen mit niedriger Genauigkeit pro Sekunde durchführen kann, könnte Schwierigkeiten mit der Doppel-Genauigkeit-Arithmetik haben, die ein Klimamodell oder eine Strukturanalyse erfordert.
Hunholds Arbeit an maßgeschneiderten wissenschaftlichen Formaten ist teilweise von dieser Hardware-Realität motiviert. Wenn wissenschaftliches Rechnen Zahlenformate identifizieren kann, die akzeptable Genauigkeit mit weniger Bits als traditionelle Doppel-Genauigkeit erreichen, könnten diese Formate in zukünftiger Hardware neben KI-Formaten implementiert werden und sicherstellen, dass wissenschaftliche Workloads von den gleichen Fertigungsfortschritten profitieren, die KI-Chip-Leistung vorantreiben.
Die Folgen bei falscher Vorgehensweise
Die Folgen der Anwendung inadäquater numerischer Genauigkeit auf wissenschaftliches Rechnen sind nicht abstrakt. Ingenieur-Simulationen beeinflussen die Gestaltung von Flugzeugstrukturen, Kernreaktor-Schutzsystemen, Brückenbelastungen und pharmazeutischen Molekülwechselwirkungen. Eine Simulation, die ein plausibel aussehendes, aber numerisch falsches Ergebnis liefert, könnte zu Konstruktionen führen, die in der realen Welt katastrophal versagen.
Der bemerkenswerte Erfolg der KI-Industrie mit Berechnungen mit reduzierter Genauigkeit ist eine echte Errungenschaft, aber sie kommt mit einem domänenspezifischen Vorbehalt, den die wissenschaftliche Rechner-Gemeinschaft betont: Was für Mustererkennung funktioniert, funktioniert nicht automatisch für Physik. Die Zahlen müssen richtig sein, und richtig bedeutet etwas ganz anderes, wenn Leben von der Genauigkeit der Simulation abhängen.
Dieser Artikel basiert auf Berichten von IEEE Spectrum. Lesen Sie den Originalartikel.
