La révolution des formats numériques

L'intelligence artificielle a impulsé une explosion sans précédent dans la conception de nouveaux formats numériques — les façons dont les nombres sont représentés numériquement dans le matériel informatique. L'impulsion d'entraîner et d'exécuter des neural networks de plus en plus grands à moindre coût a conduit les ingénieurs à explorer tous les moyens possibles de réduire le nombre de bits utilisés pour représenter les données, économisant le temps de calcul et la consommation d'énergie. Les formats tels que bfloat16 de Google, TensorFloat-32 de NVIDIA, et diverses représentations 8-bit et même 4-bit sont devenus les outils standards dans l'arsenal de l'ingénieur AI.

Ces formats de précision réduite fonctionnent pour AI parce que les neural networks sont remarquablement tolérants à l'imprécision numérique. Une petite erreur d'arrondi dans la valeur d'activation d'un neurone est absorbée par la moyenne statistique qui se produit sur des millions de paramètres. L'entraînement peut nécessiter marginalement plus d'itérations pour converger, mais la vitesse obtenue en traitant des nombres plus petits dépasse largement le coût des calculs légèrement plus bruyants.

Le succès de ces formats optimisés pour AI a créé une tentation naturelle : si la précision réduite fonctionne pour les neural networks, pourquoi ne pas appliquer la même approche à l'informatique scientifique? La réponse, comme l'explique Laslo Hunhold dans un entretien détaillé avec IEEE Spectrum, est que les mathématiques ne se transfèrent pas.

Pourquoi l'informatique scientifique est-elle différente?

L'informatique scientifique englobe la physique computationnelle, la dynamique des fluides, les simulations d'ingénierie structurelle, la modélisation climatique, la dynamique moléculaire, et des dizaines d'autres domaines où les ordinateurs résolvent des systèmes d'équations décrivant des phénomènes physiques. Ces simulations diffèrent des calculs des neural networks d'une manière fondamentale : elles nécessitent une précision numérique, pas seulement une corrélation statistique.

Lorsqu'un physicien simule l'écoulement turbulent de l'air sur une aile, chaque cellule computationnelle doit représenter avec précision les valeurs de pression, de vitesse et de température qui interagissent avec les cellules voisines selon des lois physiques bien définies. Une petite erreur numérique dans une cellule ne s'efface pas — elle se propage à travers la simulation, augmentant potentiellement de façon exponentielle selon un phénomène appelé instabilité numérique. Ce qui commence comme une erreur d'arrondi imperceptible peut entraîner une simulation qui produit des résultats physiquement dénués de sens.

Cette sensibilité à la précision n'est pas un défaut du logiciel de simulation. Elle reflète la nature mathématique des équations différentielles partielles en cours de résolution. De nombreuses ces équations sont intrinsèquement chaotiques, ce qui signifie que de petites perturbations dans les conditions initiales ou les calculs intermédiaires conduisent à des résultats dramatiquement différents. Toute la discipline de l'analyse numérique existe pour comprendre et contrôler ces erreurs, et des décennies de recherche ont établi que certaines exigences minimales de précision doivent être satisfaites pour que les simulations produisent des résultats fiables.

Le défi des formats personnalisés

Hunhold, qui a récemment rejoint Openchip basée à Barcelona en tant qu'ingénieur AI, travaille au développement de formats numériques spécifiquement conçus pour l'informatique scientifique — non empruntés à AI. Son approche reconnaît que les exigences de précision des simulations scientifiques sont qualitativement différentes de celles des neural networks, et que l'application simple de formats AI à des problèmes scientifiques n'est pas un raccourci viable.

Le défi est multifacette. L'informatique scientifique nécessite une plus grande précision dans certaines parties de la plage numérique et peut tolérer une précision inférieure dans d'autres. La distribution des valeurs dans une simulation de physique ne ressemble en rien à la distribution des activations dans un neural network. Un format optimisé pour une application peut être activement préjudiciable pour l'autre.

  • Les formats numériques de AI réduisent la précision pour accélérer le calcul, s'appuyant sur la tolérance des neural networks aux erreurs d'arrondi
  • Les simulations scientifiques nécessitent une précision numérique — les petites erreurs peuvent entraîner des résultats catastrophiques
  • Les formats AI de précision réduite peuvent produire des résultats physiquement dénués de sens dans les simulations d'ingénierie
  • Les chercheurs développent des formats numériques personnalisés conçus spécifiquement pour l'informatique scientifique
  • Les distributions de valeurs dans les simulations de physique diffèrent fondamentalement des activations des neural networks

La dimension du matériel

Le problème s'étend au-delà du logiciel à la conception du matériel. Les accélérateurs de AI modernes — GPUs et puces personnalisées de NVIDIA, Google, AMD, et startups — sont de plus en plus optimisés pour les formats numériques spécifiques utilisés en machine learning. Leurs unités arithmétiques sont conçues pour traiter bfloat16, FP8, et d'autres formats natifs de AI au débit maximal, tandis que la performance traditionnelle en virgule flottante double précision a stagné ou même décliné en termes relatifs.

Cette tendance matérielle crée un problème pratique pour l'informatique scientifique. Si les fabricants de puces continuent de prioritariser les formats spécifiques de AI, les scientifiques et ingénieurs peuvent découvrir que le matériel informatique le plus récent et le plus puissant ne convient pas à leurs charges de travail. Une puce capable d'effectuer des trillions d'opérations de AI basse précision par seconde peut avoir du mal avec l'arithmétique double précision qu'un modèle climatique ou une analyse structurelle nécessite.

Le travail de Hunhold sur les formats scientifiques personnalisés est partiellement motivé par cette réalité du matériel. Si l'informatique scientifique peut identifier des formats numériques qui atteignent une précision acceptable avec moins de bits que la double précision traditionnelle, ces formats pourraient être implémentés dans le matériel futur aux côtés des formats de AI, garantissant que les charges de travail scientifiques bénéficient des mêmes avancées de fabrication qui impulsent la performance des puces de AI.

Les enjeux de se tromper

Les conséquences de l'application d'une précision numérique inadéquate à l'informatique scientifique ne sont pas abstraites. Les simulations d'ingénierie informent la conception des structures d'aéronefs, des systèmes de confinement des réacteurs nucléaires, des chargements de ponts, et des interactions moléculaires pharmaceutiques. Une simulation qui retourne un résultat apparemment plausible mais numériquement incorrect peut entraîner des conceptions qui échouent de façon catastrophique dans le monde réel.

Le succès extraordinaire de l'industrie de AI avec l'informatique de précision réduite est une réalisation véritable, mais elle s'accompagne d'une mise en garde spécifique au domaine que la communauté de l'informatique scientifique tient à souligner : ce qui fonctionne pour la reconnaissance de motifs ne fonctionne pas automatiquement pour la physique. Les chiffres doivent être exacts, et exact signifie quelque chose de très différent quand des vies dépendent de la précision de la simulation.

Cet article est basé sur les rapports d'IEEE Spectrum. Lire l'article original.