La revolución de formatos numéricos

La inteligencia artificial ha impulsado una explosión sin precedentes en el diseño de nuevos formatos numéricos — las formas en que los números se representan digitalmente en hardware de computadoras. El impulso de entrenar y ejecutar neural networks cada vez más grandes a menor costo ha llevado a los ingenieros a explorar cada forma posible de reducir el número de bits utilizados para representar datos, ahorrando tiempo de computación y consumo de energía en el proceso. Formatos como bfloat16 de Google, TensorFloat-32 de NVIDIA, y varias representaciones de 8 bits e incluso 4 bits se han convertido en herramientas estándar en el arsenal del ingeniero de AI.

Estos formatos de precisión reducida funcionan para AI porque los neural networks son notablemente tolerantes con la imprecisión numérica. Un pequeño error de redondeo en el valor de activación de una neurona es absorbido por el promediado estadístico que ocurre a través de millones de parámetros. El entrenamiento podría tomar marginalmente más iteraciones para converger, pero la velocidad ganada al procesar números más pequeños supera vastamente el costo de computaciones ligeramente más ruidosas.

El éxito de estos formatos optimizados para AI ha creado una tentación natural: si la precisión reducida funciona para neural networks, ¿por qué no aplicar el mismo enfoque a la computación científica? La respuesta, como explica Laslo Hunhold en una entrevista detallada con IEEE Spectrum, es que las matemáticas no se transfieren.

¿Por qué la computación científica es diferente?

La computación científica abarca física computacional, dinámica de fluidos, simulaciones de ingeniería estructural, modelado del clima, dinámica molecular, y docenas de otros campos donde las computadoras resuelven sistemas de ecuaciones que describen fenómenos físicos. Estas simulaciones difieren de los cálculos de neural networks de una manera fundamental: requieren precisión numérica, no solo correlación estadística.

Cuando un físico simula el flujo turbulento del aire sobre un ala, cada celda computacional debe representar con precisión los valores de presión, velocidad y temperatura que interactúan con celdas vecinas a través de leyes físicas bien definidas. Un pequeño error numérico en una celda no se promedia — se propaga a través de la simulación, potencialmente creciendo exponencialmente a través de un fenómeno llamado inestabilidad numérica. Lo que comienza como un error de redondeo imperceptible puede desencadenar una simulación que produce resultados físicamente sin sentido.

Esta sensibilidad a la precisión no es un fallo del software de simulación. Refleja la naturaleza matemática de las ecuaciones diferenciales parciales que se resuelven. Muchas de estas ecuaciones son inherentemente caóticas, lo que significa que pequeñas perturbaciones en las condiciones iniciales o cálculos intermedios conducen a resultados dramáticamente diferentes. La disciplina completa del análisis numérico existe para entender y controlar estos errores, y décadas de investigación han establecido que se deben cumplir ciertos requisitos mínimos de precisión para que las simulaciones produzcan resultados confiables.

El desafío de los formatos personalizados

Hunhold, quien recientemente se unió a Openchip con sede en Barcelona como ingeniero de AI, ha estado trabajando para desarrollar formatos numéricos específicamente diseñados para computación científica — no tomados prestados de AI. Su enfoque reconoce que los requisitos de precisión de las simulaciones científicas son cualitativamente diferentes de los de los neural networks, y que simplemente aplicar formatos de AI a problemas científicos no es un atajo viable.

El desafío es multifacético. La computación científica requiere mayor precisión en ciertas partes del rango numérico y puede tolerar menor precisión en otras. La distribución de valores en una simulación de física no se parece nada a la distribución de activaciones en un neural network. Un formato optimizado para una aplicación puede ser activamente perjudicial para la otra.

  • Los formatos numéricos de AI reducen la precisión para acelerar la computación, confiando en la tolerancia de los neural networks a errores de redondeo
  • Las simulaciones científicas requieren precisión numérica — los pequeños errores pueden desencadenar resultados catastróficos
  • Los formatos de AI de precisión reducida pueden producir resultados físicamente sin sentido en simulaciones de ingeniería
  • Los investigadores están desarrollando formatos numéricos personalizados diseñados específicamente para computación científica
  • Las distribuciones de valores en simulaciones de física difieren fundamentalmente de las activaciones de neural networks

La dimensión del hardware

El problema se extiende más allá del software hacia el diseño de hardware. Los aceleradores de AI modernos — GPUs y chips personalizados de NVIDIA, Google, AMD, y startups — están cada vez más optimizados para los formatos numéricos específicos utilizados en machine learning. Sus unidades aritméticas están diseñadas para procesar bfloat16, FP8, y otros formatos nativos de AI a rendimiento máximo, mientras que el rendimiento de punto flotante de precisión doble tradicional se ha estancado o incluso ha declinado en términos relativos.

Esta tendencia de hardware crea un problema práctico para la computación científica. Si los fabricantes de chips continúan priorizando formatos específicos de AI, los científicos e ingenieros pueden encontrar que el hardware de computación más poderoso y reciente es poco adecuado para sus cargas de trabajo. Un chip que puede realizar billones de operaciones de AI de baja precisión por segundo puede tener dificultades con la aritmética de precisión doble que un modelo de clima o análisis estructural requiere.

El trabajo de Hunhold en formatos científicos personalizados está parcialmente motivado por esta realidad del hardware. Si la computación científica puede identificar formatos numéricos que logren precisión aceptable con menos bits que la precisión doble tradicional, esos formatos podrían implementarse en hardware futuro junto con formatos de AI, asegurando que las cargas de trabajo científicas se beneficien de los mismos avances de manufactura que están impulsando el rendimiento de chips de AI.

Las apuestas de equivocarse

Las consecuencias de aplicar precisión numérica inadecuada a la computación científica no son abstractas. Las simulaciones de ingeniería informan el diseño de estructuras de aeronaves, sistemas de contención de reactores nucleares, cargas de puentes, e interacciones moleculares farmacéuticas. Una simulación que devuelve un resultado plausible pero numéricamente incorrecto podría conducir a diseños que fallan catastróficamente en el mundo real.

El éxito extraordinario de la industria de AI con computación de precisión reducida es un logro genuino, pero viene con una salvedad específica del dominio que la comunidad de computación científica es ansiosa por enfatizar: lo que funciona para el reconocimiento de patrones no funciona automáticamente para la física. Los números tienen que ser correctos, y correcto significa algo muy diferente cuando las vidas dependen de la precisión de la simulación.

Este artículo se basa en reportajes de IEEE Spectrum. Leer el artículo original.