Los benchmarks de IA deben convertirse en una ciencia, no en un marcador

Los benchmarks de inteligencia artificial pretenden hacer visible el progreso. Un modelo realiza una prueba estandarizada, obtiene una puntuación y permite comparar su rendimiento. Pero esa simplicidad puede ocultar un problema: el benchmark puede moldear el campo que intenta medir.

Moritz Hardt, director del Max Planck Institute for Intelligent Systems, afirma que el benchmarking moderno está fundamentalmente roto, aunque también ha impulsado el aprendizaje automático. Las puntuaciones se tratan con demasiada facilidad como prueba de inteligencia, capacidad o fiabilidad real.

Cuando la puntuación se convierte en el objetivo

Cuando una medida se convierte en objetivo, las instituciones optimizan la medida misma. En aprendizaje automático, esto puede producir sistemas excelentes en un conjunto de datos o clasificación fija, sin adquirir la capacidad más amplia que el benchmark debía captar.

Hardt ha advertido que los sistemas pueden mejorar su posición “sin hacer nada inteligente”. Una puntuación alta puede reflejar un avance genuino, pero también el ajuste del modelo a las peculiaridades de una prueba.

La proliferación de pruebas para grandes modelos lingüísticos ha hecho más visible el problema. El ciclo de crear y resolver benchmarks fomenta una carrera estrecha: encontrar la prueba, entrenar para ella, superar la puntuación anterior y seguir adelante.

Una historia de influencia desproporcionada

Los benchmarks han alterado repetidamente el rumbo de la investigación. En 1987, una prueba de DARPA sobre conversión automática de voz a texto mostró que los sistemas líderes no superaban métodos estadísticos sencillos, contribuyendo a una caída del interés y la financiación.

ImageNet tuvo el efecto contrario en 2012: destacó una red neuronal de ocho capas y ayudó a desencadenar la revolución del aprendizaje profundo. Los benchmarks no solo resumen el trabajo; también pueden definir qué cuenta como progreso.

En su libro de 2026, The Emerging Science of Machine Learning Benchmarks, Hardt los llama “el error que hizo posible el aprendizaje automático”, aunque reconoce que también contribuyeron al progreso real, en parte por azar.

Qué exigiría una mejor evaluación

Convertir el benchmarking en una ciencia más rigurosa implica tratar la evaluación como un problema de investigación continuo. Hay que preguntar qué mide exactamente la prueba, cuánto se parece al uso previsto y si los modelos se han adaptado específicamente a ella.

También hay que resistirse a reducir capacidades complejas a una sola cifra. Un modelo puede ser fuerte en una pregunta y débil en otra, o fallar cuando una tarea cambia ligeramente. En la práctica importan esos límites, no solo el rendimiento máximo.

El objetivo no es abandonar las evaluaciones estandarizadas, sino hacerlas más transparentes y menos vulnerables a la optimización superficial.

Las apuestas aumentan con la adopción de la IA

Los resultados de los benchmarks influyen cada vez más en compras, inversiones y decisiones sobre la preparación de un sistema. Una puntuación puede tener consecuencias económicas y sociales.

La crítica de Hardt recuerda que una clasificación ascendente no implica necesariamente una inteligencia más profunda. Las puntuaciones son pruebas, no veredictos.

Este artículo se basa en información de Quanta Magazine. Lea el artículo original.