La división de los benchmarks sobre GPT-6 Astra revela una carrera de IA más desordenada

GPT-6 Astra llega con cifras sólidas, marcadores contradictorios y una historia de eficiencia más clara

GPT-6 Astra de OpenAI está siendo recibido de una forma inusualmente contradictoria: un agregador de benchmarks lo sitúa claramente a la cabeza del grupo de modelos, otro dice que apenas está a la par de su predecesor en términos generales, y una prueba emblemática de razonamiento sugiere un tipo de avance completamente distinto. El resultado es una imagen reveladora de la carrera actual de la IA, donde la respuesta a “¿qué modelo es mejor?” depende cada vez más de qué se mide y cuántos recursos de cómputo se necesitan para lograrlo.

Según el resumen de The Decoder sobre evaluaciones recién publicadas, Epoch AI combina más de 50 benchmarks en su puntuación ECI y coloca a GPT-6 Astra en el primer lugar con 169 puntos, por delante de 267 modelos. Artificial Analysis, en cambio, otorga a Astra 61 puntos en su Intelligence Index, exactamente lo mismo que su predecesor Sol y por detrás de Claude Fable 5.1 de Anthropic, con 66. La discrepancia no es una pequeña nota metodológica. Va al corazón de cómo la industria interpreta actualmente el progreso de frontera.

Para los lectores que intentan entender esta división, la explicación más simple es que estas suites de benchmarks ponen el foco en cosas distintas. Un compuesto amplio puede recompensar mejoras consistentes en una amplia gama de tareas, mientras que otro puede castigar con mayor dureza un rendimiento más débil en dominios concretos como recuperación de conocimiento, programación o comprensión de contexto largo. Por ello, un mismo modelo puede parecer un líder decisivo en un marco y solo un movimiento lateral en otro.

La eficiencia podría ser la señal más importante

La afirmación más llamativa del informe proporcionado no se refiere solo a la posición en la puntuación bruta. Se refiere a la eficiencia. The Decoder dice que Astra utiliza apenas alrededor de un tercio de los pasos de cómputo usados por Sol y una quinta parte de lo que usa Opus 5. En tareas de programación, Artificial Analysis habría encontrado que Astra iguala a Claude Fable 5 mientras cuesta menos de la mitad por tarea. Ese tipo de resultado importa porque la competencia de frontera ya no consiste solo en llegar a la mejor respuesta. Se trata de cuán económicamente puede un modelo llegar a ella.

Ese contraste se vuelve aún más claro en el perfil de precios del modelo. OpenAI supuestamente cobra dos veces y media más por unidad de texto procesado para Astra que para Sol, lo que hace que una tarea sea aproximadamente un 75% más cara que antes. A primera vista, eso parece un aumento sustancial del costo. Sin embargo, el informe de The Decoder sugiere que la frugalidad de Astra en cómputo cambia la comparación según el competidor. Frente a su propio predecesor, Astra parece más caro. Frente a modelos rivales que consumen mucha más computación, todavía puede parecer relativamente eficiente para ciertas cargas de trabajo.

En términos prácticos, esta es la nueva tensión del mercado de frontera. Un modelo puede ser más caro a nivel de API y, aun así, mejorar el valor si completa el trabajo con menos pasos de razonamiento, menor consumo de tokens o mejores tasas de éxito en tareas de alto valor. Para desarrolladores y compradores empresariales, es probable que esas compensaciones importen más que cualquier posición individual en un ranking.

ARC-AGI-3 cambia la conversación

El resultado más llamativo del informe viene de ARC-AGI-3, un benchmark construido en torno a mundos de juego desconocidos. Allí, GPT-6 Astra habría alcanzado 62,7%, muy por encima del 7,8% de Sol y también por delante del 30,2% de Opus 5. El artículo dice que Astra fue, por primera vez, más eficiente que el humano promedio en esa prueba. François Chollet, responsable de ARC Prize, es descrito como alguien que dijo que el ritmo de progreso era aproximadamente el doble de lo que esperaba y que adelantó su previsión sobre la AGI.

Aun con ese marco, la lección más amplia no trata tanto de un porcentaje dramático como del tipo de capacidad que se premia. Las evaluaciones al estilo ARC están diseñadas para examinar la abstracción y la adaptación, no la memorización simple. Un buen desempeño allí tiene peso simbólico porque a menudo se toma como evidencia de que los modelos están mejorando en el manejo de estructuras desconocidas, no solo en la reproducción de patrones vistos durante el entrenamiento.

Aun así, el mismo texto deja claro que Astra no es uniformemente más fuerte en todas partes. Artificial Analysis habría mostrado que el modelo pierde unos 80 puntos Elo en GDPval-AA v2 y retrocede en tareas de soporte bancario, SciCode y razonamiento de contexto largo. Ese perfil desigual es importante. Sugiere que Astra puede ser un sistema más especializado o más agresivamente optimizado, en lugar de una mejora plana en todos los ejes.

Salidas más limpias, ganancias desiguales

Una de las mejoras más prácticas de Astra podría ser su menor tasa de alucinación. En AA-Omniscience, The Decoder informa una caída del 92% al 51%. Sigue siendo una tasa de alucinación considerable, pero el cambio es lo bastante grande como para importar operativamente en flujos de trabajo donde las afirmaciones sin respaldo crean riesgo. Para los equipos de IA aplicada, reducciones así pueden ser más valiosas que un movimiento marginal en un ranking, especialmente en investigación, programación y apoyo a decisiones de negocio, donde la fiabilidad condiciona la adopción.

El informe también señala un rendimiento poco habitual en un benchmark matemático difícil. Epoch AI dice que Astra fue el único modelo que resolvió dos de 68 problemas abiertos de FrontierMath Erdős con pruebas verificadas por Lean dentro de un presupuesto de 300 dólares por intento. Otras tres soluciones aparecieron en ejecuciones adicionales, no estandarizadas, que usaron más de 220.000 dólares en cómputo, pero no contaron para la puntuación. Esa salvedad es crucial. Muestra tanto el techo del potencial del modelo como la importancia de una evaluación con límite de coste al comparar sistemas de forma justa.

Un lanzamiento de modelo que expone los límites del pensamiento basado en rankings

La imagen inicial de Astra, por tanto, no es ni puro entusiasmo ni una decepción directa. Es un estudio de caso de por qué la evaluación de la IA de frontera se ha vuelto más difícil de reducir a una sola clasificación. Una familia de benchmarks dice que Astra es el líder. Otra dice que apenas está empatado con su predecesor en términos generales. Un benchmark de razonamiento sugiere un salto especialmente importante en la resolución eficiente de problemas. Las mediciones por tarea muestran mejoras en economía de programación y menor alucinación, pero también retrocesos en otras áreas.

Esa complejidad probablemente sea la verdadera historia. A medida que los modelos maduran, la industria deja atrás una era en la que una sola cifra titular podía sustituir la capacidad. GPT-6 Astra parece ser un modelo cuyo significado reside en avances selectivos, especialmente en eficiencia y en ciertas formas de razonamiento abstracto, más que en un dominio universal. Para compradores, investigadores y competidores, eso lo hace más interesante de lo que habría sido una victoria limpia, porque sugiere dónde podría decidirse realmente la siguiente fase de la carrera de la IA.

Este artículo se basa en la cobertura de The Decoder. Leer el artículo original.