OpenAI dice que recuperó el liderazgo en ARC-AGI-3, pero la disputa del benchmark en realidad trata sobre las herramientas
OpenAI afirma que su modelo GPT-5.6 Sol alcanzó un 38.3% en ARC-AGI-3, una puntuación que lo situaría por delante de Claude Opus 5 de Anthropic, con un 30.2% en el mismo benchmark. Sobre el papel, eso suena como una reversión sencilla en una competencia muy seguida sobre razonamiento abstracto. En la práctica, la afirmación es más compleja. El resultado más alto depende de ejecutar GPT-5.6 Sol con la propia Responses API de OpenAI y con dos ajustes específicos que no forman parte del marco de prueba estándar del benchmark.
Esa distinción importa porque ARC-AGI-3 está diseñado para medir qué tan bien un modelo maneja problemas lógicos desconocidos, no qué tan bien un proveedor puede envolver su modelo en infraestructura específica de producto. Según el texto fuente proporcionado, GPT-5.6 Sol obtuvo solo un 7.8% en el marco oficial, donde el razonamiento del modelo se descarta después de cada acción. La puntuación mucho más alta de OpenAI provino de usar “Retained Reasoning”, que preserva la cadena de pensamiento del modelo entre pasos, y “Compaction”, que resume el contexto anterior en lugar de descartarlo.
El resultado es un debate que va más allá de una simple actualización de la tabla de posiciones. Plantea una pregunta que hoy es central en la evaluación de IA: cuando los sistemas mejoran por su manejo de memoria, gestión de contexto y diseño de API, ¿dónde debe trazarse la línea entre la capacidad del modelo y la infraestructura de soporte del producto?
Por qué ARC-AGI-3 se ha convertido en un foco de conflicto
Los benchmarks de estilo ARC tienen un estatus inusual en la industria de la IA porque buscan evaluar la generalización y no la memorización. Las tareas están pensadas para comprobar si un sistema puede inferir reglas y resolver rompecabezas nuevos, lo que las hace especialmente atractivas para investigadores y proveedores que buscan pruebas de un progreso más amplio en razonamiento. Esa también es la razón por la que las disputas sobre la configuración se vuelven tan sensibles. Un benchmark creado para aislar el rendimiento del modelo se vuelve más difícil de interpretar si el resultado de un proveedor depende de funciones fuera del entorno estándar.
El argumento de OpenAI, según describe el texto fuente, es que los benchmarks nunca miden solo el modelo. También miden la configuración técnica que lo rodea. Esa postura refleja una realidad más amplia del sector. En los productos desplegados, los modelos rara vez funcionan solos. Dependen de capas de orquestación, ventanas de contexto, sistemas de recuperación, uso de herramientas y gestión de estado. Si un benchmark ignora esos componentes, los proveedores pueden argumentar con razón que subestima el rendimiento en el mundo real.
Pero ARC-AGI-3 no fue diseñado para reflejar todas las decisiones de implementación del mundo real. Fue diseñado para estandarizar lo suficiente el entorno como para que las comparaciones entre proveedores tengan sentido. Por eso el marco oficial del benchmark importa tanto en esta conversación. Cuando OpenAI publica una puntuación mucho más alta fuera de ese marco, puede estar mostrando una pila de producto más capaz, pero no necesariamente demostrando que el modelo base sea más fuerte bajo las reglas originales del benchmark.
Los dos ajustes que cambiaron el resultado
El texto fuente identifica dos funciones de OpenAI detrás del salto. La primera, Retained Reasoning, mantiene la cadena de pensamiento del modelo entre pasos. La segunda, Compaction, resume el contexto antiguo en lugar de truncarlo. Juntas, esas configuraciones parecen abordar la debilidad que frenaba a GPT-5.6 Sol en el marco oficial, donde el razonamiento intermedio se perdía después de cada acción.
Ese tipo de persistencia puede ser decisiva en tareas de razonamiento de varios pasos. Si un modelo puede conservar deducciones previas y comprimirlas en un contexto utilizable, puede evitar reconstruir repetidamente su propio estado interno. En otras palabras, el resultado del benchmark cambia no porque el rompecabezas haya cambiado, sino porque el sistema puede recordar de forma más eficaz mientras lo resuelve.
Por lo tanto, la afirmación de OpenAI parece basarse en una interpretación más amplia de lo que realmente es el sistema evaluado. Si el “sistema” incluye el comportamiento de la API del proveedor y las funciones de gestión de memoria, entonces la puntuación del 38.3% es relevante. Si el “sistema” debería ser el modelo bajo una interfaz neutral y estandarizada, la cifra oficial del 7.8% sigue siendo el punto de comparación más directo.
La respuesta de ARC Prize deja espacio para ambas posturas
El texto fuente dice que François Chollet, cofundador de ARC Prize, respondió distinguiendo entre dos clases de configuraciones de prueba. Los marcos personalizados creados específicamente para resolver el benchmark o que contienen conocimiento sobre el formato del benchmark están fuera de límites. En cambio, los ajustes de API de propósito general disponibles para todos los usuarios son aceptables. Chollet también dijo que ARC Prize mantenía conversaciones con OpenAI sobre la mejor manera de probar sus modelos, especialmente en torno a la compaction, y dio la bienvenida a que la empresa “empiece a encontrar la respuesta”.
Esa respuesta es notable porque no rechaza de plano la puntuación de OpenAI. Más bien, sugiere que ARC Prize considera legítimos algunos ajustes específicos del proveedor siempre que sean de propósito general, estén ampliamente disponibles y se informen de forma transparente junto con el costo. Al mismo tiempo, el texto fuente señala que distintos proveedores usando diferentes ajustes crea un posible problema de paridad. En otras palabras, el organizador del benchmark parece dispuesto a tolerar cierta asimetría, aunque reconoce que complica las comparaciones directas.
Esto desplaza efectivamente el argumento de si el resultado de OpenAI es válido a qué tipo de validez tiene. Puede ser válido como medición de GPT-5.6 Sol usado a través de la pila actual de API de OpenAI. Menos claro es que sea válido como un resultado limpio y comparable de benchmark frente a modelos probados bajo supuestos distintos.
Lo que este episodio dice sobre la evaluación de IA hoy
La disputa ilustra una transición más amplia en la evaluación de IA. A medida que los sistemas de frontera se vuelven más agénticos y dependen más de flujos de trabajo de largo horizonte, el rendimiento en benchmarks dependerá cada vez más de decisiones de diseño en tiempo de ejecución, no solo de los pesos del modelo subyacente. La retención de memoria, la compresión de contexto, la orquestación de pasos y el diseño de la interfaz pueden alterar los resultados. Eso crea un problema para cualquiera que intente comparar proveedores mediante un único ranking estático.
También significa que quienes consumen benchmarks necesitan hacer preguntas más precisas. ¿Se probó el modelo en una configuración predeterminada? ¿Se activaron funciones específicas del proveedor? ¿El marco preservó el razonamiento intermedio? ¿Se divulgaron los costos y los ajustes? Una puntuación destacada sin ese contexto está pasando a ser menos informativa que antes.
Para OpenAI, el anuncio muestra que la empresa está decidida a disputar el impulso reciente de Anthropic en benchmarks. Para ARC Prize, la respuesta sugiere una disposición pragmática a adaptar las reglas a las realidades de las API modernas, siempre que las adaptaciones no sean trucos específicos del benchmark. Y para la industria en general, la lección tiene menos que ver con quién va primero en un día concreto y más con lo difícil que se ha vuelto definir una prueba “justa” cuando el rendimiento del modelo depende de la inteligencia de la capa de producto.
Eso no vuelve irrelevante al benchmark. Vuelve más importante la divulgación. La puntuación del 38.3% de OpenAI es significativa como evidencia de que GPT-5.6 Sol puede rendir mucho mejor cuando su razonamiento se retiene y su contexto se compacta en lugar de truncarse. La cifra oficial del 7.8% es significativa como evidencia de que el mismo modelo rinde mucho peor bajo el marco estándar más estricto del benchmark. Ambos números describen algo real. Solo que no describen lo mismo.
Este artículo está basado en la cobertura de The Decoder. Leer el artículo original.
Originally published on the-decoder.com