L’affirmation d’OpenAI sur ARC-AGI-3 dépend du dispositif de test

OpenAI dit avoir repris la tête sur ARC-AGI-3, mais la controverse porte surtout sur l’outillage

OpenAI affirme que son modèle GPT-5.6 Sol a atteint 38.3 % sur ARC-AGI-3, un score qui le placerait devant Claude Opus 5 d’Anthropic à 30.2 % sur le même benchmark. Sur le papier, cela ressemble à un renversement simple dans une compétition suivie de près sur le raisonnement abstrait. En pratique, l’affirmation est plus complexe. Le résultat plus élevé dépend de l’exécution de GPT-5.6 Sol avec l’API Responses d’OpenAI et avec deux réglages spécifiques qui ne font pas partie du cadre de test standard du benchmark.

Cette distinction compte parce qu’ARC-AGI-3 est conçu pour mesurer la façon dont un modèle traite des problèmes logiques inconnus, et non la capacité d’un fournisseur à envelopper son modèle dans une infrastructure propre au produit. Selon le texte source fourni, GPT-5.6 Sol n’a obtenu que 7.8 % dans le cadre officiel, où le raisonnement du modèle est abandonné après chaque action. Le score bien plus élevé d’OpenAI provient de « Retained Reasoning », qui conserve la chaîne de pensée du modèle entre les étapes, et de « Compaction », qui résume le contexte ancien au lieu de le supprimer.

Le résultat alimente donc un débat qui dépasse largement une simple mise à jour du classement. Il pose une question devenue centrale dans l’évaluation de l’IA : lorsque les systèmes progressent grâce à la gestion de la mémoire, du contexte et de la conception des API, où faut-il tracer la frontière entre la capacité du modèle et l’infrastructure produit qui l’entoure ?

Pourquoi ARC-AGI-3 est devenu un tel point de cristallisation

Les benchmarks de type ARC occupent une place particulière dans l’industrie de l’IA parce qu’ils cherchent à évaluer la généralisation plutôt que la mémorisation. Les tâches visent à déterminer si un système peut inférer des règles et résoudre de nouveaux casse-têtes, ce qui les rend particulièrement attrayantes pour les chercheurs et les fournisseurs qui veulent prouver des progrès plus larges en raisonnement. C’est aussi ce qui rend les désaccords sur le dispositif si sensibles. Un benchmark conçu pour isoler les performances du modèle devient plus difficile à interpréter si le résultat d’un fournisseur dépend de fonctionnalités extérieures à l’environnement standard.

L’argument d’OpenAI, tel que décrit dans le texte source, est que les benchmarks ne mesurent jamais seulement le modèle. Ils mesurent aussi la configuration technique autour de lui. Cette position reflète une réalité plus large du secteur. Dans les produits déployés, les modèles fonctionnent rarement seuls. Ils dépendent de couches d’orchestration, de fenêtres de contexte, de systèmes de recherche, de l’usage d’outils et de la gestion d’état. Si un benchmark ignore ces composants, les fournisseurs peuvent raisonnablement soutenir qu’il sous-estime les performances réelles.

Mais ARC-AGI-3 n’a pas été conçu pour refléter chaque choix de déploiement du monde réel. Il a été conçu pour standardiser suffisamment l’environnement afin de rendre les comparaisons entre fournisseurs significatives. C’est pourquoi le cadre officiel du benchmark compte autant dans cette discussion. Lorsqu’OpenAI publie un score bien plus élevé en dehors de ce cadre, cela peut montrer une pile produit plus performante, sans pour autant prouver qu’un modèle de base est meilleur selon les règles d’origine du benchmark.

Les deux réglages qui ont changé l’issue

Le texte source identifie deux fonctions d’OpenAI à l’origine du bond. La première, Retained Reasoning, conserve la chaîne de pensée du modèle entre les étapes. La seconde, Compaction, résume le contexte ancien au lieu de le tronquer. Ensemble, ces réglages semblent remédier à la faiblesse qui freinait GPT-5.6 Sol dans le cadre officiel, où le raisonnement intermédiaire était perdu après chaque action.

Ce type de persistance peut être décisif dans les tâches de raisonnement multi-étapes. Si un modèle peut conserver ses déductions antérieures et les compresser en un contexte exploitable, il peut éviter de reconstruire sans cesse son propre état interne. Autrement dit, le résultat du benchmark change non pas parce que le problème a changé, mais parce que le système peut mieux se souvenir pendant qu’il le résout.

L’affirmation d’OpenAI semble donc reposer sur une interprétation plus large de ce qu’est réellement le système testé. Si le « système » inclut le comportement de l’API du fournisseur et les fonctions de gestion de la mémoire, alors le score de 38.3 % est pertinent. Si le « système » est censé être le modèle dans une interface neutre et standardisée, la valeur officielle de 7.8 % reste le point de comparaison le plus direct.

La réponse d’ARC Prize laisse place aux deux lectures

Le texte source indique que François Chollet, cofondateur d’ARC Prize, a répondu en distinguant deux catégories de dispositifs de test. Les cadres personnalisés conçus spécifiquement pour résoudre le benchmark ou qui contiennent des connaissances sur son format sont interdits. En revanche, les réglages d’API généralistes accessibles à tous les utilisateurs sont acceptables. Chollet a aussi déclaré qu’ARC Prize menait des discussions avec OpenAI sur la meilleure manière de tester ses modèles, en particulier autour de la compaction, et a salué le fait que l’entreprise commence « à trouver la réponse ».

Cette réponse est notable parce qu’elle ne rejette pas le score d’OpenAI d’emblée. Elle suggère plutôt qu’ARC Prize considère certains réglages propres au fournisseur comme légitimes, tant qu’ils sont généralistes, largement disponibles et divulgués de manière transparente avec leur coût. Dans le même temps, le texte source note que le fait que différents fournisseurs utilisent des réglages différents crée un problème potentiel de parité. Autrement dit, l’organisateur du benchmark semble prêt à tolérer une certaine asymétrie, tout en reconnaissant qu’elle complique les comparaisons directes.

Le débat se déplace donc de la question de savoir si le résultat d’OpenAI est valide vers celle de savoir quel type de validité il possède. Il peut être valide comme mesure de GPT-5.6 Sol utilisé via la pile API actuelle d’OpenAI. Il l’est moins clairement comme résultat de benchmark propre et comparable à des modèles testés selon d’autres hypothèses.

Ce que cet épisode dit de l’évaluation de l’IA aujourd’hui

La controverse illustre une transition plus large dans l’évaluation de l’IA. À mesure que les systèmes de pointe deviennent plus agentifs et plus dépendants de workflows de long terme, les performances sur benchmark dépendront de plus en plus de choix de conception à l’exécution, et pas seulement des poids du modèle. La conservation de la mémoire, la compression du contexte, l’orchestration des étapes et la conception de l’interface peuvent tous modifier les résultats. Cela pose un problème à quiconque tente de comparer des fournisseurs au moyen d’un seul classement statique.

Cela signifie aussi que les utilisateurs de benchmarks doivent poser des questions plus précises. Le modèle a-t-il été testé dans une configuration par défaut ? Des fonctions propres au fournisseur ont-elles été activées ? Le cadre a-t-il conservé le raisonnement intermédiaire ? Les coûts et les réglages ont-ils été divulgués ? Un score en tête d’affiche sans ce contexte devient moins informatif qu’auparavant.

Pour OpenAI, l’annonce montre que l’entreprise entend contester l’élan récent d’Anthropic sur les benchmarks. Pour ARC Prize, la réponse suggère une volonté pragmatique d’adapter les règles aux réalités actuelles des API, à condition que ces adaptations ne soient pas des bricolages spécifiques au benchmark. Et pour l’industrie au sens large, la leçon porte moins sur qui est premier un jour donné que sur la difficulté croissante à définir un test « équitable » lorsque la performance du modèle dépend de l’intelligence de la couche produit.

Cela ne rend pas le benchmark inutile. Cela rend la transparence plus importante. Le score de 38.3 % d’OpenAI est significatif comme preuve que GPT-5.6 Sol peut faire beaucoup mieux lorsque son raisonnement est conservé et que son contexte est compacté plutôt que tronqué. Le score officiel de 7.8 % est significatif comme preuve que le même modèle se comporte bien moins bien dans le cadre standard plus strict du benchmark. Les deux chiffres décrivent quelque chose de réel. Ils ne décrivent simplement pas la même chose.

Cet article est basé sur un reportage du site The Decoder. Lire l’article original.