Les benchmarks sur GPT-6 Astra se contredisent et révèlent une course à l’IA plus chaotique

GPT-6 Astra arrive avec de bons chiffres, des tableaux de bord contradictoires et une histoire d’efficacité plus nette

Le GPT-6 Astra d’OpenAI est accueilli de manière inhabituellement contradictoire : un agrégateur de benchmarks le place nettement en tête du peloton des modèles, un autre estime qu’il est seulement au niveau de son prédécesseur dans l’ensemble, et un test de raisonnement phare suggère une autre forme de percée. Le résultat offre un instantané révélateur de la course actuelle à l’IA, où la réponse à la question « quel modèle est le meilleur ? » dépend de plus en plus de ce qui est mesuré et de la quantité de calcul nécessaire pour y parvenir.

Selon le résumé du Decoder des évaluations nouvellement publiées, Epoch AI combine plus de 50 benchmarks dans son score ECI et place GPT-6 Astra en première position avec 169 points, devant 267 modèles. Artificial Analysis, en revanche, attribue à Astra 61 points dans son Intelligence Index, exactement le même score que son prédécesseur Sol, et derrière Claude Fable 5.1 d’Anthropic à 66. Ce désaccord n’est pas une simple note méthodologique. Il touche au cœur de la façon dont l’industrie interprète aujourd’hui les progrès à la frontière.

Pour les lecteurs qui tentent de comprendre cette divergence, l’explication la plus simple est que ces suites de benchmarks mettent l’accent sur des choses différentes. Un composite large peut récompenser des gains réguliers sur une grande variété de tâches, tandis qu’un autre peut sanctionner plus sévèrement des performances plus faibles dans des domaines ciblés comme la recherche d’informations, le codage ou la compréhension de longs contextes. Un même modèle peut donc paraître leader décisif dans un cadre et simple mouvement latéral dans un autre.

L’efficacité est peut-être le signal le plus important

La thèse la plus frappante du rapport fourni ne concerne pas seulement la position brute dans les scores. Elle concerne l’efficacité. Le Decoder indique qu’Astra n’utilise qu’environ un tiers des étapes de calcul utilisées par Sol et un cinquième de ce qu’utilise Opus 5. Sur les tâches de codage, Artificial Analysis aurait trouvé Astra au niveau de Claude Fable 5 tout en coûtant moins de la moitié par tâche. Ce type de résultat compte, car la concurrence de pointe ne consiste plus seulement à atteindre la meilleure réponse. Elle consiste à savoir à quel coût un modèle peut y parvenir.

Cette distinction devient encore plus nette dans le profil tarifaire du modèle. OpenAI facturerait Astra deux fois et demie plus cher par unité de texte traité que Sol, rendant une tâche environ 75 % plus coûteuse qu’auparavant. À première vue, cela ressemble à une forte hausse de coût. Pourtant, le récit du Decoder suggère que l’économie de calcul d’Astra modifie la comparaison selon le concurrent. Face à son propre prédécesseur, Astra paraît plus cher. Face à des modèles concurrents qui consomment beaucoup plus de calcul, il peut malgré tout sembler relativement efficient pour certaines charges de travail.

En pratique, c’est la nouvelle tension du marché de pointe. Un modèle peut être plus cher au niveau de l’API tout en améliorant la valeur s’il accomplit le travail avec moins d’étapes de raisonnement, moins de tokens consommés, ou de meilleurs taux de réussite sur des tâches à forte valeur. Pour les développeurs et les acheteurs d’entreprise, ces arbitrages compteront probablement davantage qu’une simple position dans un classement.

ARC-AGI-3 change la conversation

Le résultat le plus spectaculaire du rapport provient d’ARC-AGI-3, un benchmark construit autour de mondes de jeu inconnus. Là, GPT-6 Astra aurait atteint 62,7 %, bien au-dessus des 7,8 % de Sol et nettement devant les 30,2 % d’Opus 5. L’article indique qu’Astra a été, pour la première fois, plus efficace que l’humain moyen sur ce test. François Chollet, responsable d’ARC Prize, est décrit comme ayant déclaré que le rythme des progrès était environ deux fois plus rapide qu’il ne l’avait prévu et qu’il avait avancé sa prévision d’AGI.

Même avec ce cadrage, la leçon plus large ne porte pas tant sur un pourcentage spectaculaire que sur le type de capacité récompensé. Les évaluations de type ARC sont conçues pour tester l’abstraction et l’adaptation, plutôt que la simple mémorisation. De bonnes performances y ont une portée symbolique, car elles sont souvent considérées comme la preuve que les modèles deviennent meilleurs pour traiter des structures inconnues, et pas seulement pour reproduire des schémas vus pendant l’entraînement.

Le même texte fourni précise toutefois qu’Astra n’est pas uniformément plus fort partout. Artificial Analysis aurait montré que le modèle perdait environ 80 points Elo sur GDPval-AA v2 et reculait sur le support bancaire, SciCode et les tâches de raisonnement à long contexte. Ce profil inégal est important. Il suggère qu’Astra pourrait être un système plus spécialisé ou davantage optimisé de manière agressive, plutôt qu’une amélioration homogène sur tous les axes.

Des sorties plus propres, des gains inégaux

L’une des améliorations les plus concrètes d’Astra pourrait être sa réduction du taux d’hallucination. Sur AA-Omniscience, Le Decoder rapporte une baisse de 92 % à 51 %. Le taux reste élevé, mais le changement est suffisamment important pour compter opérationnellement dans des flux de travail où des affirmations non fondées créent un risque. Pour les équipes d’IA appliquée, de telles réductions peuvent être plus précieuses qu’un léger déplacement dans un classement, surtout dans la recherche, le codage et l’aide à la décision en entreprise, où la fiabilité conditionne l’adoption.

Le rapport mentionne aussi une performance rare sur un benchmark mathématique difficile. Epoch AI affirme qu’Astra a été le seul modèle à résoudre deux des 68 problèmes ouverts FrontierMath Erdős avec des preuves vérifiées sous Lean, dans un budget de 300 dollars par tentative. Trois solutions supplémentaires sont apparues dans des exécutions additionnelles, non standardisées, qui ont consommé plus de 220 000 dollars de calcul, mais elles n’ont pas été comptabilisées dans le score. Cette précision est cruciale. Elle montre à la fois le plafond du potentiel du modèle et l’importance d’une évaluation contrainte par le coût lorsqu’on compare les systèmes de manière équitable.

Un lancement de modèle qui expose les limites de la pensée par classement

L’image initiale d’Astra n’est donc ni un simple emballement ni une déception directe. C’est une étude de cas expliquant pourquoi l’évaluation de l’IA de pointe est devenue plus difficile à réduire à un seul classement. Une famille de benchmarks dit qu’Astra est le leader. Une autre dit qu’il est simplement à égalité avec son prédécesseur dans l’ensemble. Un benchmark de raisonnement suggère un bond particulièrement important dans la résolution efficace de problèmes. Les mesures par tâche montrent des gains en économie de codage et en baisse des hallucinations, mais aussi des reculs dans d’autres domaines.

Cette complexité est probablement la véritable histoire. À mesure que les modèles mûrissent, l’industrie s’éloigne d’une époque où un seul score de titre pouvait résumer la capacité. GPT-6 Astra semble être un modèle dont l’importance tient à des avancées sélectives, surtout en matière d’efficacité et de certaines formes de raisonnement abstrait, plutôt qu’à une domination universelle. Pour les acheteurs, les chercheurs et les concurrents, cela le rend plus intéressant qu’une victoire nette ne l’aurait été, car cela laisse entrevoir où la prochaine phase de la course à l’IA pourrait réellement se jouer.

Cet article s’appuie sur le reportage du Decoder. Lire l’article original.