GPT-6 Astra d'OpenAI peut repérer les erreurs de montage IKEA avec 80 % de précision

Quiconque a déjà terminé une bibliothèque en kit pour découvrir une vis supplémentaire roulant sur le sol connaît cette angoisse sourde d'un montage IKEA qui a mal tourné. Il existe désormais peut-être une machine capable de trancher le débat. Selon le Furniture Assembly Benchmark (FAB) d'Epoch AI, GPT-6 Astra d'OpenAI peut examiner la photographie d'un meuble en cours de montage et identifier précisément où l'assemblage a déraillé, avec un score de 80 % de précision sur cette tâche.

Ce résultat survient environ dix mois après que le meilleur performeur du benchmark, Claude Opus 4.5, n'avait atteint que 28 %. Ce bond, d'un échec quasi total à la détection de la grande majorité des erreurs introduites, constitue le titre principal de la dernière mise à jour du classement FAB.

Comment fonctionne le Furniture Assembly Benchmark

FAB est délibérément banal, et c'est apparemment tout l'intérêt. Le benchmark photographie trois meubles IKEA pendant leur assemblage, avec des erreurs délibérément introduites en cours de route. Un modèle se voit ensuite présenter ces photos accompagnées des instructions du fabricant, et doit faire deux choses à la fois : localiser l'erreur et décrire en mots ce qui n'a pas fonctionné.

C'est cette combinaison qui rend la tâche plus difficile qu'un simple problème de classification d'images. Le modèle ne peut pas se contenter de signaler que quelque chose semble anormal. Il doit localiser une erreur à l'intérieur d'un objet partiellement assemblé, puis l'expliquer assez clairement pour qu'un humain puisse agir sur la base de cette description. Le benchmark fusionne donc raisonnement visuel, suivi d'instructions et génération de langage en un seul score.

Les meubles en kit s'avèrent être un test de résistance utile précisément parce qu'ils sont ennuyeux. Les pièces sont rigides, les instructions sont schématiques et la justesse est sans ambiguïté. Soit le rail d'étagère est monté sur la mauvaise face, soit il ne l'est pas. Il y a très peu de place pour le type de jugement subjectif qui peut brouiller les évaluations basées sur des images.

De 28 % à 80 % en dix mois

L'ampleur de l'amélioration est l'élément le plus frappant de cette mise à jour. En novembre 2025, le modèle le plus performant disponible obtenait bien moins d'un tiers du benchmark. Dix mois plus tard, le leader approche du point où l'outil aurait raison bien plus souvent qu'il n'aurait tort.

• Novembre 2025 : Claude Opus 4.5 mène le peloton à 28 %.
• Septembre 2026 : GPT-6 Astra d'OpenAI atteint 80 %, avec une moyenne d'environ trois minutes par photo.
• Claude Fable 5.1 se situe à 70 %.
• Claude Opus 5 atteint 61 %.
• Les modèles chinois à poids ouverts tels que Kimi K3 accusent un retard d'au moins sept mois sur les leaders.

Trois des cinq points de données décrivent un domaine regroupé dans une bande significative plutôt qu'un vainqueur unique qui s'envole. Astra détient un avantage, mais Fable 5.1 est suffisamment proche pour que l'ordre puisse changer lors de la prochaine vague de sorties. L'écart le plus révélateur est celui entre la frontière et les challengers à poids ouverts, où Kimi K3 et ses pairs restent environ sept mois en retard.

Pourquoi la courbe s'est infléchie si brutalement

La source présente ce gain comme faisant partie d'une évolution plus large plutôt que comme un exploit isolé. Les modèles échouaient à des tâches visuelles bien plus simples il n'y a pas si longtemps, ce qui rend notable un résultat de 80 % sur un problème d'inspection en plusieurs étapes. À mesure que les systèmes vision-langage sont devenus meilleurs pour ancrer leurs descriptions dans ce qui est réellement visible sur une image, les benchmarks construits autour d'objets physiques sont devenus traitables d'une manière qui ne l'était pas auparavant.

La vitesse reste le goulot d'étranglement

Une réserve importante accompagne le score d'Astra : trois minutes par photo. C'est bien trop lent pour une assistance au montage en temps réel, le scénario que la plupart des gens imagineraient en premier. Un assistant qui met trois minutes à rendre un verdict n'est pas utile quand vous avez les mains occupées et que vous êtes à mi-chemin de l'étape quatre.

Les chercheurs considèrent néanmoins cette capacité comme un tremplin. Ils suggèrent que la compétence sous-jacente pourrait à terme être orientée vers des tâches telles que la réparation automobile ou la réparation d'appareils, où un modèle comparerait la photo d'un système défaillant ou partiellement démonté à sa documentation pour décrire la panne. Ces domaines sont plus désordonnés qu'une étagère : les composants sont cachés, l'éclairage varie et des réparations antérieures peuvent laisser une machine dans un état non standard.

La vitesse est aussi, en principe, un problème plus facile à attaquer que la précision. Les coûts d'inférence ont eu tendance à baisser et le débit à augmenter au fil des générations successives de modèles, si bien qu'un délai de trois minutes aujourd'hui en dit plus sur l'état actuel de l'art que sur un quelconque plafond absolu.

Au-delà du meuble en kit : la robotique visuelle

Le résultat du benchmark ne se limite pas à lui-même. Astra est également performant sur les tâches de robotique visuelle, selon la source, ce qui suggère que la même capacité sous-jacente — lire une scène et raisonner sur l'agencement physique — se transfère au-delà des photographies statiques de meubles.

Ce lien compte parce que la robotique a toujours été limitée moins par les actionneurs que par la perception et le bon sens. Un robot capable de regarder un assemblage à moitié terminé, de le comparer à un plan et de dire ce qui ne va pas fait quelque chose de structurellement similaire à la manipulation : il construit un modèle interne de l'état correct d'un objet et le compare à la réalité. La détection d'erreurs de ce type est un précurseur logique de la correction d'erreurs.

Un benchmark conçu pour rester honnête

La conception de FAB dit aussi quelque chose de la maturation de l'évaluation de l'IA. Plutôt que de tester la résolution de puzzles abstraits, elle emprunte une tâche de la vie ordinaire et y introduit des défauts contrôlés, ce qui rend la notation objective et reproductible. Les erreurs délibérées peuvent être cataloguées, de sorte qu'une réponse correcte est vérifiable et qu'une réponse fausse est incontestable.

Le prix de cette rigueur est l'étroitesse. Trois meubles IKEA constituent un petit échantillon, et y réussir ne garantit pas de réussir sur une armoire de cuisine ou un vélo. Mais comme signal directionnel des progrès du raisonnement visuel, le benchmark est exceptionnellement lisible : il mesure si un modèle peut regarder un objet physique et vous dire ce qui ne va pas avec lui.

Ce qu'il faut surveiller ensuite

Trois choses détermineront si ce résultat ressemble à un jalon ou à une note de bas de page. La première est de savoir si l'avance d'Astra sur Fable 5.1 et Opus 5 se creuse ou se réduit dans les mois à venir. La deuxième est de savoir si les temps d'inférence baissent suffisamment pour rendre plausible une assistance en temps réel. La troisième est de savoir si la compétence de détection d'erreurs se généralise du meuble en kit aux tâches de réparation plus désordonnées que les chercheurs ont en tête.

Pour l'instant, la conclusion pratique est modeste mais réelle : la technologie qui ne pouvait pas repérer de manière fiable une équerre d'étagère inversée il y a moins d'un an peut désormais identifier l'erreur huit fois sur dix et l'expliquer. Quiconque s'est déjà disputé avec un partenaire sur le sens d'une cheville peut considérer ce progrès comme bienvenu.

Cet article est basé sur un reportage de The Decoder. Lire l'article original.