Un nouveau benchmark montre pourquoi les vidéos d’IA plus belles échouent encore à la logique de base du monde

Les vidéos d’IA sont devenues plus convaincantes, mais pas forcément plus sensées

La dernière génération de systèmes de vidéo IA peut produire des clips de plus en plus soignés, avec des mouvements plus fluides, un éclairage plus marqué et des textures plus réalistes que les modèles précédents. Mais un nouveau benchmark élaboré par des chercheurs de l’université Tsinghua soutient que la qualité visuelle masque une limite plus profonde : de nombreux systèmes ne comprennent toujours pas comment le monde est censé fonctionner.

Le benchmark, appelé WorldReasonBench, a été conçu pour mesurer si un modèle peut prolonger une scène d’une manière physiquement, socialement, logiquement et informationnellement plausible. C’est une question différente de celle de savoir si une vidéo a simplement bonne apparence. Dans la formulation des chercheurs, le réalisme de l’apparence n’est pas la même chose que le réalisme du raisonnement.

La distinction compte, car de nombreux exemples phares en vidéo générative sont jugés surtout sur leur style et leur cohérence au premier coup d’œil. Un clip peut sembler cinématographique et fluide, tout en violant des attentes ordinaires en matière de gravité, de comportement des objets, d’interaction humaine ou de cause à effet. WorldReasonBench est conçu pour mettre précisément en évidence cet écart.

Comment le benchmark teste la compréhension du monde

Plutôt que de noter la qualité de l’image, le benchmark part d’une scène et demande à un modèle de la prolonger de manière cohérente. L’article source met en avant un exemple simple : une pomme sur une branche, suivie de l’instruction de la faire tomber. Un système peut générer une belle séquence et échouer malgré tout à la tâche si la pomme monte, se comporte comme un ballon ou tombe de façon invraisemblable.

C’est le problème central que le benchmark tente d’isoler. Une sortie soignée peut obtenir de bons résultats sur des critères esthétiques conventionnels tout en échouant sur la logique de l’événement lui-même. WorldReasonBench décompose donc l’évaluation en quatre domaines de raisonnement et 22 sous-catégories.

• Connaissance du monde, notamment la physique, la météo et les normes culturelles
• Scènes centrées sur l’humain, comme la manipulation d’objets et l’interaction sociale
• Raisonnement logique, notamment les mathématiques, la géométrie et les expériences scientifiques
• Raisonnement fondé sur l’information, comme la lecture de données et de diagrammes

Selon le matériel source, le benchmark comprend environ 400 cas de test. Les chercheurs l’ont aussi associé à WorldRewardBench, un ensemble de données de préférences comprenant quelque 6 000 comparaisons vidéo classées par des annotateurs formés. Ce second ensemble est destiné à aider à comparer les modèles les uns aux autres, plutôt que seulement par rapport à des règles de notation abstraites.

Un système de notation en deux étapes pour la plausibilité

Le processus d’évaluation utilise deux niveaux. D’abord, une méthode sensible au processus pose des questions structurées pour déterminer si une vidéo atteint le bon état final et si elle y parvient d’une manière plausible. Ensuite, un second passage évalue trois qualités plus larges : la qualité du raisonnement, la cohérence temporelle et l’esthétique visuelle.

Cette conception est remarquable parce qu’elle n’écarte pas la qualité de présentation. Elle remet plutôt l’apparence à sa juste place. Le benchmark reconnaît toujours qu’un modèle vidéo utile doit être visuellement convaincant, mais il considère l’esthétique comme une seule partie du résultat, et non comme l’ensemble de l’histoire.

Pour le secteur, il s’agit d’un changement important. Dans la génération d’images et de vidéos, les progrès sont souvent présentés au moyen de démonstrations faciles à admirer mais difficiles à auditer. Un benchmark centré sur les conséquences plutôt que sur la qualité de surface crée une norme plus stricte, en particulier pour les cas d’usage où la vidéo générée doit représenter des instructions, des expériences, des schémas ou des événements du monde réel.

Les systèmes commerciaux dominent, mais aucun n’est proche de la maîtrise

Les chercheurs ont testé cinq systèmes commerciaux et six modèles open source. Le groupe commercial comprenait Sora 2, Kling, Wan 2.6, Seedance 2.0 et Veo 3.1-Fast. Le groupe open source comprenait LTX 2.3, Wan 2.2-14B, UniVideo, HunyuanVideo 1.5, Cosmos-Predict 2.5 et LongCat-Video.

Sur la principale métrique de raisonnement du benchmark, les modèles commerciaux ont obtenu de bien meilleurs résultats. D’après la source, ils ont atteint environ le double de ce que les systèmes open source ont réussi, sans recouvrement statistique entre les deux groupes. Ce constat suggère que les modèles propriétaires les plus performants restent nettement en tête lorsque les tâches exigent plus que l’apparence.

Malgré cela, la conclusion générale n’est pas que les systèmes commerciaux ont résolu le raisonnement dans la vidéo. L’article indique que la logique piège encore tous les modèles testés. Des exemples comme des dominos qui tombent, une pince à peluches et un simple circuit ont suffi à révéler des échecs. Autrement dit, de meilleurs produits existent, mais une compréhension robuste du monde manque encore partout.

C’est un résultat important, car il contredit une hypothèse courante en IA générative : l’idée que des sorties de plus en plus réalistes impliquent une compétence plus profonde. WorldReasonBench suggère que l’inverse est souvent vrai. À mesure que les modèles progressent sur le style, leurs échecs restants peuvent devenir plus difficiles à repérer pour un observateur occasionnel, même lorsque ces échecs seraient importants dans des contextes pratiques.

Pourquoi cela compte au-delà des classements

Le benchmark arrive à un moment où les outils vidéo IA sont évalués non seulement comme des moteurs de divertissement, mais aussi comme des systèmes qui pourraient à terme soutenir l’éducation, la conception, la simulation, la communication et la production automatisée de contenu. Dans ces contextes, la plausibilité n’est pas optionnelle. Un modèle qui produit une représentation belle mais incorrecte du mouvement, de la mesure ou de l’interaction n’est pas simplement imparfait. Il peut être trompeur.

WorldReasonBench pointe donc vers un défi plus large de l’IA multimodale. Si les systèmes ne peuvent pas représenter de manière fiable le comportement physique ordinaire ou une structure logique de base, alors un meilleur rendu ne suffira pas à les rendre fiables. L’étude ne soutient pas que la qualité visuelle est sans importance. Elle affirme que le domaine l’a trop récompensée par rapport au raisonnement.

Cela rend le benchmark utile même si ses classements exacts évoluent avec le temps. Il définit une question plus exigeante pour la génération vidéo : non pas de savoir si un clip a l’air réel, mais s’il se comporte comme s’il appartenait au monde réel.

Pour l’instant, la réponse est au mieux mitigée. Les principaux systèmes commerciaux sont clairement en tête, mais le message central du benchmark est plus net que n’importe quel résultat de classement. La vidéo IA peut désormais produire des scènes saisissantes. Elle peine encore à comprendre les scènes qu’elle crée.

Cet article s’appuie sur le reportage de The Decoder. Lire l’article original.