Neuer Benchmark zeigt, warum besser aussehende KI-Videos bei grundlegender Weltlogik weiter scheitern

KI-Videos wirken überzeugender, aber nicht unbedingt vernünftiger

Die neueste Generation von KI-Videosystemen kann Clips erzeugen, die zunehmend ausgefeilt wirken, mit flüssigeren Bewegungen, stärkerer Beleuchtung und realistischeren Texturen als frühere Modelle. Doch ein neuer Benchmark von Forschern der Tsinghua-Universität argumentiert, dass die visuelle Qualität eine tiefere Einschränkung verdeckt: Viele Systeme verstehen noch immer nicht, wie die Welt eigentlich funktionieren sollte.

Der Benchmark mit dem Namen WorldReasonBench soll messen, ob ein Modell eine Szene so fortsetzen kann, dass sie physikalisch, sozial, logisch und informationell plausibel bleibt. Das ist eine andere Frage als die, ob ein Video einfach gut aussieht. In der Darstellung der Forschenden ist Realität im Erscheinungsbild nicht dasselbe wie Realität im Denken.

Dieser Unterschied ist wichtig, weil viele prominente Beispiele generativer Videos vor allem nach Stil und Kohärenz auf den ersten Blick bewertet werden. Ein Clip kann filmisch und flüssig wirken und dennoch gegen alltägliche Erwartungen an Schwerkraft, Objektverhalten, menschliche Interaktion oder Ursache und Wirkung verstoßen. WorldReasonBench ist darauf ausgelegt, genau diese Lücke offenzulegen.

Wie der Benchmark Weltverständnis testet

Anstatt die Bildqualität zu bewerten, startet der Benchmark mit einer Szene und verlangt von einem Modell, sie sinnvoll fortzusetzen. Der Ausgangsartikel nennt ein einfaches Beispiel: ein Apfel auf einem Ast, gefolgt von der Anweisung, ihn fallen zu lassen. Ein System kann eine schöne Sequenz erzeugen und die Aufgabe dennoch verfehlen, wenn der Apfel nach oben bewegt wird, sich wie ein Ballon verhält oder auf eine unglaubwürdige Weise fällt.

Genau dieses Problem will der Benchmark isolieren. Eine gepflegte Ausgabe kann bei konventioneller Ästhetik gut abschneiden und dennoch an der Logik des Ereignisses selbst scheitern. WorldReasonBench teilt die Bewertung deshalb in vier Denkbereiche und 22 Unterkategorien auf.

• Weltwissen, einschließlich Physik, Wetter und kultureller Normen
• Auf den Menschen zentrierte Szenen, etwa der Umgang mit Objekten und soziale Interaktion
• Logisches Denken, einschließlich Mathematik, Geometrie und wissenschaftlicher Experimente
• Informationsbasiertes Denken, etwa das Lesen von Daten und Diagrammen

Laut dem Ausgangsmaterial umfasst der Benchmark rund 400 Testfälle. Die Forschenden kombinierten ihn außerdem mit WorldRewardBench, einem Präferenzdatensatz mit ungefähr 6.000 Videovergleichen, die von geschulten Annotatoren bewertet wurden. Dieser zweite Datensatz soll helfen, Modelle direkt miteinander zu vergleichen, statt nur gegen abstrakte Bewertungsregeln.

Ein zweistufiges Bewertungssystem für Plausibilität

Der Bewertungsprozess arbeitet mit zwei Ebenen. Zuerst fragt eine prozessorientierte Methode in strukturierter Form ab, ob ein Video den richtigen Endzustand erreicht und ob es dies auf plausible Weise tut. In einem zweiten Durchlauf werden drei breitere Eigenschaften bewertet: Denkqualität, zeitliche Konsistenz und visuelle Ästhetik.

Bemerkenswert an diesem Aufbau ist, dass er die Präsentationsqualität nicht verwirft. Stattdessen ordnet er das Erscheinungsbild an die richtige Stelle ein. Der Benchmark erkennt weiterhin an, dass ein nützliches Videomodell visuell überzeugend sein sollte, behandelt Ästhetik aber nur als einen Teil des Ergebnisses, nicht als die ganze Geschichte.

Für das Feld ist das ein wichtiger Wandel. Bei der Bild- und Videogenerierung wird Fortschritt oft über Demos vermittelt, die leicht zu bewundern, aber schwer zu prüfen sind. Ein Benchmark, der auf Konsequenzen statt auf Oberflächenqualität fokussiert, setzt einen strengeren Maßstab, besonders für Anwendungsfälle, in denen generierte Videos Anweisungen, Experimente, Diagramme oder reale Ereignisse darstellen sollen.

Kommerzielle Systeme führen, aber keines ist nahe an der Meisterschaft

Die Forschenden testeten fünf kommerzielle Systeme und sechs Open-Source-Modelle. Zur kommerziellen Gruppe gehörten Sora 2, Kling, Wan 2.6, Seedance 2.0 und Veo 3.1-Fast. Zur Open-Source-Gruppe gehörten LTX 2.3, Wan 2.2-14B, UniVideo, HunyuanVideo 1.5, Cosmos-Predict 2.5 und LongCat-Video.

Bei der zentralen Denkmetrik des Benchmarks schnitten die kommerziellen Modelle deutlich besser ab. Laut der Quelle erzielten sie ungefähr das Doppelte dessen, was Open-Source-Systeme schafften, ohne statistische Überlappung zwischen den beiden Gruppen. Dieser Befund deutet darauf hin, dass die leistungsfähigsten proprietären Modelle weiterhin klar vorne liegen, wenn Aufgaben mehr als nur gutes Aussehen verlangen.

Dennoch ist die breitere Schlussfolgerung nicht, dass kommerzielle Systeme das Denken in Videos gelöst hätten. Der Artikel sagt, dass Logik weiterhin jedes getestete Modell aus der Bahn wirft. Beispiele wie fallende Dominosteine, ein Greifautomat und ein einfacher Stromkreis reichten aus, um Fehlverhalten offenzulegen. Anders gesagt: Es gibt bessere Produkte, aber robustes Weltverständnis fehlt insgesamt weiterhin.

Das ist ein relevantes Ergebnis, weil es einer verbreiteten Annahme in der generativen KI widerspricht: dass immer realistischere Ausgaben auf tiefere Kompetenz hindeuten. WorldReasonBench legt nahe, dass oft das Gegenteil der Fall sein kann. Während Modelle beim Stil besser werden, können ihre verbleibenden Fehler für gelegentliche Beobachter schwerer zu erkennen sein, obwohl sie in praktischen Szenarien wichtig wären.

Warum das über die Ranglisten hinaus wichtig ist

Der Benchmark erscheint zu einem Zeitpunkt, an dem KI-Videowerkzeuge nicht nur als Unterhaltungsmaschinen bewertet werden, sondern auch als Systeme, die irgendwann Bildung, Design, Simulation, Kommunikation und automatisierte Inhaltsproduktion unterstützen könnten. In solchen Bereichen ist Plausibilität nicht optional. Ein Modell, das eine schöne, aber falsche Darstellung von Bewegung, Messung oder Interaktion erzeugt, ist nicht nur unvollkommen. Es kann irreführend sein.

WorldReasonBench verweist damit auf eine breitere Herausforderung in der multimodalen KI. Wenn Systeme gewöhnliches physikalisches Verhalten oder grundlegende logische Strukturen nicht zuverlässig darstellen können, macht bessere Darstellung allein sie nicht verlässlich. Die Forschung argumentiert nicht, dass visuelle Qualität unwichtig sei. Sie argumentiert, dass das Feld sie im Verhältnis zum Denken zu stark belohnt hat.

Damit bleibt der Benchmark auch dann nützlich, wenn sich seine genauen Ranglisten im Laufe der Zeit verschieben. Er formuliert eine anspruchsvollere Frage für die Videogenerierung: nicht, ob ein Clip real aussieht, sondern ob er sich so verhält, als gehöre er in die reale Welt.

Im Moment ist die Antwort bestenfalls gemischt. Die führenden kommerziellen Systeme liegen klar vorne, aber die zentrale Botschaft des Benchmarks ist schärfer als jedes Leaderboard-Ergebnis. KI-Video kann inzwischen eindrucksvolle Szenen erzeugen. Es tut sich aber weiterhin schwer damit, die Szenen zu verstehen, die es selbst erzeugt.

Dieser Artikel basiert auf der Berichterstattung von The Decoder. Zum Originalartikel.