OpenAIs ARC-AGI-3-Behauptung hängt vom Testaufbau ab

OpenAI sagt, es habe die Führung bei ARC-AGI-3 zurückerobert, doch der Benchmark-Streit dreht sich eigentlich um das Tooling

OpenAI sagt, sein Modell GPT-5.6 Sol habe bei ARC-AGI-3 38.3% erreicht, ein Wert, der es vor Anthropic’s Claude Opus 5 mit 30.2% im selben Benchmark bringen würde. Auf dem Papier klingt das nach einer klaren Umkehr in einem vielbeachteten Wettbewerb um abstraktes Schlussfolgern. In der Praxis ist die Behauptung komplizierter. Das höhere Ergebnis hängt davon ab, GPT-5.6 Sol mit OpenAIs eigener Responses API und zwei spezifischen Einstellungen auszuführen, die nicht Teil des standardisierten Test-Harnesses des Benchmarks sind.

Diese Unterscheidung ist wichtig, weil ARC-AGI-3 messen soll, wie gut ein Modell mit unbekannten Logikproblemen umgeht, und nicht, wie gut ein Anbieter sein Modell mit produktspezifischer Infrastruktur umhüllt. Laut dem bereitgestellten Quelltext erzielte GPT-5.6 Sol im offiziellen Harness nur 7.8%, weil dabei das Reasoning des Modells nach jeder Aktion verworfen wird. OpenAIs deutlich höherer Wert kam durch „Retained Reasoning“ zustande, das die Gedankenkette des Modells zwischen den Schritten erhält, und durch „Compaction“, das älteren Kontext zusammenfasst, statt ihn zu verwerfen.

Das Ergebnis ist eine Debatte, die tiefer geht als ein bloßes Update einer Rangliste. Sie wirft eine inzwischen zentrale Frage der KI-Bewertung auf: Wenn Systeme durch Speicherverwaltung, Kontextmanagement und API-Design besser werden, wo verläuft dann die Grenze zwischen Modellfähigkeit und Produkt-Infrastruktur?

Warum ARC-AGI-3 zu einem solchen Brennpunkt geworden ist

ARC-artige Benchmarks haben in der KI-Branche einen besonderen Stellenwert, weil sie Generalisierung statt Auswendiglernen testen sollen. Die Aufgaben sollen prüfen, ob ein System Regeln ableiten und neuartige Rätsel lösen kann, was sie für Forschende und Anbieter besonders attraktiv macht, die Belege für breiteren Fortschritt beim Reasoning suchen. Genau deshalb sind Streitigkeiten über den Aufbau so heikel. Ein Benchmark, der die Modellleistung isolieren soll, wird schwieriger zu interpretieren, wenn das Ergebnis eines Anbieters von Funktionen außerhalb der Standardumgebung abhängt.

OpenAIs Argument ist laut Quelltext, dass Benchmarks nie nur das Modell messen. Sie messen auch das technische Setup darum herum. Diese Position spiegelt eine breitere Branchenrealität wider. In ausgelieferten Produkten arbeiten Modelle selten allein. Sie hängen von Orchestrierungsschichten, Kontextfenstern, Retrieval-Systemen, Tool-Nutzung und Zustandsverwaltung ab. Wenn ein Benchmark diese Komponenten ignoriert, können Anbieter zu Recht argumentieren, dass er die reale Leistung unterschätzt.

ARC-AGI-3 war jedoch nicht dafür gedacht, jede reale Bereitstellungsentscheidung abzubilden. Es sollte die Umgebung ausreichend standardisieren, um Herstellervergleiche sinnvoll zu machen. Deshalb ist das offizielle Benchmark-Harness so wichtig für die Diskussion. Wenn OpenAI außerhalb dieses Harnesses einen deutlich stärkeren Wert veröffentlicht, kann das ein leistungsfähigeres Produkt-Stack zeigen, beweist aber nicht notwendigerweise ein stärkeres Basismodell unter den ursprünglichen Regeln des Benchmarks.

Die zwei Einstellungen, die das Ergebnis veränderten

Der Quelltext nennt zwei OpenAI-Funktionen hinter dem Sprung. Die erste, Retained Reasoning, behält die Gedankenkette des Modells zwischen den Schritten bei. Die zweite, Compaction, fasst alten Kontext zusammen, statt ihn zu kürzen. Zusammen scheinen diese Einstellungen die Schwäche zu adressieren, die GPT-5.6 Sol im offiziellen Harness ausbremste, wo Zwischen-Reasoning nach jeder Aktion verloren ging.

Diese Art von Persistenz kann bei mehrstufigen Reasoning-Aufgaben entscheidend sein. Wenn ein Modell frühere Schlussfolgerungen bewahren und in nutzbaren Kontext verdichten kann, muss es seinen internen Zustand möglicherweise nicht immer wieder neu aufbauen. Anders gesagt: Das Benchmark-Ergebnis ändert sich nicht, weil sich das Rätsel geändert hat, sondern weil das System beim Lösen effektiver erinnern darf.

OpenAIs Behauptung beruht daher offenbar auf einem weiter gefassten Verständnis dessen, was das getestete System eigentlich ist. Wenn das „System“ das API-Verhalten des Anbieters und seine Speicherverwaltungsfunktionen umfasst, ist der Wert von 38.3% relevant. Wenn das „System“ jedoch das Modell unter einer neutralen, standardisierten Schnittstelle sein soll, bleibt der offizielle Wert von 7.8% der direktere Vergleichspunkt.

ARC Prize lässt beide Sichtweisen zu

Der Quelltext sagt, dass François Chollet, Mitgründer von ARC Prize, mit einer Unterscheidung zwischen zwei Klassen von Test-Setups reagierte. Benutzerdefinierte Harnesses, die speziell zum Lösen des Benchmarks gebaut wurden oder Wissen über das Benchmark-Format enthalten, sind tabu. Allgemeine API-Einstellungen, die allen Nutzern zur Verfügung stehen, sind dagegen zulässig. Chollet sagte außerdem, ARC Prize führe laufende Gespräche mit OpenAI darüber, wie dessen Modelle am besten getestet werden können, insbesondere in Bezug auf Compaction, und begrüßte, dass das Unternehmen „anfängt, die Antwort herauszufinden“.

Diese Reaktion ist bemerkenswert, weil sie OpenAIs Wert nicht pauschal zurückweist. Stattdessen deutet sie darauf hin, dass ARC Prize einige anbieterspezifische Einstellungen als legitim ansieht, solange sie allgemein nutzbar, breit verfügbar und zusammen mit den Kosten transparent offengelegt werden. Zugleich weist der Quelltext darauf hin, dass unterschiedliche Einstellungen bei verschiedenen Anbietern ein potenzielles Paritätsproblem schaffen. Mit anderen Worten: Der Benchmark-Organisator scheint eine gewisse Asymmetrie zu tolerieren, räumt aber ein, dass sie direkte Vergleiche erschwert.

Damit verschiebt sich die Debatte von der Frage, ob OpenAIs Ergebnis gültig ist, hin zu der Frage, welche Art von Gültigkeit es besitzt. Es kann als Messung von GPT-5.6 Sol gelten, wenn dieses über OpenAIs aktuellen API-Stack verwendet wird. Weniger eindeutig ist, ob es als sauberes, direkt vergleichbares Benchmark-Ergebnis gegen Modelle gilt, die unter anderen Annahmen getestet wurden.

Was dieser Vorfall über KI-Benchmarking heute sagt

Der Streit zeigt einen breiteren Wandel in der KI-Bewertung. Je agentischer die Frontier-Systeme werden und je stärker sie auf langfristige Workflows angewiesen sind, desto mehr wird die Benchmark-Performance von Laufzeit-Entscheidungen abhängen und nicht nur von den zugrunde liegenden Modellgewichten. Speichererhalt, Kontextkomprimierung, Schritt-Orchestrierung und Schnittstellendesign können alle Ergebnisse verändern. Das schafft ein Problem für alle, die Anbieter mit einer einzigen statischen Rangliste vergleichen wollen.

Es bedeutet auch, dass Benchmark-Nutzer präzisere Fragen stellen müssen. Wurde das Modell in einer Standardkonfiguration getestet? Waren anbieterspezifische Funktionen aktiviert? Hat das Harness Zwischen-Reasoning bewahrt? Wurden Kosten und Einstellungen offengelegt? Ein Schlagzeilenwert ohne diesen Kontext wird zunehmend weniger aussagekräftig.

Für OpenAI zeigt die Ankündigung, dass das Unternehmen entschlossen ist, Anthropics jüngste Benchmark-Dynamik anzugreifen. Für ARC Prize deutet die Reaktion auf eine pragmatische Bereitschaft hin, die Regeln an moderne API-Realitäten anzupassen, solange die Anpassungen keine benchmark-spezifischen Tricks sind. Und für die gesamte Branche lautet die Lehre weniger, wer an einem bestimmten Tag vorn liegt, sondern wie schwer es geworden ist, einen „fairen“ Test zu definieren, wenn die Modellleistung von Intelligenz auf Produktebene abhängt.

Das macht den Benchmark nicht irrelevant. Es macht Transparenz wichtiger. OpenAIs 38.3% sind aussagekräftig als Beleg dafür, dass GPT-5.6 Sol deutlich besser abschneiden kann, wenn sein Reasoning erhalten und sein Kontext komprimiert statt gekürzt wird. Der offizielle Wert von 7.8% ist aussagekräftig als Beleg dafür, dass dasselbe Modell unter dem strengeren Standard-Harness des Benchmarks deutlich schlechter abschneidet. Beide Zahlen beschreiben etwas Reales. Sie beschreiben nur nicht dasselbe.

Dieser Artikel basiert auf der Berichterstattung von The Decoder. Den Originalartikel lesen.