A OpenAI diz ter recuperado a liderança no ARC-AGI-3, mas a disputa do benchmark é, na verdade, sobre a infraestrutura de testes
A OpenAI afirma que seu modelo GPT-5.6 Sol atingiu 38.3% no ARC-AGI-3, uma pontuação que o colocaria à frente do Claude Opus 5 da Anthropic, com 30.2% no mesmo benchmark. No papel, isso parece uma reversão direta em uma disputa muito acompanhada sobre raciocínio abstrato. Na prática, a alegação é mais complexa. O resultado mais alto depende de rodar o GPT-5.6 Sol com a própria Responses API da OpenAI e com duas configurações específicas que não fazem parte do ambiente padrão de teste do benchmark.
Essa distinção importa porque o ARC-AGI-3 foi projetado para medir o quão bem um modelo lida com problemas lógicos desconhecidos, e não o quão bem um fornecedor consegue envolver seu modelo em uma infraestrutura específica de produto. Segundo o texto-fonte fornecido, o GPT-5.6 Sol marcou apenas 7.8% no ambiente oficial, no qual o raciocínio do modelo é descartado após cada ação. A pontuação muito mais alta da OpenAI veio do uso de “Retained Reasoning”, que preserva a cadeia de pensamento entre etapas, e de “Compaction”, que resume o contexto antigo em vez de descartá-lo.
O resultado é um debate que vai além de uma atualização de ranking. Ele levanta uma questão que hoje é central na avaliação de IA: quando os sistemas melhoram por meio de tratamento de memória, gestão de contexto e design de API, onde deve ser traçada a linha entre a capacidade do modelo e a camada de suporte do produto?
Por que o ARC-AGI-3 virou um ponto de tensão
Benchmarks no estilo ARC têm um status incomum na indústria de IA porque tentam medir generalização, e não memorização. As tarefas são pensadas para verificar se um sistema consegue inferir regras e resolver quebra-cabeças inéditos, o que as torna especialmente atraentes para pesquisadores e fornecedores que buscam evidências de progresso mais amplo em raciocínio. Essa também é a razão de as disputas sobre a configuração serem tão sensíveis. Um benchmark feito para isolar o desempenho do modelo fica mais difícil de interpretar se o resultado de um fornecedor depende de recursos fora do ambiente padrão.
O argumento da OpenAI, conforme descrito no texto-fonte, é que benchmarks nunca medem apenas o modelo. Eles também medem a configuração técnica ao redor dele. Essa posição reflete uma realidade mais ampla do setor. Em produtos implantados, os modelos raramente operam sozinhos. Eles dependem de camadas de orquestração, janelas de contexto, sistemas de recuperação, uso de ferramentas e gerenciamento de estado. Se um benchmark ignora esses componentes, os fornecedores podem argumentar com razão que ele subestima o desempenho no mundo real.
Mas o ARC-AGI-3 não foi projetado para refletir toda decisão de implantação do mundo real. Ele foi projetado para padronizar o ambiente o suficiente para tornar comparações entre fornecedores significativas. Por isso o ambiente oficial do benchmark é tão importante para a conversa. Quando a OpenAI publica uma pontuação muito mais forte fora desse ambiente, ela pode estar mostrando uma pilha de produto mais capaz, mas não necessariamente provando que o modelo-base é mais forte sob as regras originais do benchmark.
As duas configurações que mudaram o resultado
O texto-fonte identifica dois recursos da OpenAI por trás da alta. O primeiro, Retained Reasoning, mantém a cadeia de pensamento do modelo entre etapas. O segundo, Compaction, resume o contexto antigo em vez de truncá-lo. Juntas, essas configurações parecem atacar a fraqueza que limitava o GPT-5.6 Sol no ambiente oficial, onde o raciocínio intermediário era perdido após cada ação.
Esse tipo de persistência pode ser निर्णante em tarefas de raciocínio em múltiplas etapas. Se um modelo consegue preservar deduções anteriores e compactá-las em um contexto utilizável, ele pode evitar reconstruir repetidamente seu próprio estado interno. Em outras palavras, o resultado do benchmark muda não porque o problema mudou, mas porque o sistema pode lembrar de forma mais eficaz enquanto o resolve.
A alegação da OpenAI, portanto, parece se basear em uma interpretação mais ampla do que realmente é o sistema sendo testado. Se o “sistema” incluir o comportamento da API do fornecedor e os recursos de gerenciamento de memória, então a pontuação de 38.3% é relevante. Se o “sistema” for o modelo em uma interface neutra e padronizada, a marca oficial de 7.8% continua sendo o ponto de comparação mais direto.
A resposta do ARC Prize deixa espaço para as duas visões
O texto-fonte diz que François Chollet, cofundador do ARC Prize, respondeu distinguindo entre duas classes de configuração de teste. Ambientes personalizados criados especificamente para resolver o benchmark ou que contenham conhecimento sobre o formato do benchmark estão fora dos limites. Já configurações de API de uso geral, disponíveis para todos os usuários, são aceitáveis. Chollet também disse que o ARC Prize vinha mantendo discussões com a OpenAI sobre a melhor forma de testar seus modelos, especialmente em torno de compaction, e saudou a empresa por “começar a encontrar a resposta”.
Essa resposta é notável porque não rejeita a pontuação da OpenAI de forma categórica. Em vez disso, sugere que o ARC Prize vê algumas configurações específicas do fornecedor como legítimas, desde que sejam de uso geral, amplamente disponíveis e reportadas de forma transparente junto com o custo. Ao mesmo tempo, o texto-fonte observa que diferentes fornecedores usando configurações diferentes cria um possível problema de paridade. Em outras palavras, a organização do benchmark parece disposta a tolerar alguma assimetria, embora reconheça que isso complica comparações diretas.
Isso desloca efetivamente o argumento de se o resultado da OpenAI é válido para que tipo de validade ele tem. Ele pode ser válido como medida do GPT-5.6 Sol usado por meio da atual pilha de API da OpenAI. Menos claro é que seja válido como um resultado limpo e comparável de benchmark contra modelos testados sob premissas diferentes.
O que esse episódio diz sobre a avaliação de IA hoje
A disputa ilustra uma transição mais ampla na avaliação de IA. À medida que os sistemas de fronteira se tornam mais agentivos e mais dependentes de fluxos de trabalho de longo horizonte, o desempenho em benchmarks passará a depender cada vez mais de escolhas de design em tempo de execução, e não apenas dos pesos do modelo subjacente. Retenção de memória, compressão de contexto, orquestração de etapas e design da interface podem alterar resultados. Isso cria um problema para quem tenta comparar fornecedores por meio de um único ranking estático.
Também significa que os consumidores de benchmarks precisam fazer perguntas mais precisas. O modelo foi testado em uma configuração padrão? Recursos específicos do fornecedor foram ativados? O ambiente preservou o raciocínio intermediário? Custos e configurações foram divulgados? Uma pontuação de destaque sem esse contexto está ficando menos informativa do que costumava ser.
Para a OpenAI, o anúncio mostra que a empresa quer disputar o recente impulso da Anthropic em benchmarks. Para o ARC Prize, a resposta sugere uma disposição pragmática de adaptar as regras às realidades modernas das APIs, desde que as adaptações não sejam artifícios específicos do benchmark. E, para a indústria em geral, a lição é menos sobre quem está em primeiro em um dia específico e mais sobre o quão difícil ficou definir um teste “justo” quando o desempenho do modelo depende da inteligência da camada de produto.
Isso não torna o benchmark irrelevante. Torna a divulgação mais importante. A pontuação de 38.3% da OpenAI é significativa como evidência de que o GPT-5.6 Sol pode ter um desempenho muito melhor quando seu raciocínio é retido e seu contexto é compactado em vez de truncado. A pontuação oficial de 7.8% é significativa como evidência de que o mesmo modelo se sai muito pior sob o ambiente padrão mais rígido do benchmark. Ambos os números descrevem algo real. Só não descrevem a mesma coisa.
Este artigo é baseado na cobertura do The Decoder. Leia o artigo original.
Originally published on the-decoder.com