Os benchmarks sobre GPT-6 Astra divergem e expõem uma corrida de IA mais bagunçada

O GPT-6 Astra chega com números fortes, placares conflitantes e uma história de eficiência mais clara

O GPT-6 Astra da OpenAI está sendo recebido de forma incomumente contraditória: um agregador de benchmarks o coloca claramente na frente do campo de modelos, outro diz que ele está apenas no mesmo nível de seu predecessor no geral, e um teste de raciocínio de referência sugere outro tipo de avanço totalmente diferente. O resultado é um retrato revelador da corrida atual da IA, em que a resposta para “qual modelo é melhor?” depende cada vez mais do que está sendo medido e de quanta computação é necessária para chegar lá.

Segundo o resumo do The Decoder sobre avaliações recém-publicadas, a Epoch AI combina mais de 50 benchmarks em sua pontuação ECI e coloca o GPT-6 Astra em primeiro lugar com 169 pontos, à frente de 267 modelos. Já a Artificial Analysis atribui ao Astra 61 pontos em seu Intelligence Index, exatamente igual ao de seu predecessor Sol e atrás do Claude Fable 5.1 da Anthropic, com 66. A divergência não é um pequeno detalhe metodológico. Ela atinge o cerne de como a indústria interpreta atualmente o progresso de fronteira.

Para quem tenta entender essa divisão, a explicação mais simples é que esses conjuntos de benchmarks enfatizam coisas diferentes. Um composto amplo pode recompensar ganhos consistentes em uma grande variedade de tarefas, enquanto outro pode punir com mais severidade um desempenho mais fraco em domínios específicos, como recuperação de conhecimento, programação ou compreensão de contexto longo. Assim, o mesmo modelo pode parecer um líder decisivo em uma estrutura e apenas um movimento lateral em outra.

Eficiência pode ser o sinal mais importante

A afirmação mais marcante do relatório fornecido não é apenas sobre a posição bruta no ranking. É sobre eficiência. O The Decoder diz que o Astra usa apenas cerca de um terço das etapas de computação usadas pelo Sol e um quinto do que o Opus 5 usa. Em tarefas de programação, a Artificial Analysis teria encontrado o Astra no mesmo nível do Claude Fable 5, mas com custo inferior a metade por tarefa. Esse tipo de resultado importa porque a competição de fronteira não se resume mais a alcançar a melhor resposta. Trata-se de quão economicamente um modelo consegue chegar a ela.

Essa distinção fica ainda mais evidente no perfil de preços do modelo. A OpenAI supostamente cobra duas vezes e meia mais por unidade de texto processado no Astra do que no Sol, tornando uma tarefa cerca de 75% mais cara do que antes. À primeira vista, isso parece um aumento substancial de custo. No entanto, o relato do The Decoder sugere que a economia de computação do Astra muda a comparação dependendo do concorrente. Em relação ao seu próprio predecessor, o Astra parece mais caro. Em relação a modelos rivais que consomem muito mais computação, ele ainda pode parecer relativamente eficiente em certas cargas de trabalho.

Na prática, essa é a nova tensão do mercado de fronteira. Um modelo pode ser mais caro no nível da API e ainda assim melhorar o valor se concluir o trabalho com menos etapas de raciocínio, menor consumo de tokens ou melhores taxas de sucesso em tarefas de alto valor. Para desenvolvedores e compradores corporativos, essas trocas provavelmente importam mais do que qualquer posição isolada em um placar.

ARC-AGI-3 muda a conversa

O resultado mais chamativo do relatório vem do ARC-AGI-3, um benchmark construído em torno de mundos de jogo desconhecidos. Lá, o GPT-6 Astra teria alcançado 62,7%, muito acima dos 7,8% do Sol e bem à frente dos 30,2% do Opus 5. O artigo diz que o Astra foi, pela primeira vez, mais eficiente do que o ser humano médio nesse teste. François Chollet, chefe do ARC Prize, é descrito como tendo dito que o ritmo de progresso estava cerca de duas vezes acima do que ele esperava e que sua previsão para a AGI foi antecipada.

Mesmo com esse enquadramento, a lição mais ampla não é sobre um único percentual dramático, e sim sobre o tipo de habilidade que está sendo recompensado. Avaliações no estilo ARC são desenhadas para testar abstração e adaptação, e não mera memorização. Um bom desempenho ali tem peso simbólico porque muitas vezes é tratado como evidência de que os modelos estão ficando melhores em lidar com estruturas desconhecidas, e não apenas em reproduzir padrões vistos durante o treinamento.

Ainda assim, o mesmo texto fornecido deixa claro que o Astra não é uniformemente mais forte em todos os aspectos. A Artificial Analysis teria mostrado o modelo perdendo cerca de 80 pontos Elo no GDPval-AA v2 e recuando em suporte bancário, SciCode e tarefas de raciocínio de contexto longo. Esse perfil desigual é importante. Ele sugere que o Astra pode ser um sistema mais especializado ou mais agressivamente otimizado, em vez de uma melhoria plana em todas as dimensões.

Saídas mais limpas, ganhos desiguais

Uma das melhorias mais práticas do Astra pode ser sua menor taxa de alucinação. No AA-Omniscience, o The Decoder relata uma queda de 92% para 51%. Ainda é uma taxa de alucinação alta, mas a mudança é grande o bastante para ter impacto operacional em fluxos de trabalho em que afirmações sem base criam risco. Para equipes de IA aplicada, reduções assim podem ser mais valiosas do que um movimento marginal em um placar, especialmente em pesquisa, programação e apoio a decisões de negócio, onde a confiabilidade determina a adoção.

O relatório também aponta um desempenho raro em um benchmark matemático difícil. A Epoch AI diz que o Astra foi o único modelo a resolver dois de 68 problemas abertos FrontierMath Erdős com provas verificadas em Lean dentro de um orçamento de US$ 300 por tentativa. Três soluções adicionais surgiram em execuções extras, não padronizadas, que usaram mais de US$ 220 mil em computação, mas essas não contaram para a pontuação. Essa ressalva é crucial. Ela mostra tanto o teto do potencial do modelo quanto a importância de uma avaliação com custo limitado ao comparar sistemas de forma justa.

Um lançamento de modelo que expõe os limites do pensamento baseado em rankings

A imagem inicial do Astra, portanto, não é nem hype simples nem decepção direta. É um estudo de caso de por que a avaliação de IA de fronteira ficou mais difícil de reduzir a uma única classificação. Uma família de benchmarks diz que o Astra é o líder. Outra diz que ele está apenas empatado com seu predecessor no geral. Um benchmark de raciocínio sugere um salto especialmente importante na resolução eficiente de problemas. As medições por tarefa mostram ganhos em economia de programação e menor alucinação, mas também regressões em outras áreas.

Essa complexidade provavelmente é a verdadeira história. À medida que os modelos amadurecem, a indústria está saindo de uma era em que uma única pontuação de manchete podia representar a capacidade. O GPT-6 Astra parece ser um modelo cuja importância está em avanços seletivos, especialmente em eficiência e em certas formas de raciocínio abstrato, em vez de domínio universal. Para compradores, pesquisadores e concorrentes, isso o torna mais interessante do que uma vitória limpa teria sido, porque sugere onde a próxima fase da corrida da IA pode realmente ser decidida.

Este artigo é baseado na reportagem do The Decoder. Leia o artigo original.