Os benchmarks de IA precisam se tornar ciência, não placar

Os benchmarks de inteligência artificial tornam o progresso comparável. Um modelo faz um teste padronizado, recebe uma pontuação e seu desempenho pode ser comparado. Mas essa simplicidade pode esconder um problema: o benchmark pode moldar o campo que deveria medir.

Moritz Hardt, diretor do Max Planck Institute for Intelligent Systems, afirma que a avaliação moderna de IA está fundamentalmente quebrada, embora também tenha impulsionado o aprendizado de máquina. As pontuações são tratadas com facilidade como prova de inteligência, capacidade ou confiabilidade no mundo real.

Quando a pontuação vira o objetivo

Quando uma medida vira meta, pessoas e instituições passam a otimizar a própria medida. Em aprendizado de máquina, isso pode produzir sistemas excelentes em um conjunto de dados ou ranking fixo, sem adquirir a capacidade mais ampla que o benchmark deveria captar.

Hardt alertou que sistemas podem melhorar sua posição “sem fazer nada inteligente”. Uma pontuação alta pode indicar avanço real, mas também apenas a adaptação do modelo às peculiaridades do teste.

A proliferação de testes para grandes modelos de linguagem tornou o problema mais visível. O ciclo de criar e resolver benchmarks incentiva uma corrida estreita: encontrar o teste, treinar para ele, superar a pontuação anterior e seguir adiante.

Uma história de influência desproporcional

Benchmarks mudaram repetidamente o rumo da pesquisa. Em 1987, um teste da DARPA para converter fala em texto mostrou que os sistemas líderes não superavam métodos estatísticos simples, contribuindo para a queda do interesse e do financiamento.

O ImageNet teve efeito oposto em 2012: destacou uma rede neural de oito camadas e ajudou a iniciar a revolução do aprendizado profundo. Benchmarks não apenas resumem o trabalho; também podem definir o que conta como progresso.

Em seu livro de 2026, The Emerging Science of Machine Learning Benchmarks, Hardt os chama de “o erro que criou o aprendizado de máquina”, embora reconheça que também contribuíram para avanços legítimos, em parte por acaso.

O que uma avaliação melhor exigiria

Tornar o benchmarking uma ciência mais rigorosa significa tratar a avaliação como problema contínuo de pesquisa. É preciso perguntar o que o teste mede, quão próximo está do uso pretendido e se os modelos se adaptaram especificamente a ele.

Também é necessário resistir a reduzir capacidades complexas a um único número. Um modelo pode ser forte em uma pergunta e fraco em outra, ou falhar quando uma tarefa muda ligeiramente. Na prática, importam esses limites, não apenas o desempenho máximo.

O objetivo não é abandonar avaliações padronizadas, mas torná-las mais transparentes e menos vulneráveis à otimização superficial.

Os riscos aumentam com a adoção da IA

Resultados de benchmarks influenciam compras, investimentos e decisões sobre a prontidão de um sistema. Uma pontuação pode ter consequências econômicas e sociais.

A crítica de Hardt lembra que um ranking em ascensão não implica necessariamente inteligência mais profunda. Pontuações são evidências, não veredictos.

Este artigo baseia-se em reportagem da Quanta Magazine. Leia o artigo original.