Les benchmarks d’intelligence artificielle rendent les progrès lisibles. Un modèle passe un test standardisé et obtient un score permettant les comparaisons. Mais cette simplicité peut cacher un problème : le benchmark peut façonner le domaine qu’il est censé mesurer.
Moritz Hardt, directeur du Max Planck Institute for Intelligent Systems, juge le benchmarking moderne fondamentalement défaillant, même s’il a aussi fait progresser l’apprentissage automatique. Les scores sont trop facilement considérés comme une preuve d’intelligence, de capacité ou de fiabilité réelle.
Quand le score devient l’objectif
Lorsqu’une mesure devient une cible, les acteurs optimisent la mesure elle-même. En apprentissage automatique, cela peut produire des systèmes excellents sur un jeu de données ou un classement fixe sans acquérir la capacité plus large recherchée.
Hardt a averti que les systèmes peuvent améliorer leur classement « sans rien faire d’intelligent ». Un score élevé peut signaler un véritable progrès ou simplement l’adaptation du modèle aux particularités du test.
La multiplication des tests pour les grands modèles de langage a rendu le problème plus visible. Le cycle de création et de résolution des benchmarks encourage une course étroite : trouver le test, s’y entraîner, dépasser le score précédent et passer au suivant.
Une influence historiquement démesurée
Les benchmarks ont souvent modifié la trajectoire de la recherche. En 1987, un test de la DARPA sur la conversion automatique de la parole en texte a montré que les meilleurs systèmes ne dépassaient pas des méthodes statistiques simples, contribuant au recul de l’intérêt et des financements.
ImageNet a eu l’effet inverse en 2012 : il a mis en avant un réseau neuronal de huit couches et contribué à lancer la révolution de l’apprentissage profond. Les benchmarks peuvent définir ce qui compte comme progrès.
Dans son livre de 2026, The Emerging Science of Machine Learning Benchmarks, Hardt les qualifie d’« erreur qui a créé l’apprentissage automatique », tout en reconnaissant leur contribution à des progrès légitimes.
Ce qu’exigerait une meilleure évaluation
Faire du benchmarking une science plus rigoureuse suppose de traiter l’évaluation comme un problème de recherche continu. Il faut demander ce que mesure exactement le test, sa proximité avec l’usage prévu et l’adaptation spécifique des modèles.
Il faut aussi éviter de réduire des capacités complexes à un seul chiffre. Un modèle peut réussir un type de question et échouer dans un autre. En pratique, ses limites comptent autant que sa performance maximale.
Il ne s’agit pas d’abandonner les évaluations standardisées, mais de les rendre plus transparentes et moins vulnérables à l’optimisation superficielle.
Les enjeux augmentent avec l’adoption de l’IA
Les résultats des benchmarks influencent achats, investissements et décisions sur l’aptitude d’un système. Un score peut donc avoir des conséquences économiques et sociales.
La critique de Hardt rappelle qu’un classement en hausse ne signifie pas nécessairement une intelligence plus profonde. Les scores sont des éléments de preuve, pas des verdicts.
Cet article s’appuie sur un reportage de Quanta Magazine. Lire l’article original.
Originally published on quantamagazine.org
