AI基准测试应成为科学，而不是排行榜

AI基准测试旨在让进步变得可见。模型完成标准化测试并获得分数，研究人员、企业和客户便可比较不同系统。但这种简单性可能掩盖一个问题：基准测试会塑造它本应测量的领域。

Max Planck Institute for Intelligent Systems主任Moritz Hardt认为，现代AI基准测试从根本上存在缺陷，尽管它也推动了机器学习发展。分数过于容易被视为智能、能力或现实可靠性的证明。

当分数成为目标

一旦指标成为目标，人们就会优化指标本身。在机器学习中，这可能意味着系统在固定数据集或排行榜上表现出色，却没有获得基准测试想要衡量的更广泛能力。

Hardt警告，机器学习系统可能“没有做任何智能的事情”却提高排行榜排名。高分可能代表真正进步，也可能只是模型适应了测试的特殊性。

大型语言模型测试的激增使问题更加明显。不断出现的新基准测试声称评估从专业知识到通用智能的能力，但快速的创建和破解循环也鼓励了狭窄竞赛：找到测试、针对测试训练、超过分数，然后继续前进。

影响力过大的历史

基准测试曾多次改变AI研究轨迹。1987年，DARPA的语音转文本基准测试发现，领先系统并未胜过相对简单的统计方法，结果导致AI研究的兴趣和资金下降。

2012年的ImageNet则产生相反影响，突出展示了八层神经网络的图像分类表现，帮助点燃深度学习革命。基准测试不仅总结技术工作，也能定义进步并引导整个领域的注意力。

Hardt在2026年出版的The Emerging Science of Machine Learning Benchmarks中称基准测试是“造就机器学习的错误”，但也承认它们在一定程度上通过运气促成了真实进步。

更好评估需要什么

将基准测试变成更严谨的科学，意味着把评估视为持续的研究问题，而不是期末考试。研究者应明确测试测量什么、与实际部署多接近，以及模型或开发者是否专门适应了测试。

复杂能力不应被压缩成一个醒目的数字。模型可能擅长一种问题，却不擅长另一种；在熟悉格式上表现优异，却在任务稍有变化时失败。实际应用需要了解能力边界，而不仅是峰值表现。

目标不是放弃标准化评估，而是建立更透明、更不容易被表面优化利用的评估体系。

AI应用越广，风险越高

随着AI进入更多领域，基准测试声明会影响采购、投资叙事以及系统是否适合某项任务的判断。分数不仅是科学结果，也可能产生经济和社会后果。

Hardt的批评提醒人们，不断上升的排行榜不一定意味着更深层的智能。分数仍有价值，但只是证据，而非裁决。

本文依据Quanta Magazine报道编写。阅读原文。