OpenAI 表示已重新夺回 ARC-AGI-3 领先位置，但这场基准争议其实关乎工具链
OpenAI 表示，其 GPT-5.6 Sol 模型在 ARC-AGI-3 上达到 38.3%，这一成绩将使它超过 Anthropic 的 Claude Opus 5 在同一基准上的 30.2%。从纸面上看，这似乎是在一场备受关注的抽象推理竞赛中发生了直接逆转。实际上，情况要复杂得多。更高的结果取决于使用 OpenAI 自己的 Responses API，以及两个并不属于该基准标准测试环境的特定设置。
这一区别很重要，因为 ARC-AGI-3 的设计目标是衡量模型处理陌生逻辑问题的能力，而不是衡量厂商能否用产品专属基础设施对模型进行包装。根据提供的原文，GPT-5.6 Sol 在官方运行环境中的得分只有 7.8%，在该环境里，模型在每个动作之后都会丢弃推理过程。OpenAI 更高的分数来自“Retained Reasoning”，它会在步骤之间保留模型的思维链，以及“Compaction”，它会对旧上下文进行摘要，而不是直接丢弃。
这一结果引发的争论远不止一条排行榜更新。它提出了一个如今在 AI 评测中愈发核心的问题：当系统通过记忆处理、上下文管理和 API 设计获得提升时，模型能力与产品层支撑之间的界线究竟应当划在哪里？
为什么 ARC-AGI-3 会成为焦点
ARC 系列基准在 AI 行业中地位特殊，因为它们的目标是测试泛化能力，而不是死记硬背。这些任务旨在检验系统是否能推断规则并解决新颖谜题，因此对希望证明更广泛推理进展的研究者和厂商尤其有吸引力。也正因为如此，关于测试设置的争议会变得格外敏感。一个原本用于隔离模型性能的基准，如果某家厂商的结果依赖于标准环境之外的功能，那么它就会更难解释。
根据原文所述，OpenAI 的论点是，基准从来不只是在测模型本身，也是在测围绕模型的技术配置。这种立场反映了更广泛的行业现实。在实际部署产品中，模型很少单独运行。它们依赖编排层、上下文窗口、检索系统、工具调用和状态管理。如果基准忽略这些组件，厂商完全可以合理地认为，那会低估真实世界表现。
但 ARC-AGI-3 并不是为了反映所有现实部署选择而设计的。它的目标是把环境标准化到足以让不同厂商之间的比较有意义。这就是为什么官方基准环境在这场讨论中如此重要。当 OpenAI 在该环境之外公布一个高得多的分数时，它可能展示的是更强的产品栈，但并不一定证明在基准原始规则下，基础模型更强。
改变结果的两个设置
原文指出，导致分数跃升的关键是 OpenAI 的两个功能。第一个是 Retained Reasoning，它会在步骤之间保留模型的思维链。第二个是 Compaction，它会对旧上下文进行摘要，而不是截断。两者结合起来，似乎解决了在官方运行环境中拖累 GPT-5.6 Sol 的弱点，因为在那种环境里，中间推理会在每个动作后丢失。
这种持续性对于多步骤推理任务可能至关重要。如果模型能够保留早先的推导并把它们压缩成可用上下文，它就可能避免反复重建自己的内部状态。换句话说，基准结果之所以变化，不是因为谜题变了，而是因为系统在求解时被允许更有效地记忆。
因此，OpenAI 的主张似乎建立在对“被测试系统”这一概念的更宽泛解释之上。如果“系统”包括厂商的 API 行为和记忆管理功能，那么 38.3% 的分数就是相关的；如果“系统”应当是通过中立、标准化接口测试的模型，那么官方的 7.8% 更能直接用于比较。
ARC Prize 的回应为两种看法都留下空间
原文称，ARC Prize 联合创始人 François Chollet 的回应是区分两类测试设置。专门为解决基准而构建，或者包含有关基准格式知识的自定义运行环境是不允许的。相较之下，所有用户都可使用的通用 API 设置则是可以接受的。Chollet 还表示，ARC Prize 一直在与 OpenAI 讨论如何最好地测试其模型，尤其是围绕 compaction 的问题，并欢迎该公司“开始弄清答案”。
这一回应值得注意，因为它并没有直接否定 OpenAI 的分数。相反，它表明 ARC Prize 认为，只要某些厂商特定设置是通用的、广泛可用的，并且与成本一起透明披露，它们就是正当的。同时，原文指出，不同厂商使用不同设置会带来一个对等性问题。换句话说，基准组织者似乎愿意容忍一定程度的不对称，同时也承认这会使直接比较复杂化。
这实际上把争论从“OpenAI 的结果是否有效”转移到了“它具有什么样的有效性”。如果把它视为 GPT-5.6 Sol 通过 OpenAI 当前 API 栈运行时的测量，那么这个结果可能是有效的；但如果把它视为与在不同假设下测试的模型之间干净、等价的基准比较，那么它的有效性就没那么明确。
这一事件对当前 AI 评测意味着什么
这场争议说明，AI 评测正在经历更广泛的转变。随着前沿系统变得更具代理性，也更依赖长链路工作流，基准表现将越来越取决于运行时设计选择，而不只是底层模型权重。记忆保留、上下文压缩、步骤编排和接口设计都可能改变结果。这给任何试图通过单一静态排行榜比较厂商的人都带来了问题。
这也意味着基准的使用者需要提出更精确的问题。模型是在默认配置下测试的吗？是否启用了厂商特定功能？运行环境是否保留了中间推理？是否披露了成本和设置？没有这些上下文的头条分数，信息量正变得比以往更少。
对于 OpenAI 来说，这一公告表明公司正有意挑战 Anthropic 近期在基准方面的势头。对于 ARC Prize 来说，这一回应表明，只要不是针对基准的投机性改动，它就愿意务实地调整规则，以适应现代 API 的现实。而对于整个行业来说，教训与其说是谁在某一天排第一，不如说是在模型性能越来越依赖产品层智能之后，定义一次“公平”测试已经变得多么困难。
这并不意味着基准失去意义，而是意味着披露变得更重要。OpenAI 的 38.3% 说明，当 GPT-5.6 Sol 的推理被保留、上下文被压缩而不是截断时，它的表现要好得多。官方的 7.8% 则说明，在该基准更严格的标准运行环境中，同一个模型的表现要差得多。两个数字都描述了真实的东西，只是它们描述的并不是同一件事。
本文基于 The Decoder 的报道。阅读原文。
Originally published on the-decoder.com