任何拼装完一个平板包装书架、却发现还有一颗多余的螺丝在地板上滚动的人,都体会过宜家组装出错时那种隐隐的恐惧。现在或许有一台机器能终结这场争论。根据 Epoch AI 的家具组装基准测试(FAB),OpenAI 的 GPT-6 Astra 可以查看组装中途的家具照片,并准确指出组装究竟在哪里出了问题,在该任务上取得了 80% 的准确率。

这一结果距离该基准测试的最佳表现者 Claude Opus 4.5 仅取得 28% 的准确率大约十个月。从几乎完全失败到能捕捉绝大多数人为引入的错误,这一跃升是 FAB 最新排行榜更新的头条新闻。

家具组装基准测试如何运作

FAB 刻意设计得平淡无奇,而这似乎正是其用意所在。该基准测试在组装三件宜家家具的过程中拍照,并沿途故意引入错误。随后,模型会看到这些照片以及厂商的说明书,并且必须同时完成两件事:指出错误所在,并用语言描述出了什么问题。

正是这种组合使该任务比简单的图像分类问题更难。模型不能仅仅标记出某处看起来不对劲。它必须在部分组装完成的物体中定位错误,然后清晰地解释,使人类组装者能够根据描述采取行动。因此,该基准测试将视觉推理、指令遵循和语言生成整合为一个单一分数。

平板包装家具之所以成为有用的压力测试,恰恰是因为它很无聊。部件是刚性的,说明书是图示化的,正确与否毫不含糊。要么搁板导轨装在了错误的一面,要么没有。几乎没有留下任何可能模糊基于图像的评估的主观判断空间。

十个月内从 28% 到 80%

进步幅度是本次更新中最引人注目的部分。2025 年 11 月,当时最强的模型得分远低于该基准测试的三分之一。十个月后,领先者已接近这样一个节点:该工具正确的次数将远远多于错误的次数。

  • 2025 年 11 月:Claude Opus 4.5 以 28% 领跑。
  • 2026 年 9 月:OpenAI 的 GPT-6 Astra 达到 80%,平均每张照片约需三分钟。
  • Claude Fable 5.1 为 70%。
  • Claude Opus 5 为 61%。
  • Kimi K3 等中国开放权重模型落后领先者至少七个月。

五个数据点中有三个描述的是一个聚集在有意义区间内的领域,而非单一的一骑绝尘的赢家。Astra 占据优势,但 Fable 5.1 足够接近,下一轮发布后排名可能发生变化。更具揭示性的差距是前沿模型与开放权重挑战者之间的差距,Kimi K3 及其同类仍落后大约七个月。

为何曲线弯曲得如此急剧

原始材料将这一进步描述为更广泛转变的一部分,而非孤立的壮举。不久前,模型还在远为简单的视觉任务上失败,这使得在一个多步骤检查问题上取得 80% 的结果格外引人注目。随着视觉语言系统在将描述建立在图像中实际可见内容方面变得更强,围绕物理对象构建的基准测试变得前所未有地可行。

速度仍是剩余瓶颈

Astra 的分数有一个重要附加说明:每张照片三分钟。对于实时组装辅助这一大多数人首先会想到的场景来说,这太慢了。当你双手占满、组装进行到第四步一半时,一个需要三分钟才能给出判断的助手毫无用处。

OpenAI's GPT-6 Astra spots assembly errors in IKEA furniture photos with 80 percent accuracy, up from 28 percent just months ago. | Image: OpenAI
OpenAI's GPT-6 Astra spots assembly errors in IKEA furniture photos with 80 percent accuracy, up from 28 percent just months ago. | Image: OpenAI

尽管如此,研究人员仍将这一能力视为一块垫脚石。他们认为,底层技能最终可以指向汽车维修或家电修理等任务,在这些任务中,模型会将故障或部分拆解系统的照片与文档进行比对,并描述故障。这些领域比书架更杂乱:部件被隐藏,光照多变,此前的维修可能使机器处于非标准状态。

原则上,速度也是一个比准确率更容易攻克的问题。随着一代代模型的更迭,推理成本往往下降,吞吐量往往上升,因此今天的三分钟周转更多说明的是当前技术水平,而非任何硬性上限。

超越平板包装:视觉机器人

该基准测试结果并非孤立存在。根据原始材料,Astra 在视觉机器人任务上也表现出色,这表明同一种底层能力——读取场景并推理物理布局——可以超越家具的静态照片。

这种联系很重要,因为机器人技术一直以来的限制与其说在于执行器,不如说在于感知和常识。一个能够查看半成品组装、将其与计划比对并指出哪里出错的机器人,所做的在结构上类似于操作:它在构建物体正确状态的内部模型,并将其与现实进行比对。这类错误检测是错误纠正的逻辑前身。

一个为保持诚实而构建的基准测试

FAB 的设计也说明了 AI 评估正在如何成熟。它没有测试抽象的谜题求解,而是从日常生活中借用一项任务,并引入受控故障,这使得评分客观且可复现。故意错误可以被编目,因此正确答案可验证,错误答案也一目了然。

这种严谨性的代价是狭窄性。三件宜家家具只是一个小样本,在它们上面成功并不能保证在厨柜或自行车上也能成功。但作为视觉推理进展的方向性信号,该基准测试异常清晰易读:它衡量的是模型能否查看一个物理对象并告诉你它出了什么问题。

接下来值得关注什么

三件事将决定这一结果看起来是里程碑还是脚注。第一,Astra 对 Fable 5.1 和 Opus 5 的领先优势在未来几个月会扩大还是缩小。第二,推理时间能否下降到足以让实时指导变得可行。第三,错误检测技能能否从平板包装家具推广到研究人员设想的更杂乱的维修任务。

就目前而言,实际启示不大但真实:不到一年前还无法可靠发现搁板支架装反的技术,如今能在十次中识别出八次错误并加以解释。任何曾与伴侣争论木销该朝哪边插的人,或许都会认为这种进步值得拥有。

本文基于 The Decoder 的报道。阅读原文。

Originally published on the-decoder.com