CEO-Bench 提出了比大多数 AI 评测更难的问题
人工智能系统在编码修复、客服对话和结构化网页流程等范围明确的任务上已经取得了很强的成绩。但这些测试通常衡量的是短周期表现：模型接收一个清晰目标，采取有限的一组行动，并很快得到反馈。普林斯顿大学研究人员描述的一项新基准则瞄准了更困难的事情：AI 代理能否在较长时间内做出许多相互关联的商业决策，而不会把自己引向失败。
这项名为 CEO-Bench 的基准让一个 AI 代理负责一家虚构的订阅软件公司 NovaMind，时间跨度为 500 个模拟日。公司起始时没有客户，现金为 100 万美元。代理必须在关注订阅增长、取消率、支持结果、市场信号以及剩余现金等指标的同时决定如何运营业务。如果公司余额哪怕有一次跌破零，运行就会以破产告终。
报道中的头条结果对那些期待当前前沿模型能兼任自主高管的人来说并不乐观。根据所提供的报告，只有三个 AI 模型完整完成了 500 天模拟，并且结束时持有的现金多于起始资金。大多数模型都没能保住资本，而一个没有任何 AI 能力的简单规则式启发法几乎击败了它们全部。
这项基准想衡量什么
研究人员将 CEO-Bench 定义为对他们所称“引导智能”的测试：即在不确定性下引导一个组织朝着长期目标前进的能力。这与一次解决一个任务的能力不同。即便只是经营一个模拟公司，也需要在不完整的选项之间排序，分配稀缺资源，读取噪声信号，并在数百个步骤中适应变化中的环境。一个错误决定未必会立刻失败。相反，问题可能会逐步累积，直到业务变得不可持续。
这种区分很重要，因为近期围绕 AI 代理的公开讨论，很大一部分都集中在它们在边界明确工作中的能力提升。一个能写代码、查询数据库或起草社交帖子代理，仍然可能难以决定这些行动中哪些最重要、何时该花钱、应以多大力度追求增长，或者何时克制反而是更好的策略。CEO-Bench 旨在暴露这种差距。
研究人员用一个著名的人类案例来说明更广泛的观点：1997 年苹果公司濒临危机时，Steve Jobs 将公司的产品重点简化为四个核心象限。无论人们是否认为这个故事足以完整代表商业领导力，这一比较都说明了基准真正关注的是什么。战略判断不只是执行。它还包括决定不做什么，并且要足够早地做出这些决定，让它们真正产生影响。
NovaMind 在模拟中如何运作
在 CEO-Bench 中，AI 并不只是从一小组固定决策里做选择。它通过一个包含 34 个工具、并可访问 19 个数据表的 Python API 来运作。代理可以编写自己的代码、运行 SQL 查询、检查业务信息、与管理类工具交互，并基于学到的内容创建自定义工作流。因此，这个模拟试图更像一个现实的运营环境，而不是一道只有明显选项的测验题。
这种设置很重要，因为长期管理问题通常不是靠一步就能解决的。模型可能需要把客户数据与运营信号结合起来，在新信息出现后改变优先级，或者在任何业务效果显现之前协调多个动作。代理还必须在一个市场周期、支持工单、订阅趋势和现金流彼此影响的业务环境中导航。
从实践上说，这意味着模型在局部上看起来能干，却仍可能在全局上失败。它也许优化了一个可见的子问题，例如制造活动量或减少某个积压，但却做出了削弱公司整体地位的权衡。基准以现金为基础的最终得分捕捉的正是这种更广泛的结果。如果公司最后没钱了，短期聪明就没有太大意义。
为什么这些发现不只关乎一家虚构公司
最直接的结论是，当前 AI 代理在狭窄执行方面明显强于持续性的组织控制。这并不意味着底层系统在商业场景中毫无用处，而是意味着它们作为人类主导运营中的工具，可能比作为拥有广泛权限的自主决策者更可靠。
这会影响企业应如何看待代理部署。企业在内部运营中尝试使用 AI 时，常会谈到端到端自动化，但 CEO-Bench 表明，随着任务持续时间拉长、关联性增强，自主性也会变得更危险。一个代理也许能很好地处理孤立职能，但仍缺乏把这些职能串联成稳健战略所需的判断力。
这一结果还值得注意，因为一个非 AI 的启发法几乎击败了所有模型。这说明失败并不只是抽象意义上的原始智能不足，也可能与稳定性、纪律性，以及在模糊环境中避免自我挫败式行动的能力有关。在某些场景下，一个保守的固定策略，可能会胜过一个更灵活、却会反应过度、追逐噪声或错配资源的系统。
随着 AI 厂商将系统推向管理和代理型工作，像 CEO-Bench 这样的基准可能会变得越来越有用。现有评测往往奖励任务完成，但并不总能揭示模型是否能够长期保值。决定是否把运营、预算或战略交给 AI 的公司，需要更接近现实世界问题的证据。
CEO-Bench 能证明什么，不能证明什么
这项基准仍然只是一个模拟，而任何模拟都有局限。虚构的初创公司无法完整呈现实际公司的复杂性、行业差异或领导力动态。所提供的材料也没有给出所有模型的完整排名、详细方法说明，或哪些策略导致成功或失败的拆解。因此，这些发现不应被夸大为对 AI 管理能力的普遍定论。
即便如此，证据仍然指向一个清晰方向。短任务上的强表现，并不会自动转化为长期引导上的能力。这个差距很重要，因为许多最高价值的商业决策恰恰是在较长时间内展开、涉及不完整信息，并且只有在错误累积后才会受到惩罚的决策。
就目前而言，CEO-Bench 与其说是对自主 AI 高管的加冕，不如说是对这一想法的一次压力测试。早期结果表明，业界距离能在持续不确定性中可靠运营公司的代理仍有一段距离。若说有什么启示，那就是这个基准强调了 AI 更现实的短期角色：不是取代领导层，而是在人类仍掌控优先级、取舍和错误后果的前提下辅助他们。
本文基于 The Decoder 的报道。阅读原文。
Originally published on the-decoder.com