Meta 和学术合作方将自我改进型 AI 推进了一步
来自 Meta、不列颠哥伦比亚大学以及其他机构的研究人员表示，他们开发出了一类名为“超代理”的新系统，不仅可以更好地完成任务，还能改进它们用于自我提升的过程。如果这一方法经得起验证，这将标志着自我改进型 AI 的一个重要扩展，超越了此前方法表现良好的领域，尤其是编程。
据 The Decoder 报道，这项工作建立在 Darwin Gödel Machine，简称 DGM 的基础之上。DGM 是一个框架，代理会生成自身代码的变体，对其进行测试，并将成功版本存入档案，以支持后续的进一步优化。据原始材料所述，早先设置的关键限制在于，指导改进的机制仍由人类固定设定。代理可以在该框架内优化，但不能改变框架本身。
超代理的不同之处
所提出的解决方案是把两个功能合并到一个可编辑程序中。一个组件负责当前任务，例如评估一篇科学论文或为机器人设计奖励函数。另一个组件则修改代理并创建新的变体。由于这两个组件都存在于同一代码库中，系统理论上不仅可以重写其任务执行行为，还可以重写其改进逻辑。
这就是超代理概念背后的核心主张。代理不再只是在一个固定的人类编写外壳内部改进，它还可以优化这个外壳本身。按原始报道的说法，它在任务上变得更强，同时也更善于“首先弄清楚该如何改进”。
这一点很重要，因为自我改进长期以来都面临一个上限。一个系统可能在某个领域非常强大，却仍然依赖于手工构建、且自身并不会演化的机制。超代理正试图通过让元层也变得可编辑来消除这一瓶颈。
为什么早期自我改进难以泛化
根据所提供的原文，最初的 Darwin Gödel Machine 在编码任务上显示出潜力，因为“更好的程序员”和“写出更好的自我修改代码”之间存在自然关联。在编码场景中，代理完成任务的能力与改变自身实现方式的能力紧密相连。
但在编程之外，这种联系就变弱了。一个在评估科学论文方面变得更好的代理，并不会自动更擅长重写自己的代码。研究人员认为，这也是为什么原始 DGM 在编程之外如果不进行人工调整就表现很差。报道指出，除非人类介入调参，否则系统在非编程任务上的性能几乎为零。
超代理正是为了解决这一失败模式。通过允许改进机制本身也可被优化，研究人员希望保留 DGM 基于档案的进化结构，同时不再把元代理永久固定死。
新系统：DGM-H
团队将这一新方法称为 DGM-Hyperagents，简称 DGM-H。档案仍是该方法的关键部分。系统会生成变体，评估它们，并把成功版本作为未来变化的跳板。变化在于“元”组件不再被锁定。该架构的设计使代理生成更优版本的过程，也可以作为同一循环的一部分被修改。
这在概念上是一个重大转变。在许多 AI 系统中，自我改进都受制于对象层任务求解器与元层控制器或训练逻辑之间的硬性分离。DGM-H 通过把两者都放进可编辑代码中，缩小了这种分离。至少在理论上，这让系统在面对陌生领域时，更有机会适应，因为通向改进的路径不再与任务能力天然对齐。
四类任务中的报告结果
候选文本称研究人员在四类任务上测试了 DGM-H，并报告了显著提升。由于摘要没有提供完整数值结果，因此不应夸大这些结果。可以确定的是，研究团队将该系统描述为，在更广泛适用性方面明显强于原始设置。
这一说法很重要，因为泛化能力是自我改进型 AI 最难达成的目标之一。许多系统在狭窄条件下表现良好，但依赖于一旦环境变化就会失效的手工假设。如果超代理能够在不同任务类型之间实现有意义的改进，它们将代表向更灵活的自主系统迈进了一步。
与此同时，所提供的材料将其描述为研究，而非生产能力。因此，这项工作应被理解为一个实验性步骤，而不是自我加速型 AI 已经在大规模运行的证据。
这项研究为何重要
超代理的更广泛意义在于它们推动前沿的位置。AI 研究人员长期以来一直在探索能够搜索、优化，或编写代码来提升性能的系统。更难的问题是，如何构建出能够修订“修订逻辑”本身，而又不至于陷入无效变化的系统。DGM-H 被描述为一种尝试，旨在让这种递归循环更强大、用途也更广泛。
如果这种方法证明足够稳健，它可能会对那些任务能力与自我修改能力并不自然重合的领域产生影响。科学分析、机器人以及其他复杂领域就是原文中提到的例子。在这些场景下，系统的价值可能越来越取决于它不仅能采取行动，还能重新设计自己的学习和适应方式。
这也解释了为什么这项工作会引起技术细节之外的关注。一个能够优化自身优化器的系统，触及 AI 能力增长、安全性、评估和控制等核心问题。所提供的报道强调了性能提升的潜力，但同样的架构思路也很可能引发对监督和对齐问题保持警惕的研究人员的审视。
一个渐进但值得注意的步骤
根据现有材料，最稳妥的结论是，Meta 及其合作方正在推进一种更灵活的自我改进模型，而不是展示一条通向失控递归智能的已解路径。该研究针对早期自我修改方法中的一个具体弱点，并宣称在多个任务领域取得进展。
仅这一点就使它值得关注。自我改进型 AI 往往被抽象地或带有推测性地讨论。超代理为这一讨论提供了更具体的技术形式：可编辑的元机制、基于档案的迭代，以及明确尝试将其推广到软件工程之外。该方法最终会成为基础性方案，还是仅仅保留为一个有用的实验，取决于超出本文摘要之外的结果。但作为一个研究方向，它显然瞄准了 AI 中最具分量的问题之一：不仅是系统能否改进，更是它们能否改进“改进本身”的过程。
本文基于 The Decoder 的报道。阅读原文。
Originally published on the-decoder.com