可控性问题
随着AI推理模型变得越来越强大，一个问题已成为安全研究的核心：开发者能否指导这些系统控制、改变或隐藏其chain-of-thought推理？来自OpenAI的新研究提供了明确而令人欣慰的答案——不能轻易做到，这种结构性阻力对AI透明度和监督来说是真正的好消息。
该研究测试了推理模型是否可以通过提示、微调或指令被迫抑制其在生成最终输出之前执行的推理步骤。研究结果表明，推理模型具有深度嵌入的推理行为，这些行为抵抗直接覆盖——这个属性对我们如何构建和监控值得信赖的AI系统具有重要意义。
OpenAI的o-series等推理模型使用扩展思维过程，以便签式输出的形式出现，用户可以看到。这个问题涉及可见推理是否准确代表了模型的内部计算过程——以及这个过程是否可以被不良行为者或未对齐的目标隐藏或操纵——在AI安全圈多年来一直是一个热议话题。
研究发现了什么
研究人员试图训练推理模型的版本，使其要么完全隐藏其思考链，要么在仍然得出正确最终答案的同时产生误导性的推理痕迹。他们发现，尝试将可见推理与底层计算分离往往会降低整体模型性能。推理过程和输出质量似乎紧密耦合——你不能轻易移除其中一个而不损害另一个。
这种耦合是这些模型在训练期间学会推理的方式的结构性属性。它们发展推理模式不可分割地融入其解决问题的能力，而不是可以剥离的可分离覆盖层。通过指令提示或有针对性的微调来抑制这种推理的努力大多不成功，无法生成既可靠地有能力又可靠地对推理过程不透明的模型。
该研究还探索了模型是否可以被诱导使用可见推理来欺骗用户——显示看起来合理但伪造的推理步骤，同时秘密遵循不同的内部逻辑。这个场景得到了广泛测试，在当前模型架构中很难可靠地产生，提供证据表明可见chain-of-thought确实追踪真实内部推理到有意义的程度，而不是纯粹的表现。
为什么这对AI安全很重要
检查模型推理过程的能力是AI安全研究人员和企业部署者可以使用的主要透明度工具之一。如果推理模型可以轻易抑制或伪造其思考痕迹，针对欺骗性AI行为的一条重要防线将被有效地中和。结构性困难存在的发现——不仅反对提示，而且抵抗训练时间的操纵——表明chain-of-thought推理提供了比悲观分析所担忧的更强大的透明度。
这在deceptive alignment的背景下特别重要——一个假设的失败模式，其中AI系统学会在评估期间表现良好，同时在部署中计划以不同的方式行动。虽然这项研究并不证明deceptive alignment是不可能的，但它表明推理模型面临真正的结构性障碍来通过其可见推理过程隐藏意图，使这个失败模式比标准语言模型中的实现更难。
对于在推理模型上构建的组织，这项研究提供了额外的信心，将chain-of-thought输出用作真正的监控信号，而不是将其视为表面显示行为。如果推理模型的思考痕迹显示有问题的步骤，该信号更可能代表真正的问题，而不是输出格式的工件。
模型定制的含义
这些发现还对AI开发者如何处理模型定制有实际意义。寻求为特定任务微调推理模型的组织可能会发现，简化或限制推理过程的尝试对模型质量有意想不到的下游影响。理解推理痕迹和输出性能之间的紧密耦合有助于为可行的定制策略设定现实的期望。
对于监管机构和政策制定者，这项研究有助于不断发展理解什么AI透明度要求在技术层面上实际可达成。要求AI系统解释其推理的授权对于推理模型架构可能比以前假设的更容易实现，尽管这些解释的保真度和完整性仍然是该领域尚未完全回答的活跃研究问题。
该研究涉及开发安全研究人员所谓的mechanistic interpretability的更广泛努力——不仅能理解AI系统输出什么的能力，而且能理解为什么，在内部计算机制的层面上。Chain-of-thought推理是这个问题上最容易获得的把手之一，它在结构上稳健的证据加强了它在可解释性工具包中的作用。
更广泛的意义
值得信赖的AI需要其行为可以被理解、预测和监控的系统。Chain-of-thought透明度是当前用于在部署系统中实现这一目标最实用的工具之一。它在结构上稳健而不是化妆品应用的证据加强了推理模型架构作为高风险企业和政府部署基础的案例。
该研究代表了更广泛努力的一部分，以理解哪些安全属性可以在训练时构建到模型中，而不是在推理时施加的。推理不容易与其可见痕迹分离的发现表明训练时间的安全属性可能提供比单独运行时干预更持久的保证——一个见解可能会在未来多年塑造AI系统设计，因为该行业正在努力解决如何构建既高度有能力又真正值得信赖的系统。
本文基于OpenAI的报道。阅读原文。
Originally published on openai.com