Microsoft 首席执行官提出以遏制为先的 AI 安全观
Microsoft 首席执行官 Satya Nadella 认为，先进 AI 系统的设计应建立在其可能已遭入侵的假设之上，并确保具备相应资质的人类能够在系统运行期间暂停或关闭它们。
Nadella 在 X 上发表的一篇长文中描述了这样一种未来：人们不能把 AI 视为一组不透明的系统，只是简单地接受或拒绝其建议和行动。相反，他呼吁构建更加透明的系统，使其能够被观察和遏制，并以防篡改且人类可读的方式留下事件经过的证据。
他的观点将运行控制和可审计性置于高能力模型讨论的核心位置。这也意味着，AI 安全与其说是信任模型的预期行为，不如说是要构建这样的系统：即使这种信任被证明是错误的，系统仍然处于可管理状态。
从一开始就实施遏制
Nadella 最直接的提议，是将遏制视为基础要求，而不是特殊情况下才启用的安全措施。他将这一理念比作紧急刹车：获得授权的人应能够在模型执行任务的过程中中断或停止它。
随着模型被用于持续时间更长或后果更重大的工作，这一原则的重要性也会增加。能够采取行动、使用工具或执行多步骤任务的系统，可能造成在结果已经出现后更难处理的风险。暂停或关闭机制旨在确保任务尚未完成时，人类仍能介入。
Nadella 还认为，更先进的系统需要更先进的遏制技术，而且这些技术应实现标准化。该声明没有指定具体的技术设计，但指向了更广泛的预期：安全控制不应针对每个模型或部署场景分别临时设计。
透明度、证据与外部审查
这位 Microsoft 负责人提出的建议，与 AI 治理讨论中已经受到广泛关注的一些理念相呼应，包括及时披露事故、独立审计、可验证数据以及技术遏制。
这些措施结合起来，分别应对问责问题的不同环节。事故披露可以提醒用户、开发者和监管机构注意系统故障。独立审计可以检验 AI 开发者提出的主张。可验证数据有助于审查系统输出或行动的依据。当系统出现意外行为或遭到滥用时，遏制机制则提供了一种限制损害的手段。
Nadella 对防篡改且人类可读证据的强调尤其值得注意，因为这将技术保障与实际监督联系起来。证据不仅必须存在，还必须以人们能够检查的形式提供，以便在需要时确定系统做了什么，以及某项决策为何作出。
从接受转向控制
这一论点的核心是，先进 AI 不应仅仅因为有用，就被当作黑箱接受。Nadella 的表述表明，对于可能影响重要决策或在复杂环境中采取行动的系统，仅凭可靠性声明是不够的。
相反，关注重点应放在模型所处的条件上：能否对其进行观察，能否记录其活动，外部人员能否对其进行评估，以及拥有适当权限的人能否停止它。这种方式并不能消除构建高能力模型的挑战，但会将控制功能纳入可部署系统的定义之中。
Nadella 多次提到“超级智能”的可能性，这一措辞反映出他此次发言的高风险定位。不过，他提出的具体建议关注的是当下的治理选择：审计、报告、可验证性以及人类干预机制。
这一提议意味着什么
这一提议并不是一套完整的技术或监管蓝图，但它明确呼吁 AI 开发者和部署者在系统投入使用前，就为系统遭到入侵、发生故障或被滥用做好规划。
对于采用 AI 的组织而言，其实际含义很直接：评估系统能否受到监控，活动是否以可检查的方式记录，谁有权介入，以及介入速度是否足以产生实际效果。随着 AI 系统能力不断增强，这些问题可能会从安全检查清单，转变为使用系统的基本条件。
本文根据 The Verge 的报道编写。 阅读原文。
Originally published on theverge.com
