AI代理正在成为治理问题,而不仅仅是生产力工具

随着企业准备在业务流程中部署AI代理,安全与治理正成为安全扩展这项技术的核心障碍。

一篇由《MIT Technology Review Insights》制作、并与Deloitte Microsoft Technology Practice合作的文章认为,代理式AI可能为企业打开一个新的攻击面。其担忧在于,不安全的代理可能被操纵,从而访问敏感系统、专有数据或超出其预期职责范围的工具。

这篇文章属于赞助内容,而非《MIT Technology Review》的编辑报道,但其中包含了调查数据和明确的企业风险论点。根据文中引用的Deloitte AI Institute 2026 State of AI报告,近74%的公司计划在两年内部署代理式AI。只有21%表示自己已经拥有成熟的自治代理治理模型。

非人类身份正在迅速增加

文章的一个关键观点是,现代企业已经在管理越来越多的非人类身份,例如服务账户、机器凭据、自动化工作流和软件主体。代理式AI可能会加速这一趋势,因为代理可能需要权限、数据访问、工具访问,以及代表用户或业务职能采取行动的能力。

这会带来与普通聊天机器人不同的风险画像。能回答问题的对话系统是一回事,能够检索文件、调用内部工具、向系统写入内容或发起操作的代理则是另一回事。治理必须定义代理被允许做什么、它使用的是谁的权限,以及如何监控其行为。

来源文章称,高管最关切的是数据隐私和安全,占73%。其后是法律、知识产权和监管合规,占50%;治理能力和监督则占46%。

控制平面的概念正在进入AI运营

Deloitte网络实践部的负责人Andrew Rafla将控制平面描述为一个集中层,用于管理谁可以运行哪些代理、赋予哪些权限、遵循哪些政策,以及使用哪些模型和工具。在他的框架中,如果没有这样的层,企业得到的就是缺乏管理的执行,而不是可扩展的自治运行。

这一概念之所以重要,是因为企业很少孤立部署技术。AI代理可能与身份系统、文档存储、客户记录、代码仓库、分析平台和外部服务交互。如果每次部署对权限和可审计性的管理方式都不同,监督就会变得碎片化。

一个有效的治理系统需要回答基本的运营问题:代理做了什么、代表谁行动、使用了什么数据、依据什么政策,以及该操作是否能够复现或停止。文章将这些问题视为企业级代理使用的最低基础。

治理将试点与生产区分开来

来源文章认为,正是治理推动AI代理从实验走向可重复的企业自动化。试点项目通常可以依赖密切监督、有限数据或人工护栏。生产环境则需要能够在团队和使用场景之间稳定运行的控制措施。

风险不仅在于代理犯一次错误。更在于一个治理不善的代理系统可能以不可预测的方式、并在大规模上失败。如果许多代理拥有广泛访问权限、薄弱监控或不清晰的责任归属,微小的设计缺陷就可能演变为系统性暴露。

对企业而言,短期内的含义是,代理部署应与身份、安全、合规和可观测性规划同步推进。把治理当作后续附加项,也许会让早期试点更容易,但这可能使组织缺少更大范围推广所需的控制结构。

文章释放的信号

这篇文章反映了企业AI讨论中的一个更广泛转变。问题不再只是AI代理能否自动化有用工作,而是组织是否能够定义并执行这些代理运行的边界。

由于来源是赞助内容,其建议应放在这一背景下理解。即便如此,它指出的风险类别是具体的:隐私、安全、法律合规、知识产权、监督、权限和可审计性。随着代理式AI从演示走向运营系统,这些问题大概率仍将是核心。

本文基于《MIT Technology Review》的报道。阅读原文.

Originally published on technologyreview.com