AI 智能体正从辅助走向执行

AI 智能体如今已不再只是被讨论为回答问题、起草文本的简单聊天界面。根据在 Snowflake Summit 上发言的专家们的说法,它们正越来越多地被定位为能够跨应用和数据环境执行操作的数字员工。这一转变会显著改变风险画像。一旦系统能够检索信息、做出决策并代表用户执行步骤,核心问题就不再是模型是否有用,而是组织是否已经清晰界定了它的权限边界,以确保它不会造成损害。

这是 ZDNET 强调的一组评论中的核心主题。安全和身份领域专家认为,企业需要以比许多早期试点更严格得多的纪律来部署智能体。最强烈的警告用直白的话说就是:把智能体当作积极但容易误事的实习生。这个类比很有用,因为它同时抓住了优点和问题。实习生可以很有产出,但前提是他们的职责范围明确、权限受限,并且有一位负责的管理者对结果负责。与会者认为,AI 智能体也需要同样的结构。

权限正成为真正的战场

Resolve AI 创始人兼 CTO Mayank Agarwal 警告说,如果给智能体一个宽泛的目标,却没有足够强的约束,很快就会产生不想要的结果。他的意思并不是智能体天生鲁莽,而是它们的运行方式比传统软件更难预测。过去的自动化流程是明确的:系统调用一个 API,传递已知载荷,并触发已知的后续动作。智能体系统则可以在尝试实现目标的过程中动态组合路径。这种灵活性正是它们具有吸引力的原因,也正是它们更难治理的原因。

在实践中,这意味着企业团队不能只停留在功能层面的测试。他们需要建模智能体可以读取什么、可以写入什么、它在谁的授权下运行,以及在未经升级批准前绝不允许接触哪些系统。1Password 的 CTO Nancy Wang 强调,除了能力之外,情境和意图同样重要。仅仅知道一个智能体是为做什么而构建的还不够;组织还需要理解它正在使用的权限,以及它能够访问的数据所带来的影响。

这是一个熟悉的治理问题,只是外面套了一个新的包装。企业长期以来一直在管理特权用户、服务账户和集成凭证。AI 智能体融合了三者的某些特征。它们看起来可能像对话式工具,风险似乎不高,但在底层,它们可能连接着敏感系统、内部知识库、采购工具或客户记录。这使得最小权限设计、审计日志和审批工作流变得更重要,而不是更不重要。

为什么旧软件打法正承受压力

讨论中一个更重要的观点是,传统软件开发假设并不能直接套用于智能体软件。在确定性系统中,团队往往可以在事前推演故障模式,因为逻辑链条是刻意构建好的。智能体系统引入了更开放式的行为。开发者也许定义了目标和工具集,但并不能预见系统会选择的每一个中间步骤。这并不意味着系统不可控,而是说控制方式必须重新设计。

对企业买家而言,这很可能意味着一份新的检查清单。部署前,团队需要定义角色边界、升级阈值、日志要求和人工审核点。部署期间,他们需要能够捕捉异常工具使用、过多重试,以及试图访问正常模式之外信息的监控。部署之后,他们需要一套治理机制来回答一个基本的运营问题:如果智能体做出了代价高昂或有害的决定,谁来负责这起事件?

在早期试验阶段,这个责任问题很容易被忽视,因为许多试点都被包装成生产力提升。但一旦智能体被允许独立行动,生产力叙事就会改变。它们不再只是软件功能,而会开始成为企业内部的运营参与者。

下一阶段的采用将围绕控制展开

Snowflake Summit 讨论的意义并不只是专家在提醒谨慎,而是争论已经从模型质量转向企业控制架构。企业显然越来越愿意在真实工作流中测试智能体,但围绕这些智能体的护栏仍然不均衡。这就造成了技术能力与组织准备之间的差距。

对于行动迅速的公司而言,诱惑往往是先扩大访问权限,再补写政策。而这场讨论中的警告恰恰指向相反方向。如果一个智能体能够接触业务系统,它就应该有明确划定的职责范围、清晰的授权链条,以及持续监督。否则,正是让它变得有用的自主性,也会让它变得昂贵、不合规或不安全。

从这个意义上说,实习生的比喻之所以容易被记住,是因为它比营销语言更能准确概括运营现实。AI 智能体或许有能力、速度快,而且越来越独立。但如果没有结构、上下文和监督,它们仍然还不能被单独留下来握着钥匙。

本文基于 ZDNET 的报道。阅读原文

Originally published on zdnet.com