Cloudflare 全面改革 AI 机器人管理
Cloudflare 宣布了一项重大转变，网站所有者现在可以更精细地管理 AI 机器人流量。自 2024 年 7 月以来，Cloudflare 客户只需单击一次即可阻止所有 AI 爬虫。现在，网站所有者可以选择三个类别：搜索、训练和代理，而不是全面拦截。这一变化提供了对 AI 机器人如何与网站交互的更细致控制。
新的精细控制
Cloudflare 仪表板中的新 AI 机器人控制允许网站所有者分别管理搜索、训练和代理机器人的访问权限。搜索涵盖搜索引擎索引，训练涵盖用于 AI 模型训练的数据收集，代理涵盖代表用户行动的机器人，如 ChatGPT。从 2026 年 9 月 15 日起，在带有广告的页面上，训练和代理机器人将被默认拦截，因为广告表明网站希望吸引人类访客。搜索爬虫仍将被允许。像 Googlebot 这样既搜索又训练的多用途爬虫将按照最严格的规则处理。新选项也适用于免费计划用户。
鼓励机器人运营商拆分爬虫
Cloudflare 正在推动机器人运营商按用途拆分其爬虫。Cloudflare 首席执行官 Matthew Prince 此前曾批评 Google 将其搜索爬虫与 AI 爬虫捆绑在一起。2026 年 6 月，Prince 指出，机器人流量首次超过了互联网上的人类流量，这一里程碑他原本预计要到 2027 年底才会出现。
BotBase：企业机器人数据库
对于企业客户，Cloudflare 还推出了 BotBase，这是一个直接内置于仪表板中的可搜索数据库，包含所有已知机器人。它显示每个机器人如何分类以及如何使用内容，无论是仅链接到页面还是完整复制页面。Cloudflare 也在改变已验证机器人的规则。以前，所有已验证机器人都会自动通过。未来，机器人的类别将决定其是否获得访问权限。仅凭“已验证”标签将不再足够：机器人运营商需要证明他们诚实地表明身份，并且不滥用授予的访问权限。
对网站所有者的影响
此次更新为网站所有者提供了更大的灵活性来管理 AI 机器人流量。通过将机器人分为不同类别，网站所有者可以在广告支持的页面上允许搜索索引，同时阻止训练和代理机器人。这有助于保护内容不被未经许可用于 AI 训练，同时仍允许搜索引擎索引网站。对广告支持页面默认阻止训练和代理机器人是一项重大变化，符合依赖广告收入的出版商的利益。
对 AI 公司的影响
使用爬虫进行训练或代理任务的 AI 公司需要适应这些新控制。他们可能需要将爬虫拆分为不同用途的独立机器人，以遵守网站所有者的偏好。Cloudflare 此举也给其他互联网基础设施提供商施加了压力，要求他们提供类似的精细控制。
结论
Cloudflare 的新 AI 机器人控制代表了在赋予网站所有者更多控制权方面迈出的重要一步，让他们能够决定自己的内容如何被 AI 使用。通过提供精细选项以及对广告支持页面默认阻止训练和代理机器人，Cloudflare 正在帮助平衡内容创作者和 AI 开发者的需求。为企业客户引入 BotBase 进一步增强了透明度和控制力。
本文基于 The Decoder 的报道。阅读原文。
Originally published on the-decoder.com