Cloudflare Reformula Gerenciamento de Bots de IA
A Cloudflare anunciou uma mudança significativa na forma como os proprietários de sites podem gerenciar o tráfego de bots de IA. Desde julho de 2024, os clientes da Cloudflare podem bloquear todos os crawlers de IA com um único clique. Agora, em vez de um bloqueio genérico, os proprietários de sites podem escolher entre três categorias: Busca, Treinamento e Agentes. Essa mudança oferece um controle mais granular sobre como os bots de IA interagem com os sites.
Novos Controles Granulares
Os novos controles de bots de IA no painel da Cloudflare permitem que os proprietários de sites gerenciem o acesso para bots de Busca, Treinamento e Agentes separadamente. Busca cobre indexação de mecanismos de busca, Treinamento cobre coleta de dados para treinamento de modelos de IA, e Agentes cobre bots que agem em nome de usuários, como o ChatGPT. A partir de 15 de setembro de 2026, bots de Treinamento e Agentes serão bloqueados por padrão em páginas que exibem anúncios, já que a publicidade sinaliza que o site deseja visitantes humanos. Crawlers de busca ainda serão permitidos. Crawlers multiuso, como o Googlebot, que tanto buscam quanto treinam, serão tratados de acordo com a regra mais restritiva. As novas opções estão disponíveis também para usuários do plano gratuito.
Operadores de Bots Incentivados a Separar Crawlers
A Cloudflare está pressionando os operadores de bots a separarem seus crawlers por finalidade. O CEO da Cloudflare, Matthew Prince, já criticou anteriormente o Google por agrupar seu crawler de busca com seu crawler de IA. Em junho de 2026, Prince observou que o tráfego de bots ultrapassou o tráfego humano na internet pela primeira vez, um marco que ele originalmente não esperava até o final de 2027.
BotBase: Banco de Dados Empresarial de Bots
Para clientes empresariais, a Cloudflare também está lançando o BotBase, um banco de dados pesquisável de todos os bots conhecidos, integrado diretamente ao painel. Ele mostra como cada bot é classificado e como usa o conteúdo, se apenas linka para páginas ou as reproduz integralmente. A Cloudflare também está alterando as regras para bots verificados. Anteriormente, todos os bots verificados eram automaticamente permitidos. Daqui em diante, a categoria do bot determina se ele obtém acesso. O rótulo 'Verificado' sozinho não será mais suficiente: os operadores de bots precisarão provar que se identificam honestamente e não abusam do acesso concedido.
Implicações para Proprietários de Sites
Esta atualização oferece aos proprietários de sites mais flexibilidade no gerenciamento do tráfego de bots de IA. Ao separar os bots em categorias, os proprietários de sites podem permitir a indexação de busca enquanto bloqueiam bots de treinamento e agentes em páginas com anúncios. Isso ajuda a proteger o conteúdo de ser usado para treinamento de IA sem permissão, enquanto ainda permite que os mecanismos de busca indexem o site. O bloqueio padrão de bots de Treinamento e Agentes para páginas com anúncios é uma mudança significativa que se alinha aos interesses dos editores que dependem da receita de publicidade.
Impacto em Empresas de IA
Empresas de IA que usam crawlers para tarefas de treinamento ou agentes precisarão se adaptar a esses novos controles. Elas podem precisar dividir seus crawlers em bots separados para diferentes finalidades, a fim de cumprir as preferências dos proprietários de sites. A medida da Cloudflare também pressiona outros provedores de infraestrutura de internet a oferecerem controles granulares semelhantes.
Conclusão
Os novos controles de bots de IA da Cloudflare representam um grande avanço em dar aos proprietários de sites mais controle sobre como seu conteúdo é usado pela IA. Ao fornecer opções granulares e um bloqueio padrão de bots de treinamento e agentes para páginas com anúncios, a Cloudflare está ajudando a equilibrar as necessidades dos criadores de conteúdo e dos desenvolvedores de IA. A introdução do BotBase para clientes empresariais aumenta ainda mais a transparência e o controle.
Este artigo é baseado em reportagem do The Decoder. Leia o artigo original.
Originally published on the-decoder.com