Cloudflare reemplaza el bloqueo general de bots de IA con controles granulares para rastreadores de búsqueda, entrenamiento y agentes

Cloudflare renueva la gestión de bots de IA

Cloudflare ha anunciado un cambio significativo en la forma en que los propietarios de sitios web pueden gestionar el tráfico de bots de IA. Desde julio de 2024, los clientes de Cloudflare han podido bloquear todos los rastreadores de IA con un solo clic. Ahora, en lugar de un bloqueo general, los propietarios de sitios pueden elegir entre tres categorías: Búsqueda, Entrenamiento y Agente. Este cambio proporciona un control más matizado sobre cómo los bots de IA interactúan con los sitios web.

Nuevos controles granulares

Los nuevos controles de bots de IA en el panel de Cloudflare permiten a los propietarios de sitios gestionar el acceso de los bots de Búsqueda, Entrenamiento y Agentes por separado. Búsqueda cubre la indexación de motores de búsqueda, Entrenamiento cubre la recopilación de datos para el entrenamiento de modelos de IA, y Agente cubre bots que actúan en nombre de los usuarios, como ChatGPT. A partir del 15 de septiembre de 2026, los bots de Entrenamiento y Agentes serán bloqueados por defecto en páginas que muestren anuncios, ya que la publicidad indica que un sitio busca visitantes humanos. Los rastreadores de búsqueda aún estarán permitidos. Los rastreadores multiuso como Googlebot, que realizan tanto búsqueda como entrenamiento, serán tratados según la regla más estricta. Las nuevas opciones están disponibles también para los usuarios del plan gratuito.

Se alienta a los operadores de bots a dividir los rastreadores

Cloudflare está presionando a los operadores de bots para que dividan sus rastreadores según su propósito. El CEO de Cloudflare, Matthew Prince, ha criticado anteriormente a Google por combinar su rastreador de búsqueda con su rastreador de IA. En junio de 2026, Prince señaló que el tráfico de bots había superado al tráfico humano en Internet por primera vez, un hito que originalmente no esperaba hasta finales de 2027.

BotBase: base de datos empresarial de bots

Para clientes empresariales, Cloudflare también está lanzando BotBase, una base de datos buscable de todos los bots conocidos integrada directamente en el panel. Muestra cómo se clasifica cada bot y cómo utiliza el contenido, ya sea solo enlazando a páginas o reproduciéndolas por completo. Cloudflare también está cambiando las reglas para los bots verificados. Anteriormente, todos los bots verificados se permitían automáticamente. En adelante, la categoría de un bot determinará si obtiene acceso. La etiqueta 'Verificado' por sí sola ya no será suficiente: los operadores de bots deberán demostrar que se identifican honestamente y que no abusan del acceso que se les concede.

Implicaciones para los propietarios de sitios web

Esta actualización brinda a los propietarios de sitios web más flexibilidad para gestionar el tráfico de bots de IA. Al separar los bots en categorías, los propietarios de sitios pueden permitir la indexación de búsqueda mientras bloquean los bots de entrenamiento y agentes en páginas con publicidad. Esto ayuda a proteger el contenido de ser utilizado para entrenamiento de IA sin permiso, mientras que aún permite que los motores de búsqueda indexen el sitio. El bloqueo por defecto de los bots de Entrenamiento y Agentes en páginas con publicidad es un cambio significativo que se alinea con los intereses de los editores que dependen de los ingresos publicitarios.

Impacto en las empresas de IA

Las empresas de IA que utilizan rastreadores para tareas de entrenamiento o agentes deberán adaptarse a estos nuevos controles. Es posible que necesiten dividir sus rastreadores en bots separados para diferentes propósitos a fin de cumplir con las preferencias de los propietarios de sitios. La medida de Cloudflare también presiona a otros proveedores de infraestructura de Internet para que ofrezcan controles granulares similares.

Conclusión

Los nuevos controles de bots de IA de Cloudflare representan un paso importante para dar a los propietarios de sitios web más control sobre cómo se utiliza su contenido por parte de la IA. Al proporcionar opciones granulares y un bloqueo por defecto de los bots de entrenamiento y agentes en páginas con publicidad, Cloudflare ayuda a equilibrar las necesidades de los creadores de contenido y los desarrolladores de IA. La introducción de BotBase para clientes empresariales mejora aún más la transparencia y el control.

Este artículo se basa en informes de The Decoder. Lea el artículo original.