Cloudflare remplace le blocage général des bots IA par des contrôles granulaires pour les robots de recherche, d'entraînement et d'agent

Cloudflare refond la gestion des bots IA

Cloudflare a annoncé un changement significatif dans la manière dont les propriétaires de sites web peuvent gérer le trafic des bots IA. Depuis juillet 2024, les clients de Cloudflare pouvaient bloquer tous les robots d'IA en un seul clic. Désormais, au lieu d'un blocage général, les propriétaires de sites peuvent choisir entre trois catégories : Recherche, Entraînement et Agent. Ce changement offre un contrôle plus nuancé sur la façon dont les bots IA interagissent avec les sites web.

Nouveaux contrôles granulaires

Les nouveaux contrôles des bots IA dans le tableau de bord Cloudflare permettent aux propriétaires de sites de gérer séparément l'accès des robots de recherche, d'entraînement et d'agent. La recherche couvre l'indexation des moteurs de recherche, l'entraînement couvre la collecte de données pour l'entraînement des modèles d'IA, et l'agent couvre les bots agissant au nom des utilisateurs, comme ChatGPT. À partir du 15 septembre 2026, les robots d'entraînement et d'agent seront bloqués par défaut sur les pages qui affichent des publicités, car la publicité indique qu'un site souhaite attirer des visiteurs humains. Les robots de recherche seront toujours autorisés. Les robots polyvalents comme Googlebot, qui effectuent à la fois des recherches et de l'entraînement, seront traités selon la règle la plus stricte. Les nouvelles options sont également disponibles pour les utilisateurs du plan gratuit.

Les opérateurs de bots encouragés à séparer les robots

Cloudflare pousse les opérateurs de bots à séparer leurs robots par objectif. Le PDG de Cloudflare, Matthew Prince, avait déjà critiqué Google pour avoir regroupé son robot de recherche avec son robot d'IA. En juin 2026, Prince a noté que le trafic des bots avait dépassé le trafic humain sur Internet pour la première fois, un cap qu'il n'attendait pas avant fin 2027.

BotBase : base de données d'entreprise sur les bots

Pour les clients entreprises, Cloudflare lance également BotBase, une base de données consultable de tous les bots connus, intégrée directement dans le tableau de bord. Elle montre comment chaque bot est classifié et comment il utilise le contenu, qu'il se contente de créer des liens vers des pages ou qu'il les reproduise intégralement. Cloudflare modifie également les règles pour les bots vérifiés. Auparavant, tous les bots vérifiés étaient automatiquement autorisés. Désormais, la catégorie d'un bot détermine s'il obtient l'accès. Le simple label « Vérifié » ne suffira plus : les opérateurs de bots devront prouver qu'ils s'identifient honnêtement et qu'ils n'abusent pas de l'accès qui leur est accordé.

Implications pour les propriétaires de sites web

Cette mise à jour offre aux propriétaires de sites web plus de flexibilité dans la gestion du trafic des bots IA. En séparant les bots en catégories, les propriétaires de sites peuvent autoriser l'indexation par les moteurs de recherche tout en bloquant les robots d'entraînement et d'agent sur les pages financées par la publicité. Cela aide à protéger le contenu contre une utilisation pour l'entraînement de l'IA sans autorisation, tout en permettant aux moteurs de recherche d'indexer le site. Le blocage par défaut des robots d'entraînement et d'agent sur les pages financées par la publicité est un changement significatif qui s'aligne sur les intérêts des éditeurs qui dépendent des revenus publicitaires.

Impact sur les entreprises d'IA

Les entreprises d'IA qui utilisent des robots pour l'entraînement ou des tâches d'agent devront s'adapter à ces nouveaux contrôles. Elles devront peut-être séparer leurs robots en différents bots selon les objectifs pour se conformer aux préférences des propriétaires de sites. La décision de Cloudflare met également la pression sur d'autres fournisseurs d'infrastructure Internet pour offrir des contrôles granulaires similaires.

Conclusion

Les nouveaux contrôles des bots IA de Cloudflare représentent une avancée majeure pour donner aux propriétaires de sites web plus de contrôle sur la façon dont leur contenu est utilisé par l'IA. En offrant des options granulaires et un blocage par défaut des robots d'entraînement et d'agent sur les pages financées par la publicité, Cloudflare aide à équilibrer les besoins des créateurs de contenu et des développeurs d'IA. L'introduction de BotBase pour les clients entreprises renforce encore la transparence et le contrôle.

Cet article est basé sur un reportage de The Decoder. Lire l'article original.