Cloudflare、AIボット管理を刷新
Cloudflareは、ウェブサイト運営者がAIボットトラフィックを管理する方法に大きな変更を発表した。2024年7月以降、Cloudflareの顧客はワンクリックですべてのAIクローラーをブロックできた。今回、一括ブロックに代わり、サイト運営者は「検索」「学習」「エージェント」の3カテゴリーから選択できる。この変更により、AIボットがウェブサイトとやり取りする方法をより細かく制御できるようになる。
新しいきめ細かな制御
Cloudflareダッシュボードの新しいAIボット制御では、サイト運営者が検索、学習、エージェントの各ボットへのアクセスを個別に管理できる。検索は検索エンジンのインデックス作成、学習はAIモデル学習のためのデータ収集、エージェントはChatGPTのようにユーザーに代わって行動するボットを対象とする。2026年9月15日より、広告を掲載するページでは学習ボットとエージェントボットがデフォルトでブロックされる。これは、広告が人間の訪問者を求めていることを示すためである。検索クローラーは引き続き許可される。Googlebotのように検索と学習の両方を行う多目的クローラーは、最も厳しいルールに従って扱われる。新しいオプションは無料プランのユーザーも利用できる。
ボット運営者にクローラーの分割を促進
Cloudflareは、ボット運営者に対し、目的別にクローラーを分割するよう促している。CloudflareのCEOであるMatthew Prince氏は以前、Googleが検索クローラーとAIクローラーを統合していることを批判していた。2026年6月、Prince氏は、ボットトラフィックが初めてインターネット上の人間のトラフィックを上回ったと指摘した。これは当初2027年後半まで予想していなかった節目である。
BotBase：エンタープライズ向けボットデータベース
エンタープライズ顧客向けに、Cloudflareはダッシュボードに組み込まれた検索可能な全既知ボットのデータベース「BotBase」も開始する。各ボットの分類方法やコンテンツの使用方法（ページへのリンクのみか、全文を複製するかなど）が表示される。Cloudflareはまた、検証済みボットのルールも変更する。以前は、すべての検証済みボットが自動的に許可されていた。今後は、ボットのカテゴリーによってアクセスが許可されるかどうかが決まる。「検証済み」というラベルだけではもはや十分ではなく、ボット運営者は自分たちが正直に身元を明かし、与えられたアクセスを悪用しないことを証明する必要がある。
ウェブサイト運営者への影響
このアップデートにより、ウェブサイト運営者はAIボットトラフィックを管理する柔軟性が高まる。ボットをカテゴリー別に分けることで、広告表示ページでは学習ボットやエージェントボットをブロックしつつ、検索エンジンのインデックス作成を許可できる。これにより、コンテンツが許可なくAI学習に使用されるのを防ぎながら、検索エンジンによるサイトのインデックス作成を可能にする。広告表示ページでの学習ボットとエージェントボットのデフォルトブロックは、広告収入に依存するパブリッシャーの利益に沿った重要な変更である。
AI企業への影響
学習やエージェントタスクにクローラーを使用するAI企業は、これらの新しい制御に適応する必要がある。サイト運営者の好みに応じるため、クローラーを目的別に分割する必要が生じるかもしれない。Cloudflareの動きは、他のインターネットインフラプロバイダーにも同様のきめ細かな制御を提供する圧力をかけることになる。
結論
Cloudflareの新しいAIボット制御は、ウェブサイト運営者が自社のコンテンツがAIによってどのように使用されるかをより細かく制御できるようにする大きな前進である。きめ細かなオプションと、広告表示ページでの学習ボットとエージェントボットのデフォルトブロックにより、Cloudflareはコンテンツ作成者とAI開発者のニーズのバランスを取る支援をしている。エンタープライズ顧客向けのBotBaseの導入は、透明性と制御をさらに強化する。
本記事はThe Decoderの報道に基づいています。原文を読む。
Originally published on the-decoder.com