Cloudflare überarbeitet KI-Bot-Verwaltung
Cloudflare hat eine bedeutende Änderung angekündigt, wie Website-Betreiber den KI-Bot-Traffic verwalten können. Seit Juli 2024 konnten Cloudflare-Kunden alle KI-Crawler mit einem einzigen Klick blockieren. Jetzt können Website-Betreiber statt einer pauschalen Sperre zwischen drei Kategorien wählen: Suche, Training und Agent. Diese Änderung bietet eine differenziertere Kontrolle darüber, wie KI-Bots mit Websites interagieren.
Neue granulare Steuerung
Die neuen KI-Bot-Steuerungen im Cloudflare-Dashboard erlauben Website-Betreibern, den Zugriff für Such-, Trainings- und Agenten-Bots separat zu verwalten. Suche umfasst die Indexierung durch Suchmaschinen, Training die Datensammlung für KI-Modelltraining und Agent Bots, die im Auftrag von Nutzern handeln, wie ChatGPT. Ab dem 15. September 2026 werden Trainings- und Agenten-Bots auf Seiten mit Werbung standardmäßig blockiert, da Werbung signalisiert, dass eine Website menschliche Besucher möchte. Such-Crawler bleiben erlaubt. Mehrzweck-Crawler wie Googlebot, die sowohl suchen als auch trainieren, werden nach der strengsten Regel behandelt. Die neuen Optionen stehen auch Nutzern des kostenlosen Tarifs zur Verfügung.
Bot-Betreiber aufgefordert, Crawler zu trennen
Cloudflare drängt Bot-Betreiber, ihre Crawler nach Zweck zu trennen. Cloudflare-CEO Matthew Prince hat Google zuvor dafür kritisiert, seinen Such-Crawler mit seinem KI-Crawler zu bündeln. Im Juni 2026 stellte Prince fest, dass Bot-Traffic zum ersten Mal den menschlichen Traffic im Internet überholt hatte – ein Meilenstein, den er ursprünglich erst Ende 2027 erwartet hatte.
BotBase: Unternehmens-Bot-Datenbank
Für Unternehmenskunden bringt Cloudflare außerdem BotBase auf den Markt, eine durchsuchbare Datenbank aller bekannten Bots, die direkt im Dashboard integriert ist. Sie zeigt, wie jeder Bot klassifiziert ist und wie er Inhalte nutzt, ob er nur auf Seiten verlinkt oder sie vollständig reproduziert. Cloudflare ändert auch die Regeln für verifizierte Bots. Bisher wurden alle verifizierten Bots automatisch durchgelassen. Künftig entscheidet die Kategorie eines Bots, ob er Zugriff erhält. Das Label „Verifiziert“ allein reicht nicht mehr aus: Bot-Betreiber müssen nachweisen, dass sie sich ehrlich identifizieren und den gewährten Zugriff nicht missbrauchen.
Auswirkungen für Website-Betreiber
Dieses Update gibt Website-Betreibern mehr Flexibilität bei der Verwaltung von KI-Bot-Traffic. Durch die Trennung der Bots in Kategorien können Website-Betreiber die Suchindexierung erlauben, während sie Trainings- und Agenten-Bots auf werbefinanzierten Seiten blockieren. Dies hilft, Inhalte vor der Nutzung für KI-Training ohne Erlaubnis zu schützen, während Suchmaschinen die Website weiterhin indexieren können. Die standardmäßige Blockade von Trainings- und Agenten-Bots auf werbefinanzierten Seiten ist eine bedeutende Änderung, die im Interesse von Publishern liegt, die auf Werbeeinnahmen angewiesen sind.
Auswirkungen auf KI-Unternehmen
KI-Unternehmen, die Crawler für Trainings- oder Agentenaufgaben einsetzen, müssen sich an diese neuen Steuerungen anpassen. Sie müssen möglicherweise ihre Crawler in separate Bots für verschiedene Zwecke aufteilen, um den Präferenzen der Website-Betreiber zu entsprechen. Cloudflares Schritt setzt auch andere Internet-Infrastrukturanbieter unter Druck, ähnliche granulare Steuerungen anzubieten.
Fazit
Cloudflares neue KI-Bot-Steuerungen sind ein großer Schritt nach vorn, um Website-Betreibern mehr Kontrolle darüber zu geben, wie ihre Inhalte von KI genutzt werden. Durch granulare Optionen und eine standardmäßige Blockade von Trainings- und Agenten-Bots auf werbefinanzierten Seiten hilft Cloudflare, die Bedürfnisse von Inhaltserstellern und KI-Entwicklern auszugleichen. Die Einführung von BotBase für Unternehmenskunden erhöht die Transparenz und Kontrolle weiter.
Dieser Artikel basiert auf einer Berichterstattung von The Decoder. Lesen Sie den Originalartikel.
Originally published on the-decoder.com