Cloudflare gibt Publishern mehr Kontrolle über KI-Zugriffe

Cloudflare erweitert seine Einstellungen für automatisierten Datenverkehr und unterscheidet künftig stärker nach dem Zweck eines Bots. Jin-Hee Lee und Bryan Becker stellen die Änderungen in einem offiziellen Beitrag im Cloudflare Blog vor. Websitebetreiber können Zugriffe künftig getrennt für Search, Agent und Training steuern.

Diese Kategorien beschreiben unterschiedliche Formen der KI-Nutzung. Search-Bots erfassen Inhalte für spätere Suchanfragen und können Besucher auf eine Website zurückführen. Agenten rufen Seiten im Auftrag eines Nutzers in Echtzeit auf, etwa um Informationen abzurufen oder eine Aufgabe im Browser zu erledigen. Training-Bots sammeln Inhalte für das Training oder die Anpassung von KI-Modellen.

Die neuen Optionen stehen allen Cloudflare-Kunden zur Verfügung, auch im kostenlosen Tarif. Sie ergänzen die bisherige, pauschale Funktion zum Blockieren von KI-Bots. Damit kann ein Betreiber etwa Suchzugriffe zulassen, das Training von Modellen mit eigenen Inhalten aber untersagen.

Standardregeln für Seiten mit Werbung

Ab dem 15. September sollen neue Cloudflare-Domains Training- und Agent-Zugriffe auf Seiten mit Werbung standardmäßig blockieren. Search bleibt dort zunächst erlaubt. Cloudflare begründet dies damit, dass Werbung auf das Ziel hindeute, menschliche Besucher zu erreichen. Suchdienste könnten dagegen weiterhin Zugriffe vermitteln.

Die Regel gilt auch für Bots mit mehreren Aufgaben. Verbindet ein Crawler Suche und Training, setzt Cloudflare die strengere der jeweiligen Einstellungen durch. Das kann Googlebot, Applebot oder BingBot betreffen, wenn ein Kunde Training sperrt. Bestehende Kunden können die neuen Voreinstellungen ändern.

Für Enterprise-Kunden führt Cloudflare außerdem BotBase ein. Das Verzeichnis zeigt bekannte Bots, ihre Einstufung und weitere Details. Später sollen Betreiber auch nach der Art der Inhaltsnutzung filtern können: reine unmittelbare Nutzung, Indexierung mit Verweis auf die Quelle oder weitergehende Zusammenfassungen und Wiedergaben.

Zudem testet Cloudflare ein neues use-Signal in der Datei robots.txt. Es formuliert eine Präferenz, erzeugt aber keine direkte Sperre. Nach Angaben des Unternehmens können Bots ihren Verified-Status verlieren, wenn sie solche Vorgaben missachten.