Cloudflare erweitert Kontrollen für KI-Bots und startet Bezahlmodelle

Cloudflare hat ein Jahr nach Einführung seiner ersten Kontrollfunktionen gegen KI-Crawler ein umfangreiches Update vorgestellt. Website-Betreiber erhalten eine neue Klassifizierung für Bots, strengere Standardeinstellungen und neue Wege, um für die Nutzung ihrer Inhalte durch KI-Systeme bezahlt zu werden.

Die neue Taxonomie unterteilt automatisierten Traffic in drei Kategorien. „Search“ steht für Crawler, die Inhalte indexieren, um später Suchanfragen zu beantworten. „Agent“ bezeichnet Bots, die in Echtzeit im Auftrag eines Menschen handeln, etwa ein Chatbot, der während eines Gesprächs eine Seite abruft. „Training“ meint Crawler, die Inhalte sammeln, um KI-Modelle zu trainieren oder feinabzustimmen. Alle Cloudflare-Kunden, auch im kostenlosen Tarif, können Traffic künftig nach diesen Kategorien erlauben oder blockieren.

Ab dem 15. September 2026 blockieren neue Domains bei Cloudflare die Kategorien Training und Agent standardmäßig auf Seiten mit Werbung. Search-Crawler bleiben weiterhin zugelassen. Bots mit mehreren Funktionen, darunter die Crawler von Google, Apple und Bing, werden blockiert, sobald ein Website-Betreiber auch nur eine ihrer Funktionen sperrt. Bestehende Kunden können vor dem Stichtag eigene Einstellungen wählen.

Die Zahlen hinter dem Wandel

Cloudflare untermauert die Änderungen mit Daten aus dem eigenen Netzwerk, über das mehr als 20 Prozent des Web laufen. Im Juni 2026 entfielen 52 Prozent aller Crawler-Anfragen auf KI-Training. Im Frühjahr 2025 waren es noch 22 Prozent. Mehr als die Hälfte des gesamten Internetverkehrs stammt inzwischen nicht mehr von Menschen. Laut einer von Cloudflare zitierten Studie des Pew Research Center klicken Nutzer nur noch in 8 Prozent der Fälle auf einen klassischen Suchtreffer, wenn Google eine KI-Zusammenfassung anzeigt. Das ist etwa halb so oft wie ohne Zusammenfassung. Auch die Zeit auf dem offenen Web sinkt: Von jeder Online-Stunde entfallen nach Cloudflare-Angaben nur noch 15 Minuten auf klassische Websites.

Als anhaltendes Transparenzproblem nennt Cloudflare den Crawler von Google. Er bündelt Such- und KI-Funktionen in einem Bot und verschafft dem Unternehmen dadurch etwa doppelt so viel Zugriff wie konkurrierenden KI-Anbietern. Seit 2023 seien mehr als 50 Lizenzvereinbarungen zwischen Verlagen und KI-Firmen unterzeichnet worden. Cloudflare räumt jedoch ein, dass die daraus entstehenden Einnahmen die Verluste durch sinkenden Referral-Traffic bislang nicht ausgleichen.

Bezahlung nach Nutzung statt nach Zugriff

Über reine Zugriffskontrollen hinaus baut Cloudflare seinen Dienst Pay Per Crawl zu einem Modell namens „Pay Per Use“ um. Gemeinsam mit Ceramic.ai und You.com testet das Unternehmen Zahlungen, die sich daran orientieren, wie oft Inhalte tatsächlich in KI-Antworten auftauchen, statt wie oft sie gecrawlt werden. „Cloudflare erlaubt es uns, unsere Abläufe einfach und programmatisch zu skalieren“, sagt Anna Patterson, Gründerin und CEO von Ceramic.ai.

Zusätzlich startet Cloudflare ein „Monetization Gateway“, mit dem Kunden für beliebige Ressourcen hinter Cloudflare Geld verlangen können, darunter Webseiten, Datensätze, APIs und Aufrufe von KI-Tools. Grundlage ist das Zahlungsprotokoll x402 mit Abwicklung über Stablecoins. Beträge im Bruchteil eines Cents lassen sich ohne Anmeldung oder bestehendes Konto abrechnen. Dadurch können Agenten künftig selbstständig als Käufer im Web auftreten. Für den Dienst gibt es aktuell eine Warteliste, weitere Funktionen sollen im Laufe des Jahres folgen.

Quellen

• Your site, your rules: new AI traffic options for all customers – The Cloudflare Blog
• Making AI search smarter – Cloudflare Blog
• Content Independence Day, one year on: building the business model for the agentic internet – The Cloudflare Blog
• Announcing the Monetization Gateway: charge for any resource behind Cloudflare via x402 – The Cloudflare Blog