AI-Web-Crawler überlasten Websites und stören die wirtschaftliche Grundlage des Online-Publishings, erklärt Cloudflare-CEO Matthew Prince. Der Cybersecurity-Experte hat eine „Pay-per-Crawl“-Initiative gestartet, um AI-Unternehmen zu zwingen, Content-Ersteller zu entschädigen, deren Seiten sie für Trainingsdaten abernten.
Prince argumentiert, dass AI-Chatbots die traditionelle Web-Ökonomie grundlegend zerstört haben. Suchmaschinen wie Google schickten früher Traffic zurück zu Websites, nachdem sie deren Inhalte indexiert hatten. Das unterstützte Milliarden von Dollar an Werbeeinnahmen. AI-Chatbots liefern stattdessen direkte Antworten, ohne Nutzer zu den ursprünglichen Quellen zu verweisen. Das eliminiert den Traffic, der die meisten Online-Inhalte finanziert.
Das Ausmaß des AI-Crawlings ist für viele Websites zerstörerisch geworden. Cloudflare berichtet, dass 30 Prozent des globalen Web-Traffics von Bots stammt, wobei AI-Bots das am schnellsten wachsende Segment darstellen. Laut Web-Hosting-Unternehmen InMotion sind AI-Crawler aggressiver als traditionelle Suchcrawler und ignorieren oft Richtlinien zur Serverüberlastung.
Fastly, ein weiteres Web-Infrastruktur-Unternehmen, warnt, dass AI-Crawler „Performance-Verschlechterung, Service-Störungen und erhöhte Betriebskosten“ verursachen. Sie erzeugen Traffic-Spitzen bis zum Zwanzigfachen des normalen Levels innerhalb von Minuten. Steven J. Vaughan-Nichols von The Register berichtet, dass seine kleine Website durch AI-Bot-Attacken offline geht, obwohl sie Schutz vor traditionellen Cyber-Angriffen hat.
Große AI-Unternehmen treiben diesen Traffic-Anstieg voran. Meta macht 52 Prozent des AI-Searchbot-Traffics aus, gefolgt von Google mit 23 Prozent und OpenAI mit 20 Prozent. Sogar Wikipedia berichtete im April, dass AI-Crawler ihre Bandbreiten-Kosten um 50 Prozent erhöht hatten.
Cloudflares Blocking-Strategie
Prince glaubt, dass Cloudflares Position einzigartige Verhandlungsmacht bietet. Das Unternehmen stellt Sicherheits- und Traffic-Management-Services für 20 Prozent aller Websites weltweit bereit. Durch das Blockieren von AI-Crawlern im Auftrag von Kunden kann Cloudflare AI-Unternehmen zu Verhandlungen über Zahlungsvereinbarungen zwingen.
Das Unternehmen hat bereits problematische Akteure identifiziert. Prince nannte speziell Perplexity, weil es Blocking-Maßnahmen ignoriert und angeblich Content-Zusammenfassungen kopiert, während es sie fälschlicherweise großen Publikationen wie People Magazine und The New York Times zuschreibt.
Prince sieht Google als Schlüssel zur Lösung des breiteren Problems. Er argumentiert, dass andere AI-Unternehmen nicht für Content-Zugang zahlen werden, bis Google mit seiner dominanten Suchposition zuerst zahlt. Googles Übergang von der Suche zu AI-gesteuerten Antworten macht diese Änderung unvermeidlich, erklärt er.
Traditionelle Blocking-Methoden haben sich gegen AI-Crawler als unwirksam erwiesen. Viele ignorieren robots.txt-Dateien, die Standardmethode für Websites, Crawling-Beschränkungen zu kommunizieren. Publisher berichten, dass „Do-not-crawl“-Anfragen zunehmend ignoriert werden. Die Blocking-Fehlerrate stieg von 3,3 Prozent Ende 2024 auf 13 Prozent im März 2025.
Drei mögliche Szenarien
Prince skizzierte drei Szenarien für die Zukunft des Webs. Das „nihilistische Ergebnis“ würde Journalisten und Content-Ersteller ihre Lebensgrundlage kosten, während AI-Unternehmen ihre Arbeit ohne Entschädigung abernten.
Die „Black Mirror-Version“ würde dazu führen, dass fünf große AI-Unternehmen alle Content-Ersteller vertikal beschäftigen und Wissens-Silos schaffen, die den demokratisierenden Effekt des Internets umkehren.
Seine bevorzugte dritte Option ähnelt dem Entertainment-Industrie-Modell, wo AI-Unternehmen um exklusiven Content-Zugang konkurrieren würden, ähnlich wie Netflix um Shows bietet. Content-Ersteller würden Zahlungen basierend auf dem Wert ihres Materials für AI-Training erhalten und könnten über traditionelle Werbe- und Abo-Einnahmen hinaus expandieren.
Einige AI-Unternehmen haben freiwillige Lizenzverträge begonnen. OpenAI hat Vereinbarungen mit mehreren Publishern unterzeichnet, und Prince berichtet, dass diese Verhandlungen seit Cloudflares Blocking-Maßnahmen im Juli einfacher geworden sind.
Die breiteren Implikationen gehen über einzelne Websites hinaus. Prince argumentiert, dass die aktuelle Entwicklung zu fragmentierten, isolierten Informationssystemen die gesellschaftliche Polarisierung verstärken könnte. Er sieht das Pay-per-Crawl-System als notwendig an, um das offene Web zu bewahren, das Wissensaustausch seit Jahrzehnten ermöglicht hat.
Quellen: Crazy Stupid Tech, The Register