Freie und Open-Source-Software (FOSS) Projekte kämpfen mit massiven Infrastrukturproblemen durch aggressive KI-Crawler. Niccolò Venerandi schreibt, dass zahlreiche FOSS-Projekte Ausfälle und Störungen durch KI-Crawler erleben, die Standardprotokolle wie robots.txt ignorieren.
SourceHut-Gründer Drew DeVault beschrieb, wie LLM-Crawler auf ressourcenintensive Endpunkte zugreifen und dabei zufällige User-Agents von tausenden IP-Adressen nutzen. Die GitLab-Infrastruktur von KDE wurde kürzlich durch Crawler aus Alibaba-IP-Bereichen lahmgelegt. GNOME setzt seit November auf Anubis, ein Proof-of-Work-System, um KI-Crawler abzuwehren.
Das Problem betrifft viele weitere Projekte. LWN, Fedora, Inkscape, Diaspora und Read the Docs meldeten erhebliche Störungen. Read the Docs konnte durch das Blockieren von KI-Crawlern seinen Datenverkehr um 75% reduzieren und spart dadurch monatlich etwa 1.500 Dollar.
Neben der Infrastrukturbelastung kämpfen FOSS-Projekte mit KI-generierten Fehlerberichten. Daniel Stenberg vom Curl-Projekt erhielt glaubwürdig wirkende, aber halluzinierte Sicherheitsmeldungen, deren Überprüfung wertvolle Entwicklerzeit verschlingt.
Diese Probleme treffen FOSS-Projekte besonders hart, da sie typischerweise über weniger Ressourcen als kommerzielle Produkte verfügen und mehr öffentlich zugängliche Infrastruktur betreiben. Verschiedene Gegenmaßnahmen werden erprobt: Sie reichen von länderweiten IP-Sperren bis zu gemeinsamen Blocklisten bekannter KI-Crawler-Adressen. Eine umfassende Lösung bleibt jedoch schwer zu finden, da die Crawler ihre Methoden ständig anpassen.