KI-Crawler überlasten Open-Source-Infrastruktur
Freie und Open-Source-Software (FOSS) Projekte kämpfen mit massiven Infrastrukturproblemen durch aggressive KI-Crawler. Niccolò Venerandi schreibt, dass zahlreiche FOSS-Projekte Ausfälle und Störungen durch KI-Crawler erleben, die Standardprotokolle wie robots.txt ignorieren. SourceHut-Gründer Drew DeVault beschrieb, wie LLM-Crawler auf ressourcenintensive Endpunkte zugreifen und dabei zufällige User-Agents von tausenden IP-Adressen nutzen. Die GitLab-Infrastruktur von KDE wurde kürzlich durch Crawler … Weiterlesen …