Open-Source-Tool Anubis schützt Webseiten vor KI-Scrapern

Ein Open-Source-Programm namens Anubis schützt Webseitenbetreiber vor der Überlastung durch KI-Daten-Scraper. Die Entwicklerin Xe Iaso hat das Tool in ihrer Freizeit geschaffen, wie Emanuel Maiberg für 404 Media berichtet. Anlass war, dass ihr eigener Server durch einen Bot, der Daten für KI-Modelle sammelte, wiederholt zum Absturz gebracht wurde.

Seit seiner Veröffentlichung im Januar wurde Anubis fast 200.000 Mal heruntergeladen. Namhafte Organisationen wie die GNOME Foundation, FFmpeg und die UNESCO setzen die Software ein.

Das Programm funktioniert als ein unsichtbarer Test für Webseitenbesucher. Iaso beschreibt es als „Uncaptcha“. Es lässt den Browser des Besuchers über JavaScript eine schnelle kryptografische Aufgabe lösen. Dies beweist, dass es sich um einen Menschen mit einem echten Browser und nicht um einen automatisierten Bot handelt. Für einen einzelnen Nutzer ist diese Berechnung unbedeutend. Für Scraper, die Millionen von Webseiten besuchen, wird der Rechenaufwand jedoch zu hoch und damit zu teuer.

Laut Iaso werden traditionelle Methoden wie die robots.txt-Datei von KI-Firmen oft ignoriert. Sie sieht Anubis als eine praktischere Lösung für kleinere Organisationen als andere, ressourcenintensive Ansätze. Das Werkzeug ist kostenlos, leichtgewichtig und einfach zu implementieren. Iaso entwickelt Anubis stetig weiter und sucht nach Sponsoren, um sich Vollzeit dem Projekt widmen zu können.

Mehr zum Thema:

Bleib up-to-date: