Forscher warnen vor manipulierten KI-Antworten mit falschen Firmenkontakten

Kriminelle nutzen gefälschte Inhalte im Netz, um über ChatGPT, Gemini und Google AI Overviews betrügerische Telefonnummern, E-Mail-Adressen und Anmeldeseiten zu verbreiten. Davor warnen Sicherheitsforscher.

Ariel Simon schreibt auf Medium, sein Team habe Angriffe auf 374 Unternehmen festgestellt. Betroffen seien unter anderem Fluggesellschaften, Banken, Reiseplattformen und Softwareanbieter. Genannt werden etwa Delta, Lufthansa, Qatar Airways, Bank of America, Chase, Airbnb und TripAdvisor.

Die Angriffe zielen offenbar nicht auf Sicherheitslücken in den KI-Systemen selbst. Stattdessen manipulieren sie die Informationsquellen, die KI-Anwendungen im offenen Web finden und auswerten. Angreifer veröffentlichen Seiten, die bei Fragen zu Kundenservice, Rückerstattungen, Kontozugängen oder Kontaktdaten möglichst glaubwürdig wirken sollen.

So wird die KI beeinflusst

Nach Angaben der Forscher verbreiten die Täter ähnliche Falschinformationen über Beiträge in sozialen Netzwerken, Foren, nutzergenerierte Seiten, hochgeladene PDF-Dateien, Bewertungsportale und Hosting-Dienste. Die Seiten wiederholen gefälschte Kontaktdaten, enthalten Frage-und-Antwort-Abschnitte und Formulierungen wie „24/7-Support“ oder „aktualisiert 2026“.

Telefonnummern werden teils mit Leerzeichen, Symbolen, Emojis oder Unicode-Zeichen verfremdet. Das kann Spam-Filter umgehen. KI-Modelle können die Ziffernfolge dennoch häufig richtig deuten.

Die Ergebnisse seien nicht bei jeder identischen Anfrage gleich, berichtet Simon. Je besser und weiter verbreitet die manipulierten Inhalte seien, desto höher sei jedoch die Chance, dass ein KI-System die falsche Information aufgreife.

Automatisierte Veröffentlichungen erschweren nach Einschätzung des Teams das Entfernen der Inhalte. Zudem könnten archivierte Versionen gelöschter Seiten weiterhin über Suchmaschinen auffindbar sein.

Google habe den Fall laut den Forschern als nicht vom Bug-Bounty-Programm erfasst eingestuft. OpenAI habe den Bericht als nicht reproduzierbar geschlossen. Für Nutzer ergibt sich daraus eine klare Vorsichtsmaßnahme: Kontaktdaten aus KI-Antworten sollten vor einem Anruf, einer E-Mail oder einer Anmeldung immer auf der offiziellen Unternehmensseite geprüft werden.