Forscher des Unternehmens Lakera haben Sicherheitslücken im KI-System GPT-4V aufgedeckt. Das Team konnte nachweisen, dass das Modell durch geschickt platzierte Textanweisungen in Bildern manipuliert werden kann. Die Experimente zeigten, dass bereits ein Blatt Papier mit speziellen Anweisungen ausreicht, um die KI dazu zu bringen, Menschen zu übersehen oder falsche Beschreibungen zu generieren.
Die Schwachstellen ermöglichen verschiedene Arten von Manipulationen. Die KI kann beispielsweise dazu gebracht werden, Menschen als Roboter zu beschreiben oder bestimmte Werbeinhalte zu ignorieren. Lakera entwickelt derzeit einen Detektor für solche visuellen Prompt-Injection-Angriffe. Diese Erkenntnisse sind besonders relevant für Unternehmen, die KI-Systeme mit Bildverarbeitungsfähigkeiten einsetzen wollen.