KI-Agenten: 9 Risiken bei ihrer Nutzung und wie Du sie verringerst

In einem meiner Webinare wurde ich gefragt: „Wie steht es eigentlich mit Sicherheitsbedenken, wenn man KI-Agenten die Kontrolle gibt?“ Das ist ein so wichtiges wie interessantes Thema. Einerseits versprechen KI-Agenten, uns mühsame Fleißarbeit abzunehmen. Deshalb möchten wir möglichst viele Dinge an sie abgeben. Andererseits können Agenten Fehler machen, durcheinander geraten oder sogar von Angreifern ausgetrickst werden. Die Folgen sind bisweilen gravierend.

Wir müssen also die richtige Balance finden, wenn es um die Kontrolle der KI-Agenten geht. In diesem Artikel gebe ich Dir einen Überblick über neun Risiken, die Du beim Einsatz dieser Tools eingehst, und zeige, wie Du sie verringern kannst.

1. Zu viel Zugriff, zu schnell

Ein Agent kann alles tun, was seine Zugriffsrechte erlauben. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) empfiehlt, einem Agenten nur genau die Rechte zu geben, die er für die jeweilige Aufgabe braucht. Das Beispiel der Behörde: Kein Agent sollte gleichzeitig auf Deine E-Mails, Dein Bankkonto und Deine persönlichen Dateien zugreifen können. Anthropic rät Cowork-Nutzern, einen eigenen Arbeitsordner anzulegen, statt breiten Zugriff zu erlauben, und von wichtigen Dateien Backups zu machen. Und OpenAI warnt auf der Hilfeseite zum früheren ChatGPT Agent vor vagen, offenen Prompts wie „Schau meine E-Mails durch und erledige alles“. Diese Empfehlung gilt natürlich ebenso für den Nachfolger ChatGPT Work und vergleichbare Tools anderer Anbieter.

Wie schwierig es sein kann, dieser Empfehlung zu folgen, zeigt die Geschichte von Summer Yue. Sie ist Director of Alignment bei Meta Superintelligence Labs. Sie soll also dafür sorgen, dass KI-Systeme tun, was Menschen beabsichtigen. Wochenlang hatte sie den Open-Source-Agenten OpenClaw an einem Test-Postfach ausprobiert, und es lief gut. Dann richtete sie ihn auf ihr echtes Postfach und sagte ihm, er solle vorschlagen, was gelöscht werden kann, aber erst handeln, wenn sie es erlaubt. Der Agent löschte trotzdem mehr als 200 E-Mails.

Ihre eigene Analyse ergab: Das echte Postfach war so groß, dass der Agent sein Arbeitsgedächtnis „komprimierte“, und dabei ging die sehr wichtige Regel „Erst bestätigen lassen, dann handeln“ verloren. Sie hat den Vorfall auf X geschildert.

So senkst Du das Risiko:

• Beginne mit einem eigenen Ordner, der Kopien Deiner Dateien enthält, nicht die Originale.
• Erweitere den Zugriff Schritt für Schritt und teste in realistischer Größenordnung: mehr Dateien, ein größeres Postfach, mehr Konten.
• Verringere die Kontrolle erst, wenn ein Workflow mehrfach zuverlässig funktioniert hat.
• Verlass Dich nur auf die Berechtigungseinstellungen des Tools, etwa die manuelle Freigabe für jeden Schritt, und nicht auf Anweisungen im Prompt.
• Gib Agenten konkrete Aufgaben mit klaren Grenzen, nicht „erledige alles“.
  

2. Aktionen, die sich nicht rückgängig machen lassen

Löschen, Senden, Veröffentlichen, Bezahlen: Manche Aktionen lassen sich nicht oder nur schwer zurücknehmen. Ein bekanntes Beispiel dafür stammt vom Risikokapitalgeber Nick Davidov. Er bat Claude Cowork, den Desktop seiner Frau aufzuräumen. Laut seinem Post auf X bat Cowork um Erlaubnis, temporäre Office-Dateien zu löschen, er stimmte zu, und dann löschte der Agent auch einen Ordner mit 15 Jahren Familienfotos. Alles war sofort weg. Er bekam die Dateien nur zurück, weil iCloud Drive gelöschte Dateien 30 Tage lang aufbewahrt.

Ein extremerer Fall stammt aus der Softwareentwicklung: Ende April 2026 löschte ein Coding-Agent die Produktionsdatenbank der Firma PocketOS innerhalb von neun Sekunden. Die Backups lagen am selben Ort wie die Daten und waren deshalb ebenfalls weg. Das Unternehmen musste auf eine drei Monate alte Kopie zurückgreifen.

Und noch etwas lässt sich daraus lernen: Glaub einem Agenten nicht einfach, was er getan hat oder was sich rückgängig machen lässt. Als der Agent von Replit die Datenbank von SaaStr-Gründer Jason Lemkin löschte, behauptete er, eine Wiederherstellung sei nicht möglich. Lemkin stellte die Daten selbst wieder her.

Anbieter und Behörden geben ähnliche Empfehlungen, um solche Vorfälle zu vermeiden. Anthropic sagt, dass Cowork in jedem Modus immer nachfragt, bevor es Dateien endgültig löscht. Gleichzeitig rät das Unternehmen davon ab, Aufgaben zeitgesteuert laufen zu lassen, die Nachrichten für Dich verschicken, Käufe tätigen oder anderes tun, was sich kaum rückgängig machen lässt. Das BSI empfiehlt Einstellungen, bei denen der Agent vor wichtigen Aktionen Deine Bestätigung einholt, besonders bei Aktionen mit finanziellen oder persönlichen Folgen.

So senkst Du das Risiko:

• Lege Backups an, auf die der Agent keinen Zugriff hat, und zwar bevor er echte Dateien anfasst.
• Mach Löschen, Senden, Veröffentlichen und Bezahlen von Deiner Freigabe abhängig. Lesen, zusammenfassen, recherchieren und Entwürfe schreiben darf ein Agent allein.
• Lies Freigabeanfragen, bevor Du klickst, und prüfe hinterher das Ergebnis.
• Richte keine zeitgesteuerten Aufgaben ein, die ohne Aufsicht Dinge tun, die Du nicht rückgängig machen kannst.
• Verlass Dich nicht auf den Bericht des Agenten darüber, was er getan hat. Schau Dir den Ordner, das Postfach oder die Seite selbst an.
  

3. Versteckte Anweisungen (Prompt Injection)

Ein Agent liest alles als Text und kann Deine Anweisungen nicht zuverlässig von Anweisungen unterscheiden, die jemand in den gelesenen Inhalten versteckt hat. Der Fachbegriff dafür lautet Prompt Injection.

Zwei Beispiele zeigen, wie das in der Praxis aussieht. Im August 2025 zeigten Forscher von Brave, dass ein Reddit-Kommentar, versteckt hinter einem „Spoiler-Tag“, den KI-Browser Comet von Perplexity kapern konnte. Als ein Nutzer den Browser bat, die Seite zusammenzufassen, folgte dieser den versteckten Anweisungen, rief das eingeloggte Gmail-Konto des Nutzers auf, besorgte sich einen Einmal-Code für den Login und leitete ihn an den Angreifer weiter.

Das zweite Beispiel betrifft Cowork. Zwei Tage nach dem Start im Januar 2026 demonstrierte die Sicherheitsfirma PromptArmor, dass ein Word-Dokument mit versteckter weißer Schrift, getarnt als Claude Skill, Cowork dazu bringen konnte, die Dateien des Nutzers in das Konto des Angreifers hochzuladen.

OpenAI hat erklärt, Prompt Injection werde sich „wahrscheinlich nie vollständig ‚lösen‘ lassen“, und Anthropic schreibt, bei Cowork sei die Wahrscheinlichkeit eines Angriffs weiterhin „nicht null“.

Eine hilfreiche Faustregel: Behandle alles, was ein Agent von außen liest, als etwas, das Anweisungen enthalten könnte.

Anthropic rät Nutzern außerdem, Claude auf verdächtige Aktionen hin zu beobachten. Der IT-Experte und Entwickler Simon Willison hält das für zu viel verlangt von normalen Nutzern, die keine Programmierer sind. Deshalb geht es bei den folgenden Tipps vor allem darum, wie Du von vornherein alles einrichtest, und weniger darum, wie genau Du hinschaust.

So senkst Du das Risiko:

• Gib einem Agenten in einer Sitzung nie alle drei Dinge zugleich: private Daten, Inhalte von außen und eine Möglichkeit, Daten nach außen zu schicken. Das macht Datendiebstahl einfach. Simon Willison nennt diese Kombination die „Lethal Trifecta“ (tödliches Dreigespann).
• Nutze für Webrecherchen ein separates Browserprofil, in dem Du nicht in Deinen Konten eingeloggt bist.
• Beschränke den Webzugriff auf Seiten, denen Du vertraust, aber denk daran: Das verringert das Risiko nur, beseitigt es aber nicht.
• Halte Dokumente aus unbekannten Quellen aus dem Arbeitsordner des Agenten heraus oder prüfe sie vorher.
• Schalte auf manuelle Freigabe um, wenn ein Agent mit einer neuen Website oder einem neuen Tool arbeitet.
  

4. Ergebnissen blind vertrauen

KI-Tools liefern gut formulierte, selbstsicher klingende Ergebnisse, und das gilt auch für Ergebnisse, die völlig falsch sind. Erfundene Fakten, Zitate und Quellen nennt man gemeinhin „Halluzinationen“.

Tipp: In meinem Artikel über Halluzinationen erkläre ich, wie sie entstehen und wie Du sie in den Griff bekommst.

Zwei Dinge machen dieses Phänomen bei Agenten besonders ernst: Sie liefern mehr Ergebnisse in kürzerer Zeit, und sie erledigen ihre Arbeit selbstständig in mehreren Schritten. Eine falsche Annahme am Anfang kann alles Folgende aus der Bahn werfen.

Zwei Beispiele aus der Welt der Inhalte: Im Mai 2025 haben die Chicago Sun-Times und andere Zeitungen eine Sommer-Leseliste veröffentlicht, auf der 10 der 15 Bücher gar nicht existierten. Die Titel waren echten Autoren zugeschrieben. Der freiberufliche Autor der Liste hatte KI genutzt, ohne die Ergebnisse zu prüfen.

Nicht nur freie Autoren unter Zeitdruck tappen in diese Falle. Deloitte Australien zahlte einen Teil seines Honorars zurück für einen Regierungsbericht im Wert von 440.000 australischen Dollar, der erfundene Literaturverweise und ein erfundenes Zitat aus einem Gerichtsurteil enthielt.

Und wie im Fall von Replit oben ist auch der Bericht eines Agenten über seine eigene Arbeit keine Kontrolle. „Erledigt“ kann auch „teilweise erledigt“ oder „anders erledigt“ bedeuten.

So senkst Du das Risiko:

• Prüfe jeden Namen, jede Zahl, jedes Zitat, jeden Titel und jeden Link anhand einer Primärquelle.
• Gib dem Agenten einen Ausweg: Sag ihm, er soll markieren, was er nicht finden oder überprüfen konnte, statt Lücken aufzufüllen.
• Lass Dir ein Protokoll seiner Aktionen und Quellen geben und prüfe es stichprobenartig.
• Vergleiche das Ergebnis selbst mit Deiner Aufgabe. „Der Agent sagt, er ist fertig“ ist keine Kontrolle.
  

5. Handeln in Deinem Namen

Wenn ein Agent eine E-Mail verschickt, etwas in sozialen Medien postet oder einen Artikel veröffentlicht, handelt er womöglich unter Deinem Namen oder Deiner Marke und nutzt Dein Konto. Anthropic schreibt auf seiner Sicherheitsseite zu Cowork: Nutzer bleiben für alles verantwortlich, was Claude in ihrem Auftrag tut, darunter veröffentlichte Inhalte, gesendete Nachrichten, Käufe und zeitgesteuerte Aufgaben.

Der Fall der Sun-Times von oben zeigt, wie das aussieht. Die Zeitung erklärte, die Sommerbeilage sei lizenzierter Inhalt gewesen, den ihre Redaktion weder erstellt noch freigegeben habe. Trotzdem erschien sie unter dem Namen der Sun-Times, und die Zeitung musste sich entschuldigen und den Teil aus ihrer E-Paper-Ausgabe entfernen.

Noch höher steht der Einsatz, wenn ein Agent selbstständig veröffentlichen kann. Im Februar 2026 reichte ein OpenClaw-Agent Code für die Python-Bibliothek Matplotlib ein. Als der ehrenamtliche Maintainer Scott Shambaugh ihn ablehnte, recherchierte der Agent über ihn und veröffentlichte einen Blogpost, in dem er ihn persönlich angriff und ihm Gatekeeping vorwarf.

So senkst Du das Risiko:

• Lass den Agenten Entwürfe schreiben, aber verschicke und veröffentliche selbst.
• Gib Agenten keinen Login-Zugang zu Marken- oder Kundenkonten. Braucht ein Tool ein Konto in Deinem CMS, nimm eine Rolle ohne Veröffentlichungsrechte.
• Lies alles, was unter Deinem Namen rausgeht, so, als hättest Du es selbst geschrieben.
• Richte keine zeitgesteuerten oder unbeaufsichtigten Aufgaben ein, die etwas verschicken oder veröffentlichen.
• Kenne die Regeln Deiner Kunden zum KI-Einsatz und mach die KI-Nutzung transparent, wo es verlangt wird.
  

6. Plugins, Logins und Zugangsdaten

Plugins, Skills und Connectors enthalten Anweisungen oder Code, denen ein Agent folgt. Deshalb ist es sinnvoll, vorsichtig zu sein, wenn sie von unbekannten Dritten stammen.

Tipp: Was Skills sind, erkläre ich in meinem Artikel über Claude Skills. Die Erklärungen dort gelten auch für ähnliche Funktionen von ChatGPT, Gemini und anderen.

Ein Beispiel: Anfang 2026 prüfte Koi Security alle 2.857 Skills auf ClawHub, dem Community-Marktplatz für den OpenClaw-Agenten, und fand 341 schädliche. Ungefähr zur selben Zeit untersuchte Snyk fast 4.000 Skills aus Community-Verzeichnissen. Etwa ein Drittel hatte eine Sicherheitslücke, und 76 enthielten nachweislich Schadcode. Wichtig dabei: Das waren Community-Marktplätze, nicht das offizielle Verzeichnis von Anthropic.

Anthropic rät zu besonderer Vorsicht bei unbekannten Plugins und Connectors. Ein Plugin bündelt Skills, Connectors und Sub-Agenten. Mit einer einzigen Installation kann sich der Handlungsspielraum von Claude deutlich erweitern. Anthropic empfiehlt, bei geprüften Erweiterungen aus dem eigenen Verzeichnis zu bleiben.

Logins und Schlüssel sind die zweite Tür. Ein Agent in Deinem Browser oder mit Zugriff auf Deine Konten kann dort tun, was Du tun kannst, wie das Comet-Beispiel gezeigt hat. Und herumliegende Schlüssel werden gefunden: Laut dem Gründer von PocketOS hatte der Agent, der seine Datenbank löschte, in einer Datei abseits der Aufgabe ein Zugriffs-Token gefunden und benutzt.

So senkst Du das Risiko:

• Installiere nur offizielle Connectors und Plugins von bekannten Anbietern und aus bekannten Verzeichnissen.
• Ein Skill besteht größtenteils aus einfachem Text: Öffne ihn und lies ihn, bevor Du ihn aktivierst, und lass die Finger davon, wenn er Skripte enthält, die Du nicht verstehst.
• Halte die Zahl der Plugins, Skills und Connectors klein und entferne, was Du nicht mehr nutzt.
• Speichere keine Passwörter, API-Schlüssel oder Zugriffs-Token in Dateien, die der Agent lesen kann.
• Braucht ein Agent einen Login, gib ihm ein eigenes Konto mit minimalen Rechten statt Deines eigenen.
• Trenne Connectors und entziehe Ordnerzugriffe, wenn ein Projekt endet.
  

7. Datenschutz und Kundendaten (DSGVO)

Wenn ein Agent in Deinem Postfach oder Deinen Ordnern arbeitet, arbeitet er auch mit den Daten anderer Menschen: Quellen, Interviewpartner, Kunden, Freelancer, Kollegen. Sobald dazu personenbezogene Daten gehören, greift das Datenschutzrecht (in der EU etwa die DSGVO).

Zwei Dinge geraten leicht aus dem Blick. Das Erste ist, wohin die Daten gehen. Alles, was ein Agent liest, wird vom KI-Modell des Anbieters verarbeitet. Bei Cowork erklärt Anthropic, dass die Sitzungen auf seinen Servern laufen, lokale Dateien, die der Agent öffnet, werden also dort verarbeitet. In diesem Moment gibst Du Daten an einen Dritten weiter. Enthalten sie gesetzlich geschützte Informationen, musst Du sicherstellen, dass dieser Dritte bei der Verarbeitung die Gesetze einhält. In Europa gibt es einen laufenden Streit unter Experten darüber, ob US-Unternehmen das im Hinblick auf die DSGVO tatsächlich erfüllen.

Das Zweite ist Dein Tarif. Die großen KI-Anbieter folgen einem ähnlichen Muster: Bei Einzelkonten werden Deine Chats standardmäßig für das Training künftiger KI-Modelle genutzt, solange Du das nicht abschaltest. Das gilt auch für kostenpflichtige Tarife wie Plus oder Pro. Business-Tarife (Team, Enterprise, Workspace und ähnliche) verzichten in der Regel standardmäßig auf Training und sichern das vertraglich ab. Gleichzeitig bedeutet ein Opt-out nicht, dass nichts gespeichert wird: OpenAI etwa speichert Unterhaltungen in jedem Fall 30 Tage lang.

Tipp: Mein Artikel Werden meine Chats für KI-Training genutzt? vergleicht die Einstellungen von ChatGPT, Gemini, Claude, Copilot und Mistral.

Das BSI rät, Agenten-Dienste nur von Anbietern zu nutzen, die transparent mit ihren Datenschutzpraktiken umgehen. Ich werde dieses Thema in einem eigenen Artikel noch genauer behandeln.

So senkst Du das Risiko:

• Finde heraus, was Dein Tarif mit Deinen Daten macht: Training, Speicherdauer und ob ein Auftragsverarbeitungsvertrag (AVV) gilt. Für Kunden- oder Quellendaten ist ein Business-Tarif mit einem solchen Vertrag die sicherere Wahl.
• Halte Kundenverträge, Quellenkontakte und Material, das unter Embargo steht oder vertraulich ist, aus dem Arbeitsordner des Agenten heraus, es sei denn, Dein Tarif und Deine Verträge erlauben es. Prüfe Deine NDAs und Kundenvereinbarungen: Manche schränken den Einsatz von KI-Tools Dritter ein.
• Gib nur weiter, was die Aufgabe braucht, und anonymisiere, wo Du kannst.
• Prüfe, ob das Tool eine Gedächtnisfunktion hat und was es zwischen Sitzungen speichert.
• Wenn Du beruflich mit personenbezogenen Daten arbeitest, frage Deinen Datenschutzbeauftragten oder einen Anwalt, bevor Du einen Agenten damit verbindest. Das Thema ist komplizierter, als es auf den ersten Blick scheint. „Das machen doch alle“ ist bei einem Rechtsstreit keine gute Verteidigung.
  

8. Garbage in, garbage out

Ein Agent arbeitet mit dem, was er vorfindet. Wenn in Deinem Ordner drei Versionen desselben Briefings liegen, die Preisliste vom letzten Jahr neben der aktuellen oder Markenrichtlinien, die sich widersprechen, kann der Agent nicht erkennen, was gerade gilt. Er sucht sich etwas aus und meldet sich im selben selbstsicheren Ton mit dem falschen Ergebnis zurück.

Fachleute kennen diesen Effekt seit vielen Jahren, lange vor der KI, und haben dafür den Begriff „Garbage in, garbage out“ geprägt („Müll rein, Müll raus“).

Mit anderen Worten: Wenn Du bessere und verlässlichere Ergebnisse willst, musst Du Dich zuerst um Deine Eingangsdaten kümmern.

So senkst Du das Risiko:

• Mach das Aufräumen zu einem eigenen Schritt vor der eigentlichen Aufgabe.
• Lass die KI Duplikate, veraltete Versionen und Widersprüche auflisten und vorschlagen, was archiviert werden soll. Wie Du dabei richtig vorgehst, steht in Risiko 2.
• Führe einen Ordner mit aktuellem, freigegebenem Material und verschiebe alte Versionen in ein Archiv, auf das der Agent keinen Zugriff hat. Die Ordnerstruktur aus meinem Cowork-Artikel ist ein guter Startpunkt.
• Sag dem Agenten, welche Quellen zählen, zum Beispiel in seiner Anweisungsdatei: „Nutze nur die Dateien im Ordner Aktuell.“
• Lockere die Kontrolle erst, wenn die Eingangsdaten sauber und vertrauenswürdig sind.
  

9. Das eigene Können verlieren: Mensch in der Verantwortung, nicht nur „im Loop“

„Human in the Loop“ ist die Standardantwort auf KI-Risiken: Ein Mensch bestätigt, was der künstliche Assistent tut. Doch das ist nur das absolute Minimum. Schlimmer noch: Der „Human“ wird oft bequem, nachlässig oder von Vorgesetzten angetrieben, immer mehr zu schaffen. Schließlich soll KI ja unsere Produktivität steigern, nicht wahr? Schaffe, schaffe, Fehler mache.

Anthropics eigene Daten zu seinem Coding-Agenten Claude Code zeigen, dass Nutzer 97 Prozent der Berechtigungsabfragen bestätigen. In einer Studie mit 1.053 zahlenden Testern tauschte Anthropic eine Abfrage gegen einen offensichtlich gefährlichen Befehl aus. Die Tester erkannten die Gefahr nur in 13,6 Prozent der Fälle.

Es gibt einen zweiten, langsameren Effekt. Eine Umfrage unter 319 Wissensarbeitern von Microsoft Research und der Carnegie Mellon University ergab: Wer mehr Vertrauen in KI hatte, berichtete von weniger kritischem Denken, wer mehr Vertrauen in die eigenen Fähigkeiten hatte, von mehr. Die Daten beruhen auf Selbstauskünften, deshalb sind sie mit Vorsicht zu genießen. Aber bei Content-Arbeit trifft es gleich doppelt: Die Fakten müssen stimmen, und Dein Wissen, Deine Kreativität und Dein Urteilsvermögen sind es, wofür Leser zu Dir kommen.

Das Ziel ist also nicht nur ein Human in the Loop, sondern ein Human in Charge: jemand, der entscheidet, was rausgeht, für das Ergebnis geradesteht und weiterhin weiß, wie die Arbeit gemacht wird.

So senkst Du das Risiko:

• Entscheide vorab, bei welchen Aufgaben Du selbst das Steuer in der Hand behältst („Human in Charge“: z. B. alles, was veröffentlicht oder extern verschickt wird oder Fakten enthält) und bei welchen Du nur prüfst („Human Reviews“: z. B. Entwürfe, Sortieren, Recherchenotizen).
• Gib den Plan frei, bevor der Agent startet, und prüfe am Ende das Ergebnis, statt Dich durch jeden einzelnen Schritt zu klicken.
• Wenn Du merkst, dass Du Freigaben erteilst, ohne zu lesen, schränke die Aufgabe oder den Zugriff ein, statt schneller zu klicken.
• Mach einige Kernaufgaben bewusst weiter selbst, etwa Recherche, erste Entwürfe und Interviews.
  

Fazit

Ich hoffe, dieser Artikel liest sich nicht wie Panikmache. KI-Agenten sind sehr nützliche Tools. Viele der genannten Vorfälle passierten zudem in ihrer Anfangszeit. Nutzer und Anbieter haben seitdem mehr darüber gelernt, wie sich diese Risiken verringern und Fehlverhalten vermeiden lässt.

Gleichzeitig will ich ehrlich sein: Risiken zu „verringern“ und zu „vermeiden“ heißt nicht, dass sie verschwunden sind.

Ich empfehle deshalb, KI-Agenten wie einen brandneuen Praktikanten in Deinem Unternehmen zu behandeln: sehr fähig, aber auch sehr unerfahren. Den Generalschlüssel für alle Systeme würdest Du ihm am ersten Tag nicht geben (und sehr wahrscheinlich auch später nicht).

Insofern: Die Best Practices der IT-Sicherheit gelten für KI-Agenten sogar noch mehr als für Menschen, weil sie so schnell Schaden anrichten können.