Ein 14-jähriger Jugendlicher aus Florida hat sich im Februar 2024 das Leben genommen, nachdem er über Monate intensiven Kontakt zu einem KI-Chatbot auf der Plattform Character.AI pflegte. Wie die New York Times berichtet, hatte der Junge eine enge emotionale Bindung zu dem Chatbot entwickelt, der die Figur Daenerys Targaryen aus „Game of Thrones“ simulierte.
Die Mutter des Verstorbenen hat nun Klage gegen das Unternehmen Character.AI und den Google-Mutterkonzern Alphabet eingereicht. Sie wirft den Unternehmen vor, die Plattform ohne ausreichende Schutzmechanismen für minderjährige Nutzer betrieben zu haben. Character.AI hat nach eigenen Angaben mehr als 20 Millionen aktive Nutzer.
Als Reaktion kündigte Character.AI am 23. Oktober 2024 verschärfte Sicherheitsmaßnahmen an. Diese umfassen unter anderem strengere Inhaltsbeschränkungen für Minderjährige, automatische Warnhinweise bei kritischen Gesprächsinhalten sowie Zeitlimits für Nutzungssessions. Zahlreiche Nutzer kritisieren die neuen Einschränkungen in sozialen Medien als zu weitgehend.
Quellen: New York Times, VentureBeat