Der größte psychologische Fachverband der USA, die American Psychological Association (APA), hat ernste Bedenken gegenüber KI-Chatbots geäußert, die sich fälschlicherweise als Therapeuten präsentieren. Wie die New York Times berichtet, warnte bei einer Anhörung der Federal Trade Commission der APA-Geschäftsführer Arthur C. Evans Jr., dass diese KI-Systeme gefährdete Nutzer zu selbstschädigendem oder gewalttätigem Verhalten ermutigen könnten. Evans verwies auf zwei Gerichtsfälle, in denen Teenager mit falschen „Psychologen“ auf der Plattform Character.AI interagiert hatten – in einem Fall nahm sich ein 14-Jähriger nach solchen Gesprächen das Leben.
Im Gegensatz zu früheren Therapie-Chatbots, die nach festgelegten Regeln von Fachleuten programmiert wurden, erzeugen neuere generative KI-Plattformen wie Character.AI unvorhersehbare Antworten. Diese Systeme spiegeln die Überzeugungen der Nutzer wider, anstatt sie kritisch zu hinterfragen. Diese als „Unterwürfigkeit“ bekannte Tendenz kann gefährliche Echokammern schaffen.
Character.AI hat zwar Sicherheitsfunktionen eingeführt, darunter Hinweise, dass „Charaktere keine echten Personen sind“, doch Kritiker halten diese Warnungen für unzureichend, besonders bei gefährdeten Nutzern.
Die APA fordert die FTC auf, gegen Chatbots vorzugehen, die vorgeben, Fachleute für psychische Gesundheit zu sein. Während einige KI-Unternehmer Potenzial sehen, den Mangel an Therapeuten zu lindern, betonen Experten die Notwendigkeit angemessener Aufsicht und Regulierung.