Studie: Falsche KI-Antworten machen Nutzer besonders selbstsicher

Der Zugang zu KI-Ratschlägen kann Menschen ungenauer machen und zugleich ihr Selbstvertrauen stark erhöhen. Das zeigt eine Studie von Forschenden französischer und italienischer Universitäten. Nach einer KI-Antwort sagten Teilnehmende deutlich seltener, dass sie etwas nicht wissen, selbst wenn das System unzuverlässige Angaben lieferte.

Ana Maria Constantin berichtet für The Next Web, dass die Forschenden sowohl die Trefferquote als auch die Bereitschaft maßen, eine Antwort offen zu lassen. Ohne KI-Unterstützung antworteten Teilnehmende in 44 Prozent der Fälle mit „Ich weiß es nicht“. In 27 Prozent lagen sie richtig. Mit KI-Rat sank der Anteil offener Antworten auf 3 Prozent. Die Trefferquote fiel auf 9 Prozent. Gleichzeitig stieg das Vertrauen in die eigene Antwort von 30 auf 76 Prozent.

Das Team um Valerio Capraro von der Universität Milano-Bicocca stellte gezielt Fragen, bei denen Sprachmodelle häufig scheitern. Dazu gehörten visuelle Details aus Filmen, etwa die Farbe eines Trikots. Eingesetzt wurde Step 3.5 Flash, ein Modell, das diese Fragen meist falsch beantwortete. Damit wollten die Forschenden ausschließen, dass Nutzer Aufgaben lediglich sinnvoll an ein besseres System delegierten.

Ein Teil der Befragten hätte ohne Hilfe richtig geantwortet. Nach der Anfrage an die KI übernahmen sie jedoch deren falsche Antwort.

Anreize helfen nur begrenzt

Geldprämien für richtige Antworten verbesserten die Ergebnisse nur leicht. Die Trefferquote stieg von 9 auf 16 Prozent. Der Anteil der Personen, die ihre Unwissenheit einräumten, wuchs von 3 auf 8 Prozent. Beide Werte lagen weiterhin deutlich unter den Ergebnissen ohne KI.

Die Ergebnisse passen zum Begriff der „kognitiven Kapitulation“, den Forschende der Wharton School für die unkritische Übernahme falscher KI-Ausgaben verwendet haben. Für den Einsatz generativer KI im Arbeitsalltag unterstreicht die Studie: Antworten sollten mit Quellen abgeglichen werden. Bei unsicherer Faktenlage muss es möglich bleiben, keine endgültige Aussage zu treffen.