Reasoning-Studie: Logisches Denken von KI ist „brüchig“

Forschende der Arizona State University kommen zum Schluss, dass die Denkfähigkeiten von Sprachmodellen eine „brüchige Illusion“ sind. Laut einem Artikel von Kyle Orland in Ars Technica haben diese Modelle erhebliche Schwierigkeiten mit Problemen, die von ihren Trainingsdaten abweichen. In einem kontrollierten Experiment brach die Leistung einer KI stark ein, wenn Aufgaben in neuen Formaten oder Kombinationen gestellt wurden. Die Studie zeigt, dass Modelle mit einem sogenannten „Chain-of-Thought“-Verfahren nicht wirklich logisch schlussfolgern. Stattdessen ahmen sie nur gelernte Muster nach. Die Autoren warnen, dass dies einen „falschen Anschein von Verlässlichkeit“ erzeugt. Sie raten von einem Einsatz in kritischen Bereichen wie Medizin und Recht ab.