Eine neue Studie von Apple zeigt, dass große Sprachmodelle (LLMs) nicht logisch denken können, sondern auf Mustererkennung beruhen. Diese Erkenntnis, veröffentlicht von sechs KI-Forschern bei Apple, stellt das gängige Verständnis von LLMs in Frage. Die Forscher fanden heraus, dass schon kleine Änderungen, wie das Vertauschen von Namen, die Ergebnisse der Modelle um etwa 10 % verändern können. Gary Marcus, Autor des Buches „The Algebraic Mind“, betont die Bedeutung dieser Studie in einem Beitrag.
Ähnliche Ergebnisse erzielte bereits eine Studie von Robin Jia und Percy Liang aus Stanford im Jahr 2017. Darüber hinaus sinkt die Leistung von LLMs oft, wenn die Aufgaben komplexer werden, wie eine Analyse von GPT-4 durch Subbarao Kambhapatis Team zeigt. Auch bei Aufgaben wie der Integer-Arithmetik und Schach zeigen LLMs Schwächen, was auf einen Mangel an abstraktem, formalem Denken hindeutet. Laut Marcus bestätigt dies seine seit 1998 bestehende These, dass symbolische Manipulation für zuverlässige KI notwendig ist. Er plädiert für einen neurosymbolischen Ansatz, der neuronale Netze mit symbolischer Verarbeitung kombiniert.
