Das ARC-Forschungsteam hat OpenAIs neue KI-Modelle o1-preview und o1-mini mit dem ARC-AGI-Benchmark getestet. ARC steht für „Alignment Research Center“ und ihr AGI-Benchmark misst die Fähigkeiten von KI-Systemen in Bezug auf künstliche allgemeine Intelligenz (Artificial General Intelligence, AGI). Sie definieren AGI wie folgt:
AGI is a system that can efficiently acquire new skills and solve open-ended problems
Bislang sind alle getesteten Systeme weit von menschlichen Fähigkeiten in diesem Bereich entfernt.
Die o1-Modelle übertrafen zwar nun GPT-4 in Genauigkeit bei diesem Test, benötigten aber deutlich mehr Rechenzeit. Sie nutzen einen „Chain-of-Thought“-Ansatz, bei dem die KI Zwischenschritte generiert und ihre Antwort damit vorab verfeinert und überprüft. Laut ARC zeigt o1 zwar Fortschritte, stellt aber keinen Durchbruch zur AGI dar. Die Forscher sehen weiteren Innovationsbedarf, um KI-Systeme zu entwickeln, die über das bloße Anwenden gelernter Muster hinausgehen und wirklich neue Lösungsansätze generieren können.
