Meta AI hat eine neuartige Methode entwickelt, die es großen Sprachmodellen ermöglicht, in einem kontinuierlichen latenten Raum zu denken, statt nur mit Worten zu arbeiten. Die als „Coconut“ (Chain of Continuous Thought) bezeichnete Methode wechselt zwischen Sprach- und Gedankenmodus. Dies ermöglicht eine flexiblere Herangehensweise an komplexe Probleme.
Das Verfahren zeigt besondere Stärken bei Aufgaben, die umfangreiche Planung erfordern. In Tests übertraf Coconut herkömmliche Methoden deutlich beim ProsQA-Datensatz, der komplexe Planungsfähigkeiten erfordert.
Ein wichtiges Merkmal ist das mehrstufige Training: Das System lernt schrittweise, verbale Denkprozesse durch latente Gedanken zu ersetzen.
Die Forscher stellten fest, dass Coconut ein Denkmuster ähnlich der breadth-first search (BFS) entwickelt. Dies ermöglicht es dem System, mehrere Lösungswege gleichzeitig zu untersuchen, bevor es sich für eine Antwort entscheidet.
Die neue Methode benötigt weniger Token als traditionelle Ansätze, was sie effizienter macht. Das Forschungsteam sieht Potenzial für weitere Entwicklungen, etwa die Kombination von latenten Gedanken mit klassischen Denkmethoden oder die Entwicklung speziell vortrainierter Modelle.
Coconut könnte einen wichtigen Schritt in Richtung effizienterer und natürlicherer KI-Denkprozesse darstellen. Die Methode orientiert sich dabei an der menschlichen Gehirnaktivität, die beim Lösen komplexer Probleme nicht ausschließlich auf Sprache angewiesen ist.