Sakana AI, mitbegründet von ehemaligen Google-KI-Forschern, hat eine neue Architektur für neuronale Netze namens Continuous Thought Machines (CTM) vorgestellt. Im Gegensatz zu herkömmlichen Transformer-basierten Modellen, die Informationen parallel verarbeiten, integrieren CTMs eine zeitbasierte Dimension, die nachahmt, wie biologische Gehirne arbeiten und so flexibleres und anpassungsfähigeres Denken ermöglicht.
Die zentrale Innovation bei CTMs ist ihre Behandlung von neuronaler Zeitgebung und Synchronisation als grundlegende Aspekte der Berechnung. Jedes künstliche Neuron behält eine Historie seiner vorherigen Zustände und nutzt private „Neuron-Level-Modelle“, um zu bestimmen, wann es aktiviert werden soll. Die Synchronisation zwischen Neuronen bildet die Darstellung, die das System zum Beobachten und Vorhersagen verwendet.
Hauptmerkmale der Continuous Thought Machines
- Eine entkoppelte interne Dimension namens „Ticks“, die es neuronaler Aktivität ermöglicht, sich über Zeit zu entfalten
- Private Neuron-Level-Modelle, die die Geschichte eingehender Signale verarbeiten
- Neuronale Synchronisation als primäre Darstellung für Entscheidungsfindung
Laut der Forscher von Sakana AI überbrückt dieser Ansatz die Lücke zwischen moderner KI-Effizienz und der biologischen Plausibilität gehirnähnlicher Berechnungen. In Demonstrationen von Bildklassifizierung bis zur Lösung von Labyrinthen haben CTMs die Fähigkeit gezeigt, Rechenressourcen basierend auf der Komplexität der Aufgabe adaptiv zuzuweisen.
Obwohl CTMs noch nicht die Leistung modernster Benchmarks wie ImageNet erreichen, bieten sie Vorteile bei Interpretierbarkeit und Kalibrierung. Die Architektur ist als Open Source auf GitHub verfügbar, mit vortrainierten Modellen und interaktiven Demonstrationen.