Das japanische Startup Sakana AI hat eine innovative Technologie entwickelt, die den Speicherverbrauch von großen Sprachmodellen um bis zu 75% senkt. Ben Dickson berichtet über diese neue Methode namens „universal transformer memory“. Das System verwendet neural attention memory modules (NAMMs), die automatisch entscheiden, welche Informationen wichtig sind und welche verworfen werden können. Die Technologie wurde erfolgreich am Llama 3-8B Modell von Meta getestet. Die Module passen sich verschiedenen Aufgaben an und entfernen überflüssige Elemente wie Kommentare im Programmcode oder grammatikalische Wiederholungen in Texten. Das System funktioniert mit Open-Source-Modellen und kann ohne zusätzliches Training für verschiedene Anwendungen eingesetzt werden, einschließlich Bildverarbeitung und maschinelles Lernen.