Meta hat eine neue Technologie namens „scalable memory layers“ entwickelt, die die Wissensspeicherung von großen Sprachmodellen verbessert und Halluzinationen reduziert. Wie Ben Dickson in VentureBeat berichtet, fügt diese Innovation zusätzliche Parameter zu KI-Modellen hinzu, ohne den Rechenaufwand zu erhöhen. Die Speicherschichten verwenden spezielle Aktivierungsmechanismen und Schlüssel-Wert-Zuordnungen. Tests zeigen, dass ein Modell mit 1,3 Milliarden Parametern die Leistung deutlich größerer Modelle erreicht. Die Technologie kann über mehrere GPUs verteilt werden, ohne an Leistung zu verlieren. Besonders bei Fragen zu Faktenwissen zeigt die neue Technologie beeindruckende Ergebnisse und erreicht die Leistung von Modellen, die mit zehnmal mehr Rechenleistung trainiert wurden.