Meta und die University of Washington haben eine neue KI-Architektur namens Byte latent transformer (BLT) entwickelt. Wie Ben Dickson für VentureBeat berichtet, arbeitet BLT direkt mit Bytes statt mit vordefinierten Tokens. Das System besteht aus drei Transformer-Blöcken: zwei kleinen Encoder/Decoder-Modellen und einem zentralen Latent Global Transformer. Tests zeigen, dass BLT die Leistung etablierter Modelle wie Llama 3 erreicht, dabei aber bis zu 50% weniger Rechenleistung benötigt. Die Architektur erweist sich als besonders effektiv bei der Verarbeitung ungewöhnlicher Muster, Rechtschreibfehler und weniger verbreiteter Sprachen. Die Forscher betonen, dass BLT ein verbessertes Verständnis auf Zeichenebene und bessere Ergebnisse bei der maschinellen Übersetzung von ressourcenarmen Sprachen zeigt.