Differential Transformer soll die Leistung von Text-KIs verbessern

Microsoft und die Tsinghua Universität haben eine neue KI-Architektur namens „Differential Transformer“ entwickelt, die die Leistung von großen Sprachmodellen verbessert. Wie Furu Wei von Microsoft Research gegenüber VentureBeat erklärte, verstärkt die neue Methode die Aufmerksamkeit auf relevante Kontexte und filtert Störgeräusche heraus. Dies soll Probleme wie das „Lost-in-the-Middle“-Phänomen und Halluzinationen bei langen Texten reduzieren. In Tests übertraf der Differential Transformer die klassische Transformer-Architektur in verschiedenen Bereichen deutlich, etwa bei der Informationsextraktion und beim kontextbasierten Lernen. Die Forscher haben den Code veröffentlicht und planen, die Technologie auf größere Modelle und andere Modalitäten auszuweiten.