Differential Transformer soll die Leistung von Text-KIs verbessern
Microsoft und die Tsinghua Universität haben eine neue KI-Architektur namens „Differential Transformer“ entwickelt, die die Leistung von großen Sprachmodellen verbessert. Wie Furu Wei von Microsoft Research gegenüber VentureBeat erklärte, verstärkt die neue Methode die Aufmerksamkeit auf relevante Kontexte und filtert Störgeräusche heraus. Dies soll Probleme wie das „Lost-in-the-Middle“-Phänomen und Halluzinationen bei langen Texten reduzieren. In …