Mixture of Experts (MoE) ist ein Konzept in der künstlichen Intelligenz, das sich am besten als ein Team von Spezialisten verstehen lässt.
Bei diesem Ansatz wird eine komplexe Aufgabe auf mehrere kleinere, spezialisierte Modelle – die sogenannten „Experten“ – aufgeteilt, anstatt ein einziges großes Modell für alles zu verwenden. Ein zentraler „Gatekeeper“ oder „Router“ entscheidet dabei, welcher Experte für eine bestimmte Teilaufgabe am besten geeignet ist.
Dies ermöglicht es dem System, effizienter und präziser zu arbeiten, da jeder Experte sich auf seinen Spezialbereich konzentrieren kann.
In der Praxis bedeutet dies, dass ein MoE-Modell beispielsweise bei der Textverarbeitung einen Experten für Grammatik, einen für Vokabular und einen für Kontext haben könnte. Der Gatekeeper würde dann je nach Anforderung den passenden Experten auswählen.
Dieser Ansatz nutzt Rechenressourcen effizienter und liefert oft bessere Ergebnisse als ein einzelnes, allumfassendes Modell.
MoE wird zunehmend in großen Sprachmodellen und anderen KI-Anwendungen eingesetzt, um deren Leistung und Effizienz zu steigern.
