OLMoE ist ein vollständig quelloffenes MoE-Modell

Ein neues Open-Source-Modell namens OLMoE wurde vom Allen Institute for AI (AI2) in Zusammenarbeit mit Contextual AI veröffentlicht. Wie Emilia David für VentureBeat berichtet, zielt das Modell darauf ab, leistungsstark und gleichzeitig kosteneffektiv zu sein. OLMoE nutzt eine Mixture-of-Experts-Architektur mit 7 Milliarden Parametern, von denen nur 1 Milliarde pro Eingabetoken aktiv sind. Im Gegensatz zu vielen anderen MoE-Modellen ist OLMoE vollständig Open Source, einschließlich Trainingsdaten und Code. In Benchmark-Tests übertraf OLMoE laut AI2 ähnliche Modelle und erreichte Leistungen nahe an größeren Modellen wie Mistral-7B oder Llama 3.1-8B. Das Projekt soll Forschern einen besseren Zugang zu leistungsfähigen KI-Modellen ermöglichen.