OLMoE ist ein vollständig quelloffenes MoE-Modell
Ein neues Open-Source-Modell namens OLMoE wurde vom Allen Institute for AI (AI2) in Zusammenarbeit mit Contextual AI veröffentlicht. Wie Emilia David für VentureBeat berichtet, zielt das Modell darauf ab, leistungsstark und gleichzeitig kosteneffektiv zu sein. OLMoE nutzt eine Mixture-of-Experts-Architektur mit 7 Milliarden Parametern, von denen nur 1 Milliarde pro Eingabetoken aktiv sind. Im Gegensatz zu …