Microsoft stellt MAI-Base-2 mit 2,8 Billionen Parametern vor

Microsoft hat mit MAI-Base-2 ein neues KI-Basismodell vorgestellt. Das Mixture-of-Experts-Modell verfügt über insgesamt 2,8 Billionen Parameter, aktiviert pro Eingabe aber nur 80 Milliarden davon. Microsoft AI berichtet in einem offiziellen Blogbeitrag, dass sich das Modell derzeit im Post-Training befindet. In dieser Phase wird ein Basismodell etwa für Dialoge, Anweisungen und Schlussfolgerungen angepasst.

Nach Angaben des Unternehmens erzielt MAI-Base-2 in eigenen zurückgehaltenen Tests bessere Ergebnisse als alle geprüften Open-Weight-Modelle. Microsoft beziffert den Vorteil beim Vortraining gegenüber DeepSeek-V4-Pro-Base auf das 4,2- bis 12,3-Fache. Gemeint ist die Effizienz beim Einsatz von FLOPs, einer Maßeinheit für den Rechenaufwand beim Training.

Die Mixture-of-Experts-Architektur verteilt Aufgaben auf viele spezialisierte Teilnetze. Für einzelne Texte oder Bilder wird nur ein Teil dieser Experten genutzt. Microsoft will dadurch ein sehr großes Modell trainieren, ohne bei jeder Eingabe die gesamte Rechenleistung für alle Parameter einsetzen zu müssen.

Training mit Text, Code und Bildern

Für das Training nutzte Microsoft 16.000 GB200-Grafikprozessoren von Nvidia über 38 Tage. Die Trainingsmischung umfasste 50 Billionen Token. Sie enthielt Text, Programmcode und Bilddaten. Auf visuelle Inhalte entfielen 18 Prozent der Datenmenge. Das Modell wurde damit von Beginn an für die Verarbeitung von Text und Bildern trainiert.

Microsoft zufolge ist der Bestand an einzigartigen Trainingsdaten gegenüber MAI-Base-1 um rund 36 Prozent gewachsen. Das Unternehmen betont, keine von anderen KI-Modellen erzeugten Inhalte zur Destillation verwendet zu haben. Die Daten würden intern verarbeitet. Der firmeneigene Webcrawler beachte robots.txt sowie weitere Steuerungsmöglichkeiten für Webseitenbetreiber.

Als Gründe für die behaupteten Fortschritte nennt Microsoft bessere Datenaufbereitung, neue Regeln für die Wahl von Trainingsparametern und technische Änderungen an der Infrastruktur. Dazu gehören ein MoE-Verfahren, das bei hoher Auslastung keine Token verwerfen soll, sowie Anpassungen am Muon-Optimierer.

Gewichte und Ergebnisse nach dem Post-Training hat Microsoft bislang nicht veröffentlicht. Später sollen vertrauenswürdige Partner über Microsoft Foundry Zugang zu den Modellgewichten erhalten.