Soofi S: Deutsches KI-Konsortium veröffentlicht offenes 30B-Modell mit Bestwerten auf Englisch und Deutsch

Ein deutsches Forschungskonsortium hat mit Soofi S ein offenes Sprachmodell veröffentlicht. Es wurde vollständig auf der KI-Cloud-Infrastruktur der Deutschen Telekom in München trainiert. Jonathan Kemper berichtet für The Decoder, dass das 30B-Modell unter den offenen Modellen die besten Werte auf Englisch und Deutsch erreicht. Es übertrifft dabei OLMo 3 32B und Apertus 70B.

Effizient durch Architektur

Soofi S nutzt eine Mixture-of-Experts-Architektur nach dem Vorbild von Nvidias Nemotron 3 Nano. Pro Token aktiviert das Modell nur 3,2 der insgesamt 31,6 Milliarden Parameter. Zusammen mit einer hybriden Mamba-Transformer-Architektur bleibt die Generierungsgeschwindigkeit auch bei sehr langen Kontexten bis 256.000 Token nahezu konstant. Dichte Modelle verlangsamen sich dagegen deutlich.

Das vom KI Bundesverband koordinierte Konsortium trainierte das Modell mit rund 27 Billionen Token. Der Datensatz legt einen klaren Schwerpunkt auf deutsche Quellen: Webtexte, Zeitungsarchive und synthetische Daten. In späteren Trainingsphasen macht Deutsch bis zu 15,3 Prozent des Datenmixes aus, deutlich mehr als bei vergleichbaren internationalen Modellen.

Bei Code- und Deutsch-Benchmarks liegt Soofi S vorn. Schwächen zeigen sich bei Wettbewerbsmathematik und faktenbasierter Suche, vermutlich wegen der geringen Zahl aktiver Parameter.

Diskussion um „Overtraining“

Kritiker bemängelten, Soofi S sei nach den klassischen Chinchilla-Skalierungsgesetzen deutlich „übertrainiert“. Der technische Leiter Michael Fromm widerspricht. Diese Regeln gelten seiner Ansicht nach nicht für MoE-Architekturen, da einzelne dieser „Experten“ von wiederholten hochwertigen Daten profitieren. Als Beleg nennt er Nvidias eigene Modelle, die mit bis zu 25 Billionen Token trainiert wurden.

Das Konsortium veröffentlicht Modellgewichte, Trainingscode und ein detailliertes Datenverzeichnis. Damit erfüllt Soofi S die Open Source AI Definition 1.0. Eine strengere europäische Open-Data-Definition wird wegen eines kleinen Anteils kommerziell lizenzierter Daten knapp verfehlt.