Ein Konsortium aus Schweizer Forschungsinstitutionen wird im Spätsommer 2025 ein neues großes Sprachmodell der Öffentlichkeit zur Verfügung stellen. Laut einer Mitteilung der ETH Zürich der Autoren Florian Meyer und Mélissa Anchisi wurde das Modell von Forschenden der EPFL, der ETH Zürich und des Nationalen Hochleistungsrechenzentrums der Schweiz (CSCS) entwickelt. Es soll eine offene und transparente Alternative zu kommerziellen KI-Systemen bieten.
Das Modell wird vollständig offen sein. Das bedeutet, sein Quellcode, die trainierten Parameter und die Trainingsdaten werden öffentlich zugänglich gemacht. Diese Transparenz soll Vertrauen schaffen, die wissenschaftliche Forschung unterstützen und die Einhaltung von Vorschriften ermöglichen. „Vollständig offene Modelle ermöglichen vertrauenswürdige Anwendungen und sind notwendig, um die Forschung über die Risiken und Chancen von KI voranzutreiben“, sagte Imanol Schlag, Forscher am ETH AI Center.
Ein Hauptmerkmal des neuen Modells ist seine umfassende Mehrsprachigkeit. Es wurde darauf ausgelegt, über 1.000 Sprachen fließend zu beherrschen. Antoine Bosselut vom EPFL AI Center erklärte, das Team habe von Anfang an Wert darauf gelegt, das Modell „massiv mehrsprachig“ zu gestalten. Die Trainingsdaten umfassten Texte in über 1.500 Sprachen, wobei rund 40 Prozent der Inhalte nicht-englischsprachig waren.
Um unterschiedlichen Anforderungen gerecht zu werden, wird das Modell in zwei Größen veröffentlicht: eine Version mit 8 Milliarden Parametern und eine mit 70 Milliarden Parametern. Die Anzahl der Parameter spiegelt die Fähigkeit eines Modells wider, Informationen zu verarbeiten und komplexe Texte zu erzeugen. Laut den Entwicklern wird die größere Version zu den leistungsstärksten vollständig offenen Modellen weltweit gehören.
Das Training fand auf dem Supercomputer „Alps“ am CSCS in Lugano statt, der zu 100 Prozent mit CO₂-neutralem Strom betrieben wird. „Das Training dieses Modells ist nur durch unsere strategische Investition in ‚Alps‘ möglich, einen speziell für KI gebauten Supercomputer“, so Thomas Schulthess, Direktor des CSCS. Er betonte, dass diese souveräne Infrastruktur offene Innovation für Wissenschaft und Gesellschaft weltweit fördere. Das Projekt beachtet zudem Schweizer Datenschutz- und Urheberrechtsgesetze.
Die Veröffentlichung ist Teil der Swiss AI Initiative, die im Dezember 2023 von der EPFL und der ETH Zürich ins Leben gerufen wurde. Das Modell wird unter der Apache-2.0-Lizenz verfügbar sein, was eine breite Wiederverwendung und Weiterentwicklung erlaubt. EPFL-Professor Martin Jaggi erklärte, der offene Ansatz solle Innovationen in der Schweiz und Europa vorantreiben und dabei helfen, Toptalente für den Standort zu gewinnen.
