IBM hat die Einführung von Granite 4.0 angekündigt, der nächsten Generation seiner Open-Source-Sprachmodelle. Die neuen Modelle nutzen eine Hybrid-Architektur, die die KI-Technologien Transformer und Mamba kombiniert. Ziel ist es, hohe Leistung mit deutlich geringerem Speicherbedarf und niedrigeren Kosten zu vereinen. Die Modelle sind für den Unternehmenseinsatz konzipiert und legen einen starken Fokus auf Sicherheit, Governance und Transparenz.
Die zentrale Neuerung von Granite 4.0 ist das hybride Design. Die meisten aktuellen großen Sprachmodelle, einschließlich früherer Granite-Versionen, basieren auf der Transformer-Architektur. Transformer sind leistungsstark im Verstehen von Kontext, werden jedoch rechenintensiv und verbrauchen viel Arbeitsspeicher, wenn die Länge des eingegebenen Textes zunimmt. Im Gegensatz dazu verarbeitet die neuere Mamba-Architektur Informationen effizienter. Dies reduziert den Bedarf an Speicher und Rechenleistung, insbesondere bei langen Dokumenten oder vielen gleichzeitigen Nutzeranfragen.
Durch die Kombination von Mamba-2-Layern mit einer kleineren Anzahl von Transformer-Blöcken sollen die Granite-4.0-Modelle laut IBM die Effizienz von Mamba mit der kontextuellen Präzision von Transformern verbinden. Nach Angaben des Unternehmens kann dies den GPU-Speicherbedarf (RAM) im Vergleich zu herkömmlichen Modellen um über 70 % senken. Dies könnte für Unternehmen zu erheblichen Kosteneinsparungen bei der Hardware führen.
Die Granite 4.0 Modellfamilie
Die Granite-4.0-Kollektion wird unter einer freizügigen Apache-2.0-Lizenz veröffentlicht, die es Entwicklern erlaubt, die Modelle für kommerzielle Zwecke zu nutzen und anzupassen. Die erste Veröffentlichung umfasst mehrere Modelle unterschiedlicher Größe:
- Granite-4.0-H-Small: Ein hybrides Mixture-of-Experts (MoE)-Modell mit insgesamt 32 Milliarden Parametern, von denen 9 Milliarden gleichzeitig aktiv sind.
- Granite-4.0-H-Tiny: Ein kleineres hybrides MoE-Modell mit 7 Milliarden Parametern (1 Milliarde aktiv).
- Granite-4.0-H-Micro: Ein dichtes Hybrid-Modell mit 3 Milliarden Parametern.
- Granite-4.0-Micro: Ein 3-Milliarden-Parameter-Modell, das auf einer herkömmlichen Transformer-Architektur basiert, um Plattformen zu unterstützen, die die neue Hybrid-Struktur noch nicht verarbeiten können.
IBM berichtet, dass selbst die kleinsten Granite-4.0-Modelle das Vorgängermodell Granite 3.3 8B deutlich übertreffen. Das Unternehmen legte zudem Benchmarks vor, die zeigen, dass die neuen Modelle bei wichtigen Unternehmensaufgaben wie dem Befolgen von Anweisungen und der Nutzung von Software-Tools (Function Calling) mit weitaus größeren Systemen konkurrenzfähig sind.
Fokus auf Vertrauen und Sicherheit
IBM positioniert die Granite-4.0-Familie als eine unternehmenstaugliche Lösung mit robusten Governance-Funktionen. Das Unternehmen betont, dass Granite die erste Open-Source-Sprachmodellfamilie ist, die eine ISO-42001-Zertifizierung erhalten hat. Dies ist ein internationaler Standard für das verantwortungsvolle Management von KI-Systemen.
Um Authentizität und Integrität zu gewährleisten, sind alle Granite-4.0-Modelle kryptografisch signiert. Dadurch können Nutzer deren Herkunft überprüfen. IBM hat zudem in Partnerschaft mit der Sicherheitsplattform HackerOne ein Bug-Bounty-Programm gestartet, das Forscher dazu einlädt, potenzielle Schwachstellen zu finden und zu melden. Darüber hinaus bietet IBM eine Freistellung von Ansprüchen Dritter wegen geistigen Eigentums für Kunden, die die Modelle auf der Plattform watsonx.ai nutzen.
Die neuen Modelle sind ab sofort auf IBM watsonx.ai und über eine breite Palette von Partnerplattformen verfügbar, darunter Hugging Face, Dell Technologies, Docker Hub, NVIDIA NIM und Ollama. Die Unterstützung in wichtigen KI-Frameworks wie vLLM und Hugging Face Transformers ist ebenfalls sichergestellt, um die Einführung zu erleichtern.
Weitere Quelle: VentureBeat
