PrismML bringt ein 27-Milliarden-Parameter-Modell aufs Smartphone

PrismML stellt mit Bonsai 27B ein komprimiertes Sprachmodell vor, das nach Angaben des Unternehmens erstmals ein Modell dieser Größenklasse auf einem Smartphone lauffähig macht. PrismML kündigt in einem offiziellen Blogbeitrag an, dass das auf Qwen3.6 27B basierende Modell trotz drastischer Verkleinerung Denkfähigkeit, Werkzeugnutzung und Bildverständnis behält.

Bonsai 27B erscheint in zwei Varianten. Ternary Bonsai 27B nutzt Gewichte mit drei möglichen Werten und benötigt 5,9 GB Speicher, gedacht für Laptops. 1-Bit Bonsai 27B arbeitet mit nur zwei Werten pro Gewicht und kommt mit 3,9 GB aus. Das passt in das Speicherbudget eines iPhone 17 Pro. Beide Varianten behalten das volle Kontextfenster von 262.000 Tokens und verarbeiten neben Text auch Bilder, etwa Screenshots oder Dokumente.

Leistung bleibt, Speicherbedarf schrumpft

Laut einer eigenen Testreihe mit 15 Benchmarks erreicht Ternary Bonsai 27B 95 Prozent der Leistung des unkomprimierten Ausgangsmodells. Die 1-Bit-Version kommt auf 90 Prozent. Mathematik und Programmieraufgaben verlieren kaum an Genauigkeit. Bei agentischen Aufgaben wie Werkzeugaufrufen und beim Befolgen von Anweisungen fallen die Einbußen etwas größer aus, bleiben aber moderat.

PrismML sieht in der Entwicklung einen wichtigen Schritt für KI-Agenten, die viele Schritte hintereinander ausführen, etwa beim Bedienen von Software oder beim Auswerten von Dokumenten. Läuft ein solches Modell lokal, entfallen laufende Cloud-Kosten pro Schritt, und private Daten bleiben auf dem Gerät, argumentiert das Unternehmen. Denkbar seien auch hybride Systeme, die einfache Aufgaben lokal und schwierige Aufgaben in der Cloud lösen.

Bonsai 27B läuft auf Apple-Geräten über MLX und auf Nvidia-Grafikkarten über CUDA. Die Modellgewichte stehen unter der Apache-2.0-Lizenz frei zur Verfügung. Zusätzlich bietet PrismML zeitlich begrenzt eine kostenlose Entwickler-API an.