Thinking Machines Inkling-Small soll KI-Kosten senken, ohne zu viele Fähigkeiten einzubüßen

Thinking Machines Lab hat Inkling-Small veröffentlicht, ein offenes KI-Modell mit deutlich geringerem Rechenbedarf als das bisherige Modell Inkling. Nach Angaben des Unternehmens erreicht Inkling-Small bei Reasoning, Programmieraufgaben und multimodalen Anwendungen in vielen Fällen ein ähnliches Niveau wie das wesentlich größere Schwestermodell.

Inkling-Small besitzt insgesamt 276 Milliarden Parameter. Bei der Verarbeitung eines Tokens sind davon 12 Milliarden aktiv. Inkling kommt auf 975 Milliarden Parameter und aktiviert 41 Milliarden. Beide Systeme nutzen eine Mixture-of-Experts-Architektur. Dabei setzt das Modell für einzelne Verarbeitungsschritte nur ausgewählte spezialisierte Modellbereiche ein.

Die Gewichte stehen unter der Apache-2.0-Lizenz. Unternehmen dürfen das Modell damit grundsätzlich auch kommerziell einsetzen, verändern und weitergeben, sofern sie die Lizenzbedingungen beachten. Thinking Machines stellt Inkling-Small zudem über den Dienst Tinker zum Fine-Tuning und im Tinker Playground für Chats mit Text, Bildern und Audio bereit.

Vorteile bei Coding und Schlussfolgerungen

Im offiziellen Blogbeitrag von Thinking Machines Lab nennt das Unternehmen Ergebnisse, bei denen Inkling-Small das größere Modell übertrifft. Auf Humanity’s Last Exam ohne Werkzeuge erreicht Inkling-Small demnach 31,6 Prozent. Inkling erzielt dort 29,7 Prozent. Bei SWE-bench Pro, einem Test für Aufgaben aus der Softwareentwicklung, liegt Inkling-Small laut Unternehmen bei mehr als 80 Prozent.

Carl Franzen berichtet für VentureBeat, dass Artificial Analysis Inkling-Small im Intelligence Index mit 40 Punkten bewertet. Inkling liegt mit 41 Punkten knapp davor. VentureBeat verweist außerdem auf Unternehmensangaben, nach denen Inkling-Small bei Terminal Bench 2.1 und SWE-bench Verified bessere Werte als Inkling erreicht.

Die Ergebnisse zeigen jedoch auch Grenzen. Thinking Machines räumt ein, dass Inkling bei Faktenwissen und der Zuverlässigkeit faktischer Aussagen stärker bleibt. Laut VentureBeat schneidet Inkling-Small beim Test τ³-Banking deutlich schwächer ab. Dieser misst den Umgang mit komplexen Werkzeugen in einem Bankenszenario. Für Aufgaben mit hohen Anforderungen an korrekte Fakten bleiben daher Quellenprüfung, Retrieval-Systeme und menschliche Kontrolle wichtig.

Das Modell verarbeitet Texte, Bilder und Audioeingaben, gibt aber Text aus. Es unterstützt Kontexte mit bis zu einer Million Tokens. Thinking Machines zufolge kann es Diagramme, Dokumente und gesprochene Inhalte auswerten. Für visuelle Aufgaben kann es auch Python einsetzen, etwa um Bildausschnitte zu vergrößern oder genauer zu untersuchen.

Kleiner, aber nicht für den heimischen Rechner

Der Name täuscht allerdings. Inkling-Small ist kein Modell für Laptops oder übliche Arbeitsplatzrechner. VentureBeat zufolge benötigt die BF16-Version rund 600 GB gemeinsamen GPU-Speicher. Thinking Machines nennt unter anderem Systeme mit vier Nvidia-B300-GPUs oder acht Nvidia-H200-GPUs. Die komprimierte NVFP4-Version senkt den Bedarf auf etwa 180 GB, erfordert aber weiterhin professionelle Hardware.

Für Unternehmen mit eigener KI-Infrastruktur kann die geringere Größe trotzdem relevant sein. Im Vergleich zu Inkling lassen sich Betriebskosten und benötigte Kapazitäten senken. Das erleichtert den privaten Betrieb oder die Anpassung des Modells an interne Aufgaben.

Thinking Machines führt die Ergebnisse auf einen veränderten Datenmix, Anpassungen im Trainingsverfahren und zusätzliche Trainingsschritte zurück. Ein früherer Stand von Inkling-Small wurde dabei mit Inkling als Lehrmodell weiterentwickelt. Anschließend folgte laut Unternehmen ein zweiwöchiges Reinforcement-Learning-Training für agentische Programmieraufgaben.

Für Anwenderinnen und Anwender sind Benchmarkwerte nur ein erster Anhaltspunkt. Entscheidend sind die Ergebnisse bei den eigenen Aufgaben, die verfügbare Hardware sowie Vorgaben zu Datenschutz, Genauigkeit und Kontrolle.

Quellen

• Introducing Inkling Small – Thinking Machines Lab Blog
• Thinking Machines debuts Inkling Small open source AI model nearing performance of predecessor at about 1/4 size – VentureBeat