Im Test: Qwen3.8 27B erledigt lokale KI-Aufgaben zuverlässig, aber manchmal zu langsam

Das KI-Modell Qwen3.8 27B kann alltägliche Aufgaben lokal übernehmen, etwa Zusammenfassungen, die Ablage gescannter Dokumente und die Auswertung langer Forendiskussionen. Auf Apple-Hardware arbeitet es laut einem Praxistest jedoch deutlich langsamer als sein Vorgänger.

Hemant Kumar schreibt bei TerminalBytes von Messungen auf einem Mac Studio mit M3 Ultra und 256GB gemeinsamem Speicher. Die Standardversion Q4_K_M von Qwen3.8 27B erreichte im Mittel 14 Token pro Sekunde. Qwen3.6 27B kam auf demselben Rechner auf 28,6 Token pro Sekunde.

Für die tatsächliche Wartezeit ist dieser Unterschied nicht allein entscheidend. Qwen3.8 formulierte Antworten im Test meist mit 890 bis 1.090 Token. Das Vorgängermodell brauchte für vergleichbare Prompts 1.950 bis 3.340 Token. In einem Rechenbeispiel dauerte die fertige Antwort des neuen Modells deshalb 67 Sekunden, gegenüber 72 Sekunden beim schnelleren Vorgänger.

Kompakte Varianten senken die Einstiegshürde

Besonders klein ist eine 1-Bit-Quantisierung mit 6,7GB Dateigröße. Sie erzeugte 27,2 Token pro Sekunde und behielt nach dem Test grundlegendes Faktenwissen. Bei Aufgaben, die eine klare Entscheidung verlangen, zeigte sie aber Schwächen. Bei einem einfachen Bash-Befehl lieferte sie zwar brauchbare Vorschläge, änderte ihre Antwort jedoch wiederholt und kam zu keinem eindeutigen Abschluss.

Unsloth, der Anbieter der quantisierten Dateien, rät deshalb vom 1-Bit-Modell für Tool-Aufrufe und automatisierte Arbeitsabläufe ab. Als kleinste geeignetere Variante nennt das Unternehmen die 9,8GB große Q2-Version.

Mit 16GB RAM lassen sich die 1-Bit- und 2-Bit-Ausgaben betreiben. Für die Q4-Version mit höherer Qualität sollten mindestens 32GB vorhanden sein. Die unkomprimierte BF16-Variante benötigt mindestens 96GB.

Wichtig ist zudem aktuelle Software. Ältere llama.cpp-Versionen erkennen die Architekturkennung „qwen35“ nicht und laden das Modell nicht. Der Test zeigt damit den zentralen Zielkonflikt lokaler KI: Starke Modelle werden durch Komprimierung auf mehr Geräten nutzbar, doch die Einbußen können gerade die Verlässlichkeit in Arbeitsprozessen treffen.