Alibaba hat Qwen with Questions (QwQ) vorgestellt, ein neues KI-Reasoning-Modell, das mit OpenAIs o1-System konkurrieren soll. Das Modell verfügt über 32 Milliarden Parameter und kann Kontexte von bis zu 32.000 Token verarbeiten.
Laut Alibabas Tests übertrifft QwQ OpenAIs o1-preview bei den mathematischen und wissenschaftlichen Reasoning-Benchmarks AIME und MATH. Das Unternehmen gibt an, dass QwQ bessere Leistungen bei der mathematischen Problemlösung zeigt, jedoch schwächere Ergebnisse als o1 bei Programmieraufgaben aufweist.
QwQ nutzt zusätzliche Rechenzyklen während der Inferenz, um seine Antworten zu überprüfen und zu korrigieren, eine Technik namens Inference-Time-Scaling. Dieser Ansatz ermöglicht es dem Modell, seine Leistung bei Aufgaben zu verbessern, die logisches Denken und Planung erfordern.
Das Modell zeigt einige Einschränkungen, darunter unerwartete Sprachwechsel und gelegentliche Zirkelschlüsse. Diese Limitierungen wurden von Alibaba in ihrer Veröffentlichungsdokumentation offen eingeräumt.
Das Modell wird unter einer Apache 2.0-Lizenz veröffentlicht und ist damit für kommerzielle Zwecke nutzbar. Allerdings hat Alibaba kein detailliertes Paper über die Trainingsdaten und -prozesse veröffentlicht, was die Reproduzierbarkeit der Modellergebnisse einschränkt.
Die Veröffentlichung erfolgt inmitten von Branchendiskussionen über die abnehmenden Erträge traditioneller Modell-Skalierungsansätze. Große KI-Labore, darunter OpenAI, Google DeepMind und Anthropic, berichten von Herausforderungen bei der Verbesserung der Modellleistung durch reine Größensteigerung.
Quellen: VentureBeat, TechCrunch, VentureBeat
