Das Allen Institute for Artificial Intelligence (Ai2) hat Tulu 3 405B vorgestellt, ein neues KI-Sprachmodell, das laut institutseigenen Tests mehrere führende Systeme wie DeepSeek V3 übertrifft und in bestimmten Benchmarks mit OpenAI’s GPT-4o gleichauf liegt. Das Modell verfügt über 405 Milliarden Parameter und benötigte für das Training 256 parallel laufende GPUs.
Die zentrale Innovation von Tulu 3 405B liegt in „Reinforcement Learning from Verifiable Rewards“ (RLVR), einer Technik, die Modelle anhand von Aufgaben mit überprüfbaren Ergebnissen wie mathematischen Problemlösungen trainiert. Ai2 berichtet, dass ihr Modell bei den Benchmarks PopQA, der 14.000 spezialisierte Wissensfragen enthält, und GSM8K, einem Test für mathematische Textaufgaben auf Grundschulniveau, bessere Leistungen als vergleichbare Systeme seiner Klasse erzielte.
Im Gegensatz zu einigen konkurrierenden Modellen, die nur teilweise Code veröffentlichen, hat Ai2 Tulu 3 405B vollständig als Open Source freigegeben und stellt alle für die Replikation notwendigen Komponenten zur Verfügung, einschließlich Trainingsdaten, Infrastruktur-Code und Modell-Gewichtungen. Das Modell kann über Ai2’s Chatbot-Webanwendung getestet werden, und der Code ist über GitHub und Hugging Face zugänglich. Laut Hannaneh Hajishirzi, Senior Director für NLP-Forschung bei Ai2, ermöglicht dieser umfassende offene Ansatz Nutzern, ihre Pipeline von der Datenauswahl bis zur Auswertung anzupassen.
Quellen: TechCrunch, VentureBeat