Wissenschaftler der Stanford University und der University of Washington haben ein KI-Modell namens s1 entwickelt, das mit den Fähigkeiten teurer kommerzieller KI-Systeme konkurriert und weniger als 50 Dollar an Rechenressourcen für das Training benötigte. Das Modell, das durch einen als Destillation bezeichneten Prozess unter Verwendung von Googles Gemini 2.0 Flash Thinking Experimental erstellt wurde, zeigt ähnliche Leistungen wie OpenAIs o1 und DeepSeeks R1 bei mathematischen und Programmieraufgaben.
Das Forscherteam erreichte diesen Durchbruch durch die Verwendung eines sorgfältig kuratierten Datensatzes von nur 1.000 Beispielen und eines verfügbaren Basismodells des chinesischen KI-Labors Qwen. Der Trainingsprozess dauerte lediglich 30 Minuten unter Verwendung von 16 Nvidia H100 GPUs, wobei die Forscher eine einfache, aber effektive Technik implementierten, bei der das Wort „wait“ eingefügt wurde, um die Zeit des Modells fürs „Nachdenken“ zu verlängern und die Genauigkeit zu verbessern. Dieser Ansatz zur Steuerung der „Denkzeit“ des Modells ermöglicht es ihm, seine Arbeit vor der endgültigen Antwort zu überprüfen.
Die Entwicklung von s1 wirft wichtige Fragen zur Notwendigkeit massiver Investitionen in KI-Infrastruktur auf, während große Technologieunternehmen planen, Hunderte von Milliarden in die KI-Entwicklung zu investieren. Während das s1-Projekt zeigt, dass kleinere Teams mit minimalen Ressourcen vergleichbare Ergebnisse erzielen können, haben Branchenführer wie OpenAI Bedenken hinsichtlich unautorisierter Modell-Destillation geäußert, die sie als Verstoß gegen ihre Nutzungsbedingungen betrachten. Die Forscher haben s1s Code und Trainingsdaten auf GitHub öffentlich zugänglich gemacht und fördern damit Transparenz in der KI-Entwicklung.
Quellen: Tim Kellogg, TechCrunch