Prime Intellects neue KI wurde dezentral trainiert

Prime Intellect hat mit INTELLECT-2 ein KI-Modell mit 32 Milliarden Parametern veröffentlicht, das erstmals durch global verteiltes Reinforcement Learning trainiert wurde. Das Modell nutzt einen dezentralen Ansatz mit Rechenressourcen von Mitwirkenden weltweit anstatt zentralisierter GPU-Cluster. Die speziell entwickelte Infrastruktur umfasst Komponenten wie PRIME-RL, TOPLOC und SHARDCAST, die asynchrones Training über heterogene Netzwerke ermöglichen. Laut Prime Intellect zeigt das Modell verbesserte Leistungen bei Mathematik- und Programmier-Benchmarks im Vergleich zum QwQ-32B-Modell. Das Unternehmen hat das Modell samt Code und Daten als Open Source veröffentlicht, um die Forschung zu dezentralen KI-Trainingsmethoden voranzutreiben. Zukünftig plant Prime Intellect die Entwicklung von werkzeuggestütztem Reasoning, Crowdsourcing für hochwertigere Trainingsdaten und Infrastrukturoptimierungen für fortschrittlichere offene Modelle.