KI-Training über verteilte Internet-Computer statt Rechenzentren

Nous Research hat ein bahnbrechendes Projekt gestartet, bei dem ein großes Sprachmodell mit 15 Milliarden Parametern über vernetzte Computer im Internet trainiert wird. Wie Carl Franzen für VentureBeat berichtet, verzichtet das Unternehmen dabei auf traditionelle Rechenzentren. Das Projekt nutzt die eigens entwickelte Nous DisTrO-Technologie, die die erforderliche Bandbreite zwischen den GPUs um das bis zu 10.000-fache reduziert. Der Trainingsprozess wird live auf der Unternehmenswebsite übertragen, wo Evaluierungskennzahlen und Standorte der beteiligten Hardware in den USA und Europa angezeigt werden. Partner des Projekts sind unter anderem Oracle, Lambda Labs und Northern Data Group. Diese Innovation könnte die KI-Entwicklung demokratisieren, da sie auch kleineren Organisationen und Forschern ohne Zugang zu teuren Supercomputern ermöglicht, KI-Modelle zu trainieren.