Einen detaillierten Leitfaden zum Bau eines leistungsstarken KI-Trainingssystems hat Machine-Learning-Ingenieur Sabareesh Subramani auf seiner persönlichen Website veröffentlicht. Das System kostet etwa 12.000 US-Dollar und verwendet vier NVIDIA 4090 Grafikkarten zum Training von großen Sprachmodellen.
Die Anlage kann KI-Modelle mit bis zu 500 Millionen Parametern effektiv trainieren. Subramani beschreibt die erforderlichen Komponenten, darunter einen AMD Threadripper PRO Prozessor, 128 GB Arbeitsspeicher und zwei 1500-Watt-Netzteile.
Die NVIDIA 4090 Grafikkarten wurden wegen ihrer 24 GB Videospeicher und fortschrittlichen Verarbeitungsfähigkeiten ausgewählt. Jede Grafikkarte verbraucht etwa 450 Watt während des intensiven Trainings.
Der Leitfaden enthält ausführliche Anweisungen zur Montage, Kühlung und Software-Konfiguration. Das System läuft unter Linux und verwendet spezielle Software zur Kommunikation zwischen den Grafikkarten.
Subramani räumt ein, dass Cloud-Computing-Dienste günstigere Alternativen bieten. Er betont jedoch, dass ein eigenes System praktische Erfahrungen und tieferes Verständnis der KI-Technologie ermöglicht.