Mietpreise für Nvidia-GPUs eingebrochen

Der Markt für NVIDIAs H100-Grafikprozessoren ist von einem Mangel im letzten Jahr zu einem Überangebot im Jahr 2024 gekippt. Laut Eugene Cheah sind die Mietpreise für die leistungsstarken GPUs von ehemals acht US-Dollar pro Stunde auf unter zwei Dollar gefallen. Cheah führt diese Entwicklung auf verschiedene Faktoren zurück. So setzen immer mehr Unternehmen auf die Feinabstimmung bestehender Open-Source-Modelle wie Llama 3 statt selbst große Sprachmodelle zu trainieren. Diese Modelle benötigen zudem deutlich weniger Rechenleistung, was die Nachfrage nach großen H100-Clustern reduziert. Zudem haben viele Start-ups, die auf kleinere, spezialisierte Modelle gesetzt hatten, ihre Investitionen in eigene Trainingsinfrastruktur zurückgefahren. Verschärft wird das Überangebot durch große KI-Unternehmen wie Meta, die ihre eigenen Rechenzentren bauen und dadurch die Nachfrage bei öffentlichen Cloud-Anbietern reduzieren. Hinzu kommen Lieferverzögerungen aus dem Vorjahr und günstigere Alternativen von AMD und Intel.