Nvidias neues KI-Modell transkribiert, übersetzt und analysiert lange Aufnahmen

Nvidia stellt mit Nemotron 3.5 Transcribe ein offenes KI-Modell vor, das Transkription, Übersetzung, Sprechererkennung und die Auswertung von Audioaufnahmen zusammenführt. Kyt Dotson berichtet für SiliconANGLE, dass der Konzern außerdem Granary v2 veröffentlicht, einen offenen Sprachdatensatz mit einer Pipeline zum Anpassen des Modells.

Laut Nvidia verarbeitet Transcribe Aufnahmen in 40 Sprachen, erkennt bis zu acht Sprecher und beantwortet Fragen zu Audiodateien mit einer Länge von bis zu 100 Stunden. Bisherige Lösungen verbinden dafür oft mehrere Einzelsysteme. Nvidias Modell soll diese Arbeit in einem Durchlauf erledigen.

Anwender können dem Modell per Eingabeanweisung verschiedene Aufgaben geben. Es kann etwa eine Aufnahme mit Sprecherzuordnung verschriftlichen, Audio ins Englische übersetzen oder Entscheidungen aus einer Besprechung herausarbeiten. Fachbegriffe oder beispielhafte Dialoge lassen sich vorab mitgeben. Das soll die Erkennung etwa bei medizinischen oder branchenspezifischen Inhalten verbessern.

Nemotron 3.5 Transcribe basiert auf einer Mixture of Experts Architektur. Das Modell besitzt insgesamt 30 Milliarden Parameter, aktiviert für eine Aufgabe aber nur vier Milliarden davon. Nvidia zufolge läuft es auf einer einzelnen GPU. Das reicht von Edge-Systemen wie dem Jetson AGX Thor bis zu Hardware im Rechenzentrum. Mit einer Blackwell Server Edition GPU soll das Modell 100 Stunden Audio in weniger als drei Minuten verarbeiten, wenn Komprimierung und geringere Rechengenauigkeit eingesetzt werden.

Nvidia gibt die Wortfehlerrate ohne zusätzliche Vorgaben mit 30,8 Prozent an. Durch gezielte Eingabeanweisungen sinke sie auf 20,8 Prozent. Für den indischen medizinischen Sprachtest von Eka Care habe eine speziell angepasste Version 11,8 Prozent erreicht.

Granary v2 umfasst nach Angaben des Unternehmens ein öffentliches Verzeichnis mit 463.062 Stunden Sprachmaterial aus 48 Sprachen und 16 Quellensammlungen. Für jede Aufnahme stehen drei Transkriptvarianten bereit: eine wortgetreue Fassung, eine normalisierte Fassung und eine Version ohne Füllwörter. Entwickler können den Modell-Checkpoint herunterladen und über eine Hugging-Face-Demo testen.