Nvidias Nemotron 3.5 Lightning verspricht schnellere KI-Agenten für Unternehmen

Nvidia hat mit Nemotron 3.5 Lightning ein offenes KI-Modell für Aufgaben mit hohem Volumen vorgestellt. Zugleich bringt das Unternehmen mit NeMo Switchyard eine Software heraus, die Aufgaben zwischen verschiedenen KI-Modellen verteilt.

Kyt Dotson berichtet für SiliconANGLE, dass Nvidia damit Unternehmen anspricht, deren KI-Agenten sowohl einfache Routineaufgaben als auch anspruchsvolles Reasoning bearbeiten.

Nemotron 3.5 Lightning hat 30 Milliarden Parameter und nutzt eine Mixture-of-Experts-Architektur. Dabei werden je nach Aufgabe nur bestimmte Teile des Modells aktiviert. Das kann den Rechenaufwand senken. Nvidia erklärt, Lightning liefere Antworten bis zu viermal schneller als vergleichbare Modelle und erledige Aufgaben von KI-Agenten 30 Prozent schneller. Diese Werte stammen vom Unternehmen.

Das Modell soll sich mit eigenen Daten, Werkzeugen und Arbeitsabläufen anpassen lassen. Nvidia zufolge können Unternehmen dafür die NeMo-Software nutzen und das Nachtraining auf eigener Hardware durchführen.

Ein Router für unterschiedliche Anforderungen

NeMo Switchyard soll ein anderes Problem lösen: die Auswahl des geeigneten Modells innerhalb eines Arbeitsablaufs. Die quelloffene Bibliothek prüft verfügbare Modelle und leitet einzelne Anfragen nach festgelegten Kriterien weiter.

Entwickler können dabei etwa Qualität, Antwortzeit oder Kosten priorisieren. Ein schnelles, kleineres Modell könnte dann Texte sortieren oder zusammenfassen. Für komplexe Analysen, Programmieraufgaben oder Fachwissen kann ein leistungsfähigeres Modell zum Einsatz kommen.

Nvidia veröffentlicht nach eigenen Angaben außerdem Datensätze und Trainingsanleitungen für das Nachtraining von Lightning. Bei der intelligenten Modellsteuerung arbeitet das Unternehmen unter anderem mit Boomi, Cadence, Cognition, Kong, LangChain, Nous Research und Siemens zusammen.