Mistral AI startet Voxtral 3 für Sprachagenten in Echtzeit

Mistral AI stellt mit Voxtral 3 eine neue Modellfamilie für Spracherkennung und Sprachsynthese vor. In einem offiziellen Blogbeitrag teilt Mistral AI mit, dass dazu auch ein SDK gehört, das Zuhören, Schlussfolgern, die Nutzung von Tools und gesprochene Antworten in einem Echtzeitprozess zusammenführt.

Das Angebot richtet sich unter anderem an Callcenter, Service-Desks, virtuelle Assistenten und sprachgesteuerte Arbeitsassistenten. Die Agenten können auf Unternehmensdaten und verbundene Systeme zugreifen. So sollen sie etwa Identitäten prüfen, Rechnungen abrufen, Termine buchen oder Informationen während eines Gesprächs suchen können.

Ein System für Zuhören, Antworten und Handeln

Voxtral Small Transcribe 3 unterstützt mehr als 50 Sprachen und kann verschiedene Sprecher in einem Gespräch auseinanderhalten. Außerdem unterstützt das Modell Context Biasing. Unternehmen können dabei Produktnamen, Fachbegriffe oder anderes Vokabular hinterlegen, um die Erkennung zu verbessern, ohne das Modell neu trainieren zu müssen.

Für laufende Gespräche bietet Mistral Voxtral Mini Transcribe Realtime 3 an. Nach Angaben des Unternehmens liefert das Modell in mehr als 35 Sprachen Transkripte mit einer Verzögerung von unter 500 Millisekunden. Es erkennt zudem, wann eine Person mit dem Sprechen fertig ist. Das soll Pausen verkürzen und voreilige Unterbrechungen durch den Agenten vermeiden.

Voxtral Mini TTS 3 erzeugt Sprache in mehr als 35 Sprachen und 50 Dialekten. Mistral zufolge passt das Modell Tempo, Betonung und emotionale Färbung an den Gesprächskontext an. Zusätzlich bietet das Unternehmen Voice Cloning sowie die Funktion Pro Voice an. Sie soll eine Stimme und ihren Stil anhand von 30 Minuten Audiomaterial nachbilden können.

Das auf LiveKit basierende SDK erlaubt es Entwicklern, Sprachmodell, Stimme und Sprache unabhängig voneinander auszutauschen. Mistral gibt an, dass ein vollständiger Gesprächszug weniger als eine Sekunde dauern kann.

Voxtral 3 ist über die Mistral-API sowie für den Betrieb auf eigener Infrastruktur verfügbar. Die Preise beginnen bei 0,0035 US-Dollar pro Minute für die Transkription im Stapelbetrieb. Die Voice-Agent-API startet bei 0,04 US-Dollar pro Minute mit Mistral Small 4 als Modell für die Schlussfolgerungen.