Das französische KI-Unternehmen Mistral hat Voxtral TTS veröffentlicht, ein Open-Weight-Text-to-Speech-Modell für den Unternehmenseinsatz. Mögliche Anwendungsgebiete sind Kundendienst, Vertrieb und Echtzeit-Übersetzung. Anders als Konkurrenten wie ElevenLabs, Deepgram und OpenAI stellt Mistral die vollständigen Modellgewichte zur Verfügung. Unternehmen können das Modell auf ihrer eigenen Infrastruktur betreiben und müssen keine Daten an Dritte übermitteln.
Das Modell basiert auf einer Architektur mit 3,4 Milliarden Parametern und benötigt nach der Optimierung für den Einsatz rund drei Gigabyte Arbeitsspeicher. Laut Mistral läuft es in Echtzeit auf Laptops, Smartphones und älterer Hardware. Es unterstützt neun Sprachen: Englisch, Französisch, Deutsch, Spanisch, Niederländisch, Portugiesisch, Italienisch, Hindi und Arabisch.
Voxtral TTS kann eine individuelle Stimme anhand von weniger als fünf Sekunden Referenzaudio anpassen. Es wechselt zwischen Sprachen, ohne dabei die stimmlichen Eigenschaften des Sprechers zu verlieren. Mistral gibt an, dass das Modell die erste Audioausgabe nach 90 Millisekunden liefert und Sprache mit sechsfacher Echtzeit-Geschwindigkeit erzeugt.
In von Mistral durchgeführten Tests mit menschlichen Bewertenden bevorzugten diese Voxtral TTS gegenüber ElevenLabs Flash v2.5 in rund 63 Prozent der Fälle bei Standardstimmen und in knapp 70 Prozent bei der individuellen Stimmanpassung. ElevenLabs hat sich dazu bisher nicht geäußert.
Pierre Stock, bei Mistral verantwortlich für Wissenschaft und Betrieb, bezeichnete Audio als zentrale Schnittstelle für KI-Agenten. „Wir sehen Audio als große Wette und als entscheidende, vielleicht sogar als einzige künftige Schnittstelle zu allen KI-Modellen“, sagte er gegenüber VentureBeat.
Voxtral TTS ergänzt das bestehende Speech-to-Text-Modell Voxtral Transcribe und bringt Mistral einer vollständigen Sprach-Pipeline für Unternehmenskunden näher.
Quellen: TechCrunch, VentureBeat
