Dubbing v2: ElevenLabs bringt KI-Synchronisation auf ein neues Niveau

Das KI-Unternehmen ElevenLabs hat Dubbing v2 veröffentlicht, ein neues Modell zur automatischen Videosynchronisation. Imogen Mulliner und Jakub Lichman schreiben bei ElevenLabs, dass das System direkt auf die originale Sprachaufnahme zugreift, statt sich auf ein Transkript zu stützen. So sollen Tonlage, Tempo und emotionaler Ausdruck des Sprechers in mehr als 90 Sprachen übertragen werden.

Bisherige KI-Synchronisationstools basieren vor allem auf Texttranskripten. Dabei gehen feine Qualitäten menschlicher Sprache verloren: Emotion, Betonung und Rhythmus lassen sich aus Text nur schwer rekonstruieren. Dubbing v2 soll dieses Problem lösen, indem das Modell die Originalaufnahme direkt analysiert und die klanglichen Eigenschaften in die Übersetzung überträgt.

Synchronisation, Skalierung und Zugänglichkeit

Das Modell enthält eine Synchronisationsfunktion, die Beginn, Ende und Tempo der übersetzten Sprache automatisch am Original ausrichtet. ElevenLabs zufolge reduziert dies den manuellen Nachbearbeitungsaufwand erheblich.

Das Unternehmen positioniert das Tool als günstige Alternative zur professionellen Synchronisation, die nach eigenen Angaben Hunderte von Dollar pro Minute kosten kann und üblicherweise Übersetzer, Sprecher und Toningenieure erfordert.

Für wen ist das Tool gedacht

• Content Creator können YouTube-Videos und andere Inhalte über die Plattform ElevenCreative lokalisieren. Gleichzeitig startet ein Creator Dubbing Partner Program mit vergünstigtem Zugang.
• Marketingteams können internationale Kampagnen anpassen, ohne den emotionalen Ton der Originalproduktion zu verlieren.
• Studios und Sender können Dubbing v2 über ElevenProductions nutzen, das das KI-Modell mit menschlichen Übersetzern, professionellem Voice-Casting und Audiomischung kombiniert.

Dubbing v2 ist ab sofort in ElevenCreative und ElevenProductions verfügbar. In einem begrenzten Einführungszeitraum bietet ElevenLabs je nach Abonnementstufe kostenlosen Nutzungszugang. Ein API-Zugang soll laut Unternehmen in Kürze folgen.