ByteDance Seedance 2.5 ermöglicht längere KI-Videos und präzise Bearbeitung

ByteDance hat Seedance 2.5 vorgestellt, ein Modell zur Videogenerierung mit längeren Clips, mehr Referenzmaterial und genauer steuerbaren Änderungen. ByteDance kündigt das Modell in einem offiziellen Beitrag des Seed-Blogs an und beschreibt es als Schritt von einzelnen Videoclips hin zu vollständiger produzierten audiovisuellen Inhalten.

Das Modell erstellt laut ByteDance in einem Durchgang Videos mit Ton von bis zu 30 Sekunden Länge. Im Vergleich zur Vorgängerversion ist das eine Verdopplung. Anschließend lassen sich Clips mehrfach verlängern. Dabei sollen Figuren, Umgebung, Erzähltempo und Ton über mehrere Abschnitte hinweg erhalten bleiben.

Das kann für Teams interessant sein, die Inhalte für soziale Netzwerke, Werbekonzepte, Schulungen oder Storyboards produzieren. Statt viele einzelne Clips zusammenzusetzen, können sie versuchen, zusammenhängende Szenen mit Kamerabewegungen und einer kleinen Handlung zu erzeugen. ByteDance zufolge kann Seedance 2.5 innerhalb von 30 Sekunden eine Geschichte mit Anfang, Entwicklung und Abschluss strukturieren.

Mehr Materialien als Vorlage möglich

Seedance 2.5 verarbeitet in einer Anfrage deutlich mehr Ausgangsmaterial. Nutzer können bis zu 30 Bilder, zehn Videoclips und zehn Audiodateien als Referenzen hochladen. Das Modell soll diese Vorlagen für Aussehen und Stimmen von Figuren, Schauplätze, Requisiten, Bildaufbau, Stil und Bewegungen nutzen können.

ByteDance richtet diese Funktion auf aufwendigere Szenen aus, in denen mehrere Personen und Orte einheitlich erscheinen sollen. Als Beispiele nennt das Unternehmen Konzertaufnahmen, Opernszenen und Animationsfilme. Referenzbilder können dabei einzelne Darsteller, den Veranstaltungsort oder weitere Figuren festlegen.

Ausgebaut wurde auch die Funktion für sogenannte Clay Renders. Dabei liefert ein Kreativteam ein einfaches, nicht texturiertes 3D-Modell. Es bestimmt etwa Kamerapositionen, Bewegungsabläufe, räumliche Anordnung und die Platzierung der Figuren im Bild. Seedance 2.5 soll daraus ein fertiges Video mit Materialien, Licht und gewünschter Bildsprache erzeugen. Laut ByteDance berücksichtigt das Modell räumliche Informationen auch bei Schatten, Lichtrichtung und Farbtemperatur.

Änderungen nach Sekundenangabe

Ein weiterer Schwerpunkt liegt auf der Bearbeitung. Seedance 2.5 unterstützt Anweisungen mit genauen Zeitangaben. Nutzer können somit festlegen, was in bestimmten Sekunden eines Clips passieren soll. Sie können Kameraperspektive, Bewegung, Handlung und Tempo während der Erstellung vorgeben. Nach der Generierung sollen sich einzelne Elemente gezielt ändern lassen.

ByteDance nennt außerdem Bearbeitungen mit Greenscreen, Veränderungen der Kameraführung und Änderungen anhand von Referenzen. In einem Beispiel wird die Umgebung einer Person ersetzt, während die Hauptfigur erhalten bleibt. Das System soll Kleidung, Haare, Gangart und Licht an die neue Umgebung anpassen, damit die Figur glaubwürdig in das Bild passt.

Für Content-Teams könnten solche Werkzeuge den Aufwand senken, wenn nur ein Detail geändert werden muss. Statt den gesamten Clip neu zu erstellen, ließe sich ein einzelner Abschnitt überarbeiten. ByteDance räumt jedoch ein, dass es weiterhin Problempunkte gibt. Besonders komplexe Bewegungen und Szenen mit mehreren miteinander agierenden Figuren seien etwa noch nicht immer physikalisch plausibel oder stabil.

Seedance 2.5 wird zunächst über die Dienste Jimeng AI und Doubao Pro bereitgestellt. Einen API-Zugang will ByteDance später über BytePlus ModelArk anbieten. Neben Film, Werbung und anderen Kreativaufgaben sieht das Unternehmen Einsatzfelder in Bildung, Industriesimulationen, Robotiktraining und bei der Erzeugung von Daten für autonomes Fahren.