Luma AI hat Ray3 Modify veröffentlicht, ein neues Video-Generierungsmodell, das Nutzern erlaubt, bestehendes Filmmaterial zu bearbeiten und dabei die ursprüngliche Performance zu erhalten. Das Tool ist über die Dream Machine Plattform des Unternehmens verfügbar.
Ray3 Modify adressiert eine Einschränkung in der KI-Videogenerierung: die Schwierigkeit, Timing, Bewegung und emotionale Intention bei der Transformation von Szenen beizubehalten. Das Modell nutzt von Menschen geführtes Input-Material als Grundlage und ermöglicht der KI, realen Bewegungen, Timing und emotionalem Ausdruck zu folgen, anstatt Inhalte von Grund auf zu generieren.
Kernfunktionen für Videoproduktion
Das neue Modell führt mehrere Features ein, die für professionelle Workflows konzipiert sind. Nutzer können jetzt Start- und Endbilder bereitstellen, um Video-Übergänge zu steuern und räumliche Kontinuität zu wahren. Eine Charakterreferenz-Funktion erlaubt es Kreativen, benutzerdefinierte Charakteridentitäten auf die ursprüngliche Performance eines Schauspielers anzuwenden und dabei Kostüm und Erscheinungsbild konsistent zu halten.
Nach Angaben von Luma AI bewahrt das Modell die ursprüngliche Bewegung, das Timing, die Blickrichtung und den emotionalen Ausdruck eines Schauspielers, während visuelle Attribute und Umgebungen transformiert werden. Das Unternehmen erklärt, dass die verbesserte Architektur eine zuverlässigere Einhaltung von physischer Bewegung und Komposition liefert.
„Generative Video-Modelle sind unglaublich ausdrucksstark, aber auch schwer zu kontrollieren“, sagte Amit Jain, CEO und Mitgründer von Luma AI. „Das bedeutet, dass kreative Teams Performances mit einer Kamera aufnehmen und dann sofort modifizieren können, um sie an jeden vorstellbaren Ort zu versetzen, Kostüme zu ändern oder sogar die Szene mit KI neu zu drehen, ohne den physischen Dreh zu wiederholen.“
Wie das System funktioniert
Nutzer können Videomaterial von bis zu 10 Sekunden hochladen und ein Charakterreferenzbild bereitstellen. Das System passt die Charakterreferenz an den visuellen Stil und die Beleuchtung des Input-Videos an. Ein Modify-Strength-Regler kontrolliert, wie genau das System dem Original-Material folgt, von subtilen Änderungen wie Retexturierung bis zu abstrakteren Transformationen.
Das Tool erlaubt mehrere Workflow-Kombinationen. Nutzer können Videos allein mit Charakterreferenzen modifizieren, Keyframes mit Charakterreferenzen kombinieren oder den Referenzmodus für Text-to-Video-Generierung mit konsistenter Charakteridentität nutzen. Bei der Modifikation von Keyframes können Nutzer Anweisungen schreiben, die sowohl das Charakterbild als auch das Zielbild referenzieren.
Luma AI beschreibt das Modell als speziell entwickelt für hybride Workflows, bei denen die kreative Autorität beim Darsteller oder der Kamera beginnt und die KI diese Richtung erweitert oder transformiert. Das Unternehmen positioniert Ray3 Modify als Tool für Produktions-Workflows in Film, Werbung und Postproduktion.
Das Startup konkurriert mit Unternehmen wie Runway und Kling im Bereich der KI-Videogenerierung. Luma AI erhielt im November eine Finanzierung von 900 Millionen Dollar unter Führung von Humain, mit Beteiligung von Andreessen Horowitz, Amplify Partners und Matrix Partners. Die Modelle des Unternehmens werden von Entertainment-Studios, Werbeagenturen und Technologiepartnern wie Adobe und AWS genutzt.
Quellen: Luma AI, Luma AI, TechCrunch
