World Labs Atlas erstellt aus wenigen Bildern steuerbare 3D-Szenen

World Labs hat mit Atlas ein multimodales KI-Modell vorgestellt, das Szenen erzeugen, räumlich rekonstruieren und simulieren soll. Das World-Labs-Team stellt Atlas in einem offiziellen Blogbeitrag vor. Das System verarbeitet Text, Bilder, Videos, Kamerapositionen und Tiefendaten gemeinsam als räumlichen Kontext.

Im Mittelpunkt steht die Kontrolle über die Kamera. Atlas kann laut World Labs aus einem oder mehreren Referenzbildern neue Ansichten und Videos erstellen. Nutzende sollen Kameraort, Blickrichtung und Bewegungsablauf direkt vorgeben können. Das unterscheidet sich von vielen Videomodellen, bei denen Kamerabewegungen vor allem per Text beschrieben werden. World Labs gibt an, dass Atlas Videos mit bis zu einer Minute Länge in 1440p erzeugen kann.

Damit richtet sich das Angebot an Kreativschaffende, die Bildfolgen genauer inszenieren wollen. Statt eine allgemeine Videoanweisung einzugeben, können sie eine Kamerafahrt planen und die KI durch die Szene führen lassen. Aus einem einzelnen Bild ergänzt Atlas dabei Bereiche, die nicht sichtbar waren. Solche Ergänzungen beruhen jedoch auf Annahmen des Modells und sind keine gesicherten Abbilder der Realität.

Rekonstruktion aus wenigen Aufnahmen

Atlas soll nicht nur erfundene Welten erzeugen, sondern auch reale Orte aus Bildmaterial nachbilden. Das Modell nimmt mehrere Fotos einer Szene auf und erstellt daraus neue Perspektiven. Nach Angaben von World Labs verringert sich der Anteil der ergänzten Inhalte, wenn mehr Aufnahmen vorliegen. Bereits zwei oder drei Bilder könnten oft eine realitätsnahe Rekonstruktion ermöglichen. Mit umfangreicheren Bildsammlungen von mehr als 100 Aufnahmen lasse sich ein Ort detaillierter abdecken.

Neben Bildern und Videos kann Atlas auch konkrete 3D-Daten ausgeben. World Labs nennt Punktwolken und 3D Gaussian Splats. Punktwolken bilden die Geometrie eines Raums ab. Gaussian Splats sind eine Darstellung, die sich für die schnelle Darstellung komplexer 3D-Szenen eignet. Solche Ergebnisse sind für Anwendungen in visuellen Effekten, Spielen, Design und Robotik relevant, weil sie nicht nur eine Ansicht, sondern ein begehbares digitales Modell liefern können.

World Labs bezeichnet Atlas als World Model. Gemeint ist ein System, das räumliche Strukturen und zeitliche Veränderungen gemeinsam erfassen soll. Als Beispiel nennt das Unternehmen Perspektivänderungen von Videos. Material aus drei bis fünf gewöhnlichen Kameras könne genügen, um eine Szene aus neuen Blickwinkeln darzustellen. Auch eingefrorene Zeitmomente im Stil von Bullet Time seien möglich.

Für die Robotik soll Atlas reale Aufnahmen in Simulationsumgebungen überführen. Das Modell kann laut World Labs Räume aus Handyvideos rekonstruieren und anschließend RGB-Bilder sowie Tiefendaten aus der Sicht eines simulierten Roboters erzeugen. Bei Greifaufgaben sollen sich zudem Objekte, Licht, Hintergründe und Bewegungen verändern lassen. So könnten vielfältige Trainings- und Testszenarien entstehen.

Modellaufbau und Verfügbarkeit

Atlas verbindet mehrere bekannte KI-Verfahren. Es arbeitet als autoregressiver Transformer und erzeugt Bestandteile einer Folge nacheinander. Zugleich nutzt es ein Diffusionsverfahren, bei dem ein Bild schrittweise aus Rauschen entsteht. Kameraposen gehören dabei direkt zu den Eingabedaten. Die räumliche Steuerung ist damit Teil der Architektur und nicht nur eine Textanweisung.

World Labs berichtet, Atlas schneide bei eigenen Tests zur kameragesteuerten Bildgenerierung und zur 3D-Rekonstruktion aus wenigen Ansichten besser ab als spezialisierte Modelle. Bei den Kameratests hätten externe menschliche Bewertende beurteilt, wie genau die Systeme vorgegebene Bewegungen umsetzen. Vollständige Benchmark-Daten und unabhängige Nachprüfungen enthält der Beitrag nicht.

Atlas startet zunächst im Early Access mit ausgewählten Partnern. World Labs plant, das Modell in künftige Versionen seines 3D-Produkts Marble und weitere Angebote zu integrieren.