Microsoft führt seine Copilot Vision-Funktion auf Windows und mobilen Plattformen ein und erweitert damit die Fähigkeiten des KI-Assistenten über Webbrowser hinaus. Die bisher auf Edge-Webseiten beschränkte Copilot Vision kann jetzt Echtzeit-Videos von Mobilkameras analysieren und mit Inhalten in Windows-Anwendungen interagieren.
Die erweiterten Sehfähigkeiten lassen Copilot praktische Hilfestellungen bieten, etwa Tipps zur Pflanzenpflege oder Wohnungseinrichtung durch die Kamera auf iOS- und Android-Geräten. Auf Windows führt die KI Nutzer durch Softwarefunktionen oder analysiert Fotos und Webseiten, die gerade betrachtet werden.
Dieses Update ist Teil einer umfassenderen Erweiterung des Microsoft-KI-Assistenten mit mehreren neuen Funktionen:
- Gedächtnis und Personalisierung: Copilot speichert Nutzerpräferenzen und Details für maßgeschneiderte Antworten
- Webbasierte Aktionen: Ähnlich wie OpenAIs Operator kann Copilot jetzt Aufgaben wie Ticketbuchungen oder Einkäufe abschließen
- Recherchefähigkeiten: Die KI analysiert mehrere Dokumente für komplexe Projekte und organisiert Informationen auf einer einheitlichen Oberfläche
Microsoft stellt klar, dass sich Copilot Vision von der Recall-Funktion auf Copilot Plus PCs unterscheidet. Während Recall automatisch Snapshots erfasst, wenn aktiviert, funktioniert Vision eher wie Bildschirmfreigabe in einem Microsoft Teams-Anruf.
Die mobile Version ist sofort verfügbar, während Windows-Nutzer die Funktion zunächst im Windows Insider-Programm nächste Woche sehen werden, bevor sie breiter ausgerollt wird.