Google DeepMind hat ein neues, spezialisiertes KI-Modell veröffentlicht, mit dem Software-Agenten grafische Benutzeroberflächen bedienen können. In einem offiziellen Beitrag berichtet Google DeepMind, dass das „Gemini 2.5 Computer Use“-Modell einer KI ermöglicht, Aufgaben auf Webseiten und in mobilen Apps wie ein Mensch durch Klicken, Tippen und Scrollen zu erledigen.
Das Modell analysiert eine Nutzeranfrage zusammen mit einem Bildschirmfoto der aktuellen Anwendung. Anschließend bestimmt es die nächste Aktion, etwa das Ausfüllen eines Formulars oder die Auswahl aus einem Menü. Nach der Ausführung erhält es ein neues Bildschirmfoto und wiederholt den Vorgang, bis die Aufgabe abgeschlossen ist. Laut dem Unternehmen können Agenten so durch komplexe Webseiten navigieren, interaktive Elemente nutzen und sich auch in geschützten Bereichen anmelden.
Google gibt an, dass das Modell bei mehreren Tests für die Steuerung von Web- und Mobilanwendungen besser als führende Alternativen abschneidet und dabei eine geringere Verzögerung aufweist. Erste Tester setzen das System bereits für die Automatisierung von Arbeitsabläufen, persönliche Assistenten und Softwaretests ein. Um Sicherheitsrisiken zu begegnen, enthält das Modell integrierte Schutzmaßnahmen und einen Dienst, der jede geplante Aktion vor der Ausführung prüft. Entwickler können zudem für riskante Aktionen wie einen Kauf eine Nutzerbestätigung vorschreiben. Das Modell ist ab sofort als öffentliche Vorschau für Entwickler verfügbar.
