Oft richtig, aber nicht gut genug: Googles KI-Überblicke im Test

Googles KI-Funktion „AI Overviews“ liefert in rund 91 Prozent der Fälle korrekte Antworten. Das klingt erst einmal gut, aber Tripp Mickle und Kollegen berichten für die New York Times, dass Google damit dennoch zig Millionen fehlerhafte Antworten pro Stunde ausgibt. Die Zeitung beauftragte das KI-Startup Oumi mit einer Analyse, die auf dem Branchenstandard SimpleQA basiert.

Oumi untersuchte 4.326 Suchanfragen zu zwei Zeitpunkten: zunächst mit dem Modell Gemini 2, dann mit dem leistungsstärkeren Gemini 3. Die Genauigkeit stieg von 85 auf 91 Prozent. Gleichzeitig wuchs der Anteil sogenannter „ungrounded“ Antworten deutlich. Das bedeutet: Die verlinkten Quellen stützen die gemachten Aussagen nicht vollständig. Dieser Anteil stieg von 37 auf 56 Prozent.

Auch die zitierten Quellen werfen Fragen auf. Facebook und Reddit gehören zu den vier am häufigsten genutzten Plattformen. Bei falschen Antworten wurde Facebook in 7 Prozent der Fälle zitiert, bei korrekten in 5 Prozent.

Die Analyse zeigt zudem konkrete Fehlermuster. Manchmal findet Google die richtige Quelle, interpretiert sie aber falsch. In einem Beispiel verlinkte das System auf eine Seite, die Yo-Yo Mas Aufnahme in die Classical Music Hall of Fame bestätigt, und erklärte gleichzeitig, eine solche Aufnahme existiere nicht.

Google bestreitet die Ergebnisse. Sprecher Ned Adriance bezeichnete die Studie als fehlerhaft und erklärte, sie spiegele nicht wider, wonach Nutzer tatsächlich suchten. Google empfiehlt, alle KI-generierten Antworten zu überprüfen.