Untersuchung: KI klingt oft besonders sicher und selbstbewusst wenn sie falschliegt

Nutzer und Teams sollten KI-Antworten an überprüfbaren Ergebnissen messen, bevor diese Entscheidungen beeinflussen. Arun Mishra schreibt für VentureBeat, dass übliche Qualitätsprüfungen häufig selbstsichere Fehler übersehen. Prüfer bewerten oft, ob eine Antwort plausibel wirkt, nicht ob sie nachweislich stimmt.

Das gewinnt an Bedeutung, weil große Sprachmodelle längst nicht nur Texte formulieren oder zusammenfassen. Sie unterstützen Beschäftigte in Unternehmen bei der Analyse von Datenfehlern, bei der Prüfung von Compliance-Hinweisen und bei der Priorisierung von Aufgaben. Eine überzeugend formulierte, aber falsche Ursachenanalyse kann dabei zu Fehlentscheidungen führen.

Bekannte Ursachen als Prüfmaßstab

Mishra schildert den Aufbau eines Eval-Harness für ein KI-Werkzeug, das Abweichungen bei Datenmigrationen erklären soll. Statt einzelne Antworten nur durch Fachleute prüfen zu lassen, erzeugte er Testfälle mit bewusst gesetzten und daher bekannten Ursachen. Dazu gehörten Änderungen an Datenbankschemata, Fehler in der Transformationslogik und verändertes Verhalten eines Quellsystems.

Die ersten Fälle waren jedoch zu eindeutig. Die tatsächliche Ursache war leichter erkennbar als in realen Vorfällen. Deshalb ergänzte Mishra Störsignale, gleichzeitig auftretende Hinweise und mehrere denkbare Ursachen.

Die Bewertung erfasste zwei Punkte: Ob das Modell die richtige Ursache überhaupt nennt und auf welchem Platz sie in einer Rangfolge möglicher Erklärungen erscheint. Eine korrekte Ursache auf Rang drei hilft schließlich weniger als dieselbe Ursache auf Rang eins.

Hohe Sicherheit bedeutete nicht hohe Trefferquote

Bei klaren Änderungen an Datenbankschemata schnitt das Modell laut Mishra gut ab. Schwieriger waren Fehler in der Transformationslogik. Das Modell erkannte häufig die passende Problemgruppe, schrieb den Fehler aber der falschen konkreten Änderung zu. Besonders oft lagen die Antworten bei überlappenden Signalen selbstsicher falsch.

Für Unternehmen folgt daraus: Menschliche Prüfung erkennt unpassende oder schlecht formulierte Antworten. Sie belegt aber nicht zuverlässig deren Richtigkeit. Nötig sind realistische Fälle mit bekannten Lösungen, eindeutige Qualitätskriterien und eine systematische Auswertung vor dem Einsatz in wichtigen Arbeitsabläufen.