Benchmarkwerte allein sagen wenig über die tatsächlichen Kosten von KI-Agenten aus

Hohe Benchmarkwerte garantieren weder niedrige Kosten noch verlässliche Ergebnisse bei KI-Agenten. Entscheidend sind oft Grenzen für Zeit und Tokens sowie die Kosten fehlgeschlagener Versuche.

Laurie Voss schreibt bei VentureBeat, dass sich dies am Beispiel von Alibabas Qwen 3.8-Max zeigt. Alibaba weist für Coding-Tests Zeitlimits von bis zu fünf Stunden aus. Bei einem Forschungsbenchmark sind es sogar bis zu zwölf Stunden. Das unabhängige Testsystem VulcanBench lässt dagegen nur 45 bis 60 Minuten zu. Unter diesen Bedingungen liegt Qwens Standardeinstellung in einem Vergleich am Ende des Feldes.

Der Unterschied ist wichtig, weil Reasoning-Modelle Tokens nicht nur für die sichtbare Antwort nutzen. Sie setzen sie auch für Planung und Prüfung ein. Ein Modell kann sein Tokenbudget verbrauchen, bevor es ein verwertbares Ergebnis ausgibt. Der Durchlauf verursacht dann Kosten, löst die Aufgabe aber nicht.

Erfolgskosten statt Tokenpreise vergleichen

Voss empfiehlt daher, die Kosten pro erfolgreich erledigter Aufgabe zu messen. Dabei werden alle Ausgaben, auch für fehlgeschlagene Versuche, durch die Zahl der Aufgaben geteilt, die eine festgelegte Qualitätsprüfung bestehen. So kann sich zeigen, dass ein teureres Modell oder eine niedrigere Reasoning-Stufe wirtschaftlicher arbeitet.

Ergebnisse von VulcanBench verdeutlichen zudem, dass mehr Rechenaufwand nicht immer hilft. Claude Opus 5 löste dort bei der niedrigsten Stufe 20 von 23 Aufgaben, bei hoher Stufe nur 18. Die hohe Stufe lieferte zwar weniger falsche Antworten. Sie lief jedoch häufiger in ein Zeitlimit. Ein Timeout zählt im Benchmark als nicht gelöste Aufgabe.

Unternehmen sollten deshalb für jeden Lauf den Grund eines Fehlschlags erfassen. Sie sollten ausgeschöpfte Budgets, Fehler bei der Prüfung und Fehler der Testumgebung getrennt ausweisen. Auch die einzelnen Reasoning-Stufen sollten getestet werden. Die Voreinstellung ist nicht automatisch die günstigste oder erfolgreichste Wahl. Wenn Antwortzeit keine feste Vorgabe ist, können Tokenlimits aussagekräftiger sein als reine Zeitlimits.