Studie: KI-Benchmarks erfassen Großteil der tatsächlich geleisteten Arbeit nicht

Gängige KI-Benchmarks liefern kaum Hinweise darauf, wie gut Modelle die meisten Aufgaben in der US-Wirtschaft erledigen können. Zu diesem Ergebnis kommt Mercor in einer neuen Auswertung. Mercor beschreibt im Benchmark Map, dass rund 90 Prozent der Arbeitszeit in den USA auf Tätigkeiten entfallen, die in den untersuchten Tests wenig oder gar nicht vorkommen.

Das Unternehmen ordnete 29 öffentliche und eigene Benchmarks der O*NET-Datenbank des US-Arbeitsministeriums zu. Diese Datenbank umfasst 923 Berufe und 18.797 zugehörige Aufgaben. Nur bei 208 Berufen war mindestens eine Aufgabe durch fünf oder mehr Benchmark-Prompts abgedeckt. Auf Ebene einzelner Aufgaben erfüllten nur 924 dieses Kriterium.

Nach Einschätzung von Mercor erschwert diese Lücke es Unternehmen, Beschäftigten und politischen Entscheidungsträgern, die tatsächliche Leistungsfähigkeit von KI-Systemen im Arbeitsalltag zu bewerten. Ein Benchmark könne einzelne Tätigkeiten gut prüfen, aber dennoch wenig über einen ganzen Beruf aussagen.

Große und KI-nahe Berufsfelder stehen im Vordergrund

Die Abdeckung ist laut Auswertung deutlich unausgewogen. Aufgaben, die als besonders von KI betroffen eingestuft werden, erscheinen etwa sechsmal häufiger in den Benchmarks als andere Aufgaben. Auch Berufe mit einer hohen gesamten Lohnsumme sind überdurchschnittlich vertreten, selbst wenn der Einfluss von KI herausgerechnet wird.

Davon profitieren vor allem Bereiche wie Softwareentwicklung, Finanzanalyse und Rechtsberatung. Mercor verweist auf einen Unterschied innerhalb der Rechtsbranche: Aufgaben von Anwälten werden oft getestet, Tätigkeiten von Rechtsanwaltsfachangestellten oder Gerichtsschreibern dagegen kaum, obwohl sie ähnlich stark von KI beeinflusst sein können.

Auch besonders wichtige O*NET-Aufgaben werden sechs- bis zehnmal häufiger abgedeckt als weniger wichtige. Mercor hält diese Schwerpunktsetzung angesichts begrenzter Ressourcen für nachvollziehbar. Sie hinterlasse jedoch erhebliche blinde Flecken, vor allem bei kleineren Wissensberufen mit mittleren Einkommen.

Das Unternehmen betont Grenzen der Untersuchung. Die 29 ausgewählten Benchmarks bilden nicht den gesamten Markt ab, und die Auswahl nach wirtschaftlicher Relevanz enthält Ermessensentscheidungen. Zudem lassen sich körperliche Tätigkeiten mit heutigen digitalen Tests nur schwer messen. Mercor will den Index erweitern und genauere Kennzahlen für einzelne Berufe entwickeln.