Neuer Rekord: Anthropics Fable 5.2 meistert 41 Prozent der Freelancer-Aufträge in einem Test

Anthropics KI-Modell Fable 5.2 hat in einem Test 41,3 Prozent realer Freelancer-Projekte erfolgreich abgeschlossen. Das ist ein deutlicher Fortschritt gegenüber früheren KI-Systemen. Der Test zeigt aber auch, dass KI-Agenten bei vielen anspruchsvollen Aufgaben noch scheitern.

Der Remote Labor Index prüft, ob ein KI-Agent Arbeit in einer Qualität abliefert, die ein zahlender Kunde akzeptieren würde. Der direkte Vorgänger Fable 5.1 erreichte knapp 18 Prozent. Als der Test vor etwa einem Jahr startete, löste das damals führende System sogar nur 2,5 Prozent der Aufgaben, berichtet The Decoder.

Auch die aktuellen Konkurrenten liegen deutlich zurück. Anthropics Opus 5.5 kommt auf 21,25 Prozent, OpenAIs GPT 6 Astra auf 20,83 Prozent. Scale Labs hat den Test gemeinsam mit dem Center for AI Safety entwickelt. Laut Scale Labs macht Fable 5.2 besonders große Fortschritte bei Audio und Musik, Architektur und Innenarchitektur sowie bei 3D-Modellen.

Echte Aufträge, menschliche Kontrolle

Die Testaufgaben stammen aus 240 abgeschlossenen Projekten von 358 verifizierten Fachleuten auf der Plattform Upwork. Dazu gehören Videobearbeitung, CAD-Konstruktion, Spieleentwicklung und Datenanalyse. Der Gesamtwert der Aufträge lag bei rund 144.000 Dollar. Menschliche Freelancer benötigten dafür durchschnittlich knapp 29 Stunden pro Projekt.

Für die Bearbeitung erhalten die KI-Agenten virtuelle Arbeitsumgebungen mit professioneller Software und speziellen Werkzeugen zur Bild-, Audio- und Videoerzeugung. Anschließend öffnen geschulte Fachleute die eingereichten Dateien und vergleichen sie mit den ursprünglichen Arbeiten. Versuche, diese Prüfung durch KI zu automatisieren, waren laut den Forschenden bisher nicht zuverlässig. Die KI-Prüfer bewerteten oberflächlich überzeugende Dateien trotz technischer Mängel zu positiv.

Fast 50 der von Fable 5.2 erfolgreich bearbeiteten Projekte hatte zuvor kein getesteter Agent gelöst. Schwierig bleiben insbesondere Industriedesign und Animationen. Zu den typischen Fehlern zählen unvollständige Ergebnisse, beschädigte Dateien und widersprüchliche Entwürfe.

Vielseitig, aber nicht immer selbstkritisch

Der Entrepreneurship-Professor Ethan Mollick hat Fable 5.2 vor der öffentlichen Freigabe erprobt. In One Useful Thing bezeichnet er das Modell als „fast“ eine allgemeine künstliche Intelligenz. Dabei verwendet er eine eingeschränkte Definition: Eine solche KI wäre bei den meisten geistigen Aufgaben am Computer so gut wie die meisten menschlichen Fachleute. Körperliche Arbeit und der Umgang mit anderen Menschen bleiben dabei außen vor.

Mollick zufolge erstellte das Modell unter anderem einen plausiblen Geschäftsplan, eine Website für einen Literaturkurs und den Entwurf einer wissenschaftlichen Arbeit. Das Unternehmen ließ er nicht tatsächlich gründen. Die Ergebnisse der Forschungsarbeit hatte noch kein Mensch vollständig überprüft. Zudem registrierte das Modell die Studie entgegen seinem Auftrag nicht vorab.

Bei längeren Projekten zeigte sich ein weiteres Problem. In einem Experiment bauten KI-Agenten Hunderte programmierte 3D-Welten. Ein immer längeres Regelwerk und aufwendige Freigaben bremsten die Arbeit jedoch aus. Mollick griff ein und ließ den Prozess von anderen Agenten überprüfen.

Für Mollick liegt die Schwäche nicht allein in sachlichen Fehlern. Das Modell erkannte oft nicht selbst, wenn seine Arbeit zu lang, eintönig oder wenig ansprechend war. Menschliche Rückmeldungen verbesserten die Ergebnisse, auch wenn die KI den Großteil der Arbeit übernahm.

Quellen

• Anthropic’s Fable 5.2 completes 41 percent of real freelance jobs, up from 2.5 percent a year ago – The Decoder
• Fable 5.2 and Jagged AGI – One Useful Thing