Bis zu 60 Prozent besser: Dieses KI-Framework hilft Agenten, ihre Fehler zu beheben

Forschende des Shanghai Artificial Intelligence Laboratory haben ein Framework namens Self-Harness entwickelt. Es erlaubt KI-Agenten, die eigenen Betriebsregeln automatisch zu überarbeiten. Ben Dickson berichtet bei VentureBeat, dass das System in einem standardisierten Test die Leistung um 33 bis 60 Prozent steigerte.

Zum Verständnis hilft das Konzept des „Harness“: Diese Schicht umfasst Anweisungen, Werkzeuge, Gedächtniseinstellungen und Wiederherstellungsregeln rund um ein Sprachmodell. Sie bestimmt, wie ein Agent sich verhält. Viele Fehler entstehen nicht im Modell selbst, sondern in dieser Steuerungsschicht. Bisher haben Entwicklerinnen und Entwickler diese Probleme manuell behoben, oft auf Basis von Intuition statt systematischer Tests.

So verbessert sich das System selbst

Self-Harness arbeitet in einem dreistufigen Kreislauf:

• Der Agent führt Aufgaben aus und wertet aus, wo er scheitert. Er sucht nach wiederkehrenden Mustern.
• Auf dieser Grundlage schlägt er gezielte Änderungen an den eigenen Betriebsregeln vor.
• Jeder Vorschlag wird getestet. Nur Änderungen, die die Leistung verbessern und keine neuen Probleme erzeugen, werden übernommen.

In den Tests verfing sich ein Modell immer wieder in Endlosschleifen. Self-Harness erkannte das Muster und ergänzte eine Regel: Nach 50 Werkzeugaufrufen muss der Agent seine Vorgehensweise wechseln. Ein anderes Modell wiederholte fehlerhafte Befehle so lange, bis es versehentlich notwendige Dateien löschte. Das System führte daraufhin ein Verbot für doppelte Befehle und eine automatische Dateiwiederherstellung ein.

Erstautor Hangfan Zhang betont, dass Self-Harness am besten dort eingesetzt werden sollte, wo Fehler messbar sind und Experimente risikoarm sind. Gut geeignet sind Programmieraufgaben, interne Workflows und DevOps-Pipelines. Medizinische Entscheidungen, Rechtsberatung oder sicherheitskritische Infrastruktur sind hingegen ungeeignet.

Zhang stellt klar: Menschliche Fachkräfte bleiben wichtig. Ihre Aufgabe verlagert sich jedoch. Statt einzelner Korrekturen an Prompts gestalten sie künftig die Feedbacksysteme, die eine automatisierte Verbesserung erst ermöglichen.