Neuer KI-Router lernt aus Feedback und senkt Kosten

Ein neues Open-Source-Framework namens Agent-as-a-Router soll die Auswahl von KI-Modellen intelligenter und günstiger machen. Ben Dickson berichtet bei VentureBeat, dass die konkrete Umsetzung namens ACRouter sowohl starre Routing-Systeme schlägt als auch die verbreitete Strategie, standardmäßig teure Modelle wie Claude Opus zu nutzen.

Unternehmen nutzen Model Routing, um einfache Aufgaben an günstige, schnelle Modelle zu schicken. Komplexe Aufgaben gehen an teure Spitzenmodelle. Bisher basierte dieses Routing auf festen Regeln oder auf Klassifikatoren, die mit vergangenen Daten trainiert wurden. Beide Methoden teilen eine Schwäche: Sie erfahren nie, ob das gewählte Modell die Aufgabe tatsächlich erfolgreich gelöst hat.

ACRouter will diese Lücke mit einer Context-Action-Feedback-Schleife schließen. Das System durchsucht sein Gedächtnis nach ähnlichen früheren Aufgaben, wählt ein Modell aus, führt die Aufgabe aus und speichert anschließend, ob sie erfolgreich war. Dieses Feedback prägt künftige Entscheidungen. Halluziniert ein Open-Source-Modell etwa einen Datenbankspaltennamen und lässt eine SQL-Abfrage scheitern, merkt sich der Router dies. Ähnliche Abfragen schickt er künftig an ein stärkeres Modell.

Günstiger ohne Qualitätsverlust

In Tests mit rund 10.000 Coding- und Agentenaufgaben gewann kein einzelnes Spitzenmodell in jeder Kategorie. Starre Router schickten Nischenaufgaben immer wieder an die falschen Modelle, weil sie Fehlschläge nicht erkennen konnten. ACRouter passte sein Routing dagegen nach jedem negativen Feedback-Signal an.

Bei Aufgaben innerhalb der Trainingsverteilung kostete der komplette Testlauf mit ACRouter 13,21 US-Dollar, verglichen mit 34,02 US-Dollar bei durchgehender Nutzung von Claude Opus. Das entspricht einer Ersparnis um das 2,6-Fache. Der Ansatz funktioniert am besten bei überprüfbaren Aufgaben wie Programmieren, wo Erfolg oder Misserfolg eindeutig sind. Für subjektive Arbeiten wie kreatives Schreiben bringe das System laut der Forschenden keinen Vorteil. Code und Modellgewichte stehen unter der Apache-2.0-Lizenz zur Verfügung.