Jev soll KI-Automatisierung schneller, günstiger und verlässlicher machen

TypeSafe AI hat mit Jev ein neues KI-Modell vorgestellt, das strukturierte Entscheidungen für Software treffen soll. Statt offene Texte zu schreiben, soll Jev Aufgaben wie Klassifizierung, Bewertung, Weiterleitung und Auswahl in einem vorgegebenen Format erledigen. Nach Angaben des Unternehmens liegt die Antwortzeit je nach Aufgabe zwischen 70 und 500 Millisekunden.

Das Modell richtet sich an Anwendungen, die keine frei formulierte Antwort benötigen. Ein Support-System könnte Jev etwa entscheiden lassen, ob eine Anfrage an das Abrechnungs-, Technik- oder ein anderes Team geht. Die Anwendung erhält dafür einen fest definierten Wert und eine Wahrscheinlichkeit, statt einen Text erst auswerten zu müssen.

TypeSafe bezeichnet diese Modellklasse als „System One Models“. Der Name verweist auf das Konzept des schnellen, intuitiven Denkens. Gründer Diogo Almeida beschreibt Jev als Schnittstelle für KI-Funktionen, auf die sich Software verlassen können soll.

Feste Antworten statt freier Text

Jev ist für abgegrenzte Entscheidungen gedacht. Dazu gehören das Sortieren von Nachrichten, das Herausziehen bestimmter Informationen aus Dokumenten, Risikobewertungen, die Auswahl des nächsten Schritts eines KI-Agenten oder die Prüfung von Antworten anderer Modelle.

Entwickler legen vor einer Anfrage fest, welche Antworten zulässig sind und wie das Ergebnis aufgebaut sein muss. TypeSafe erklärt, dass Jev alle Wahrscheinlichkeiten für diese Optionen parallel berechnet. Herkömmliche Large Language Models erzeugen Text hingegen meist Token für Token. Das macht sie vielseitig, erhöht aber auch die Laufzeit und das Risiko ungültiger Ausgaben.

Nach Angaben von TypeSafe kann Jev keine Typfehler erzeugen, weil das Antwortschema vorab feststeht. Diese Zusage bezieht sich auf die Form der Ausgabe, nicht automatisch auf die inhaltliche Richtigkeit. Ein formal gültiger Wert kann weiterhin eine falsche Entscheidung sein.

Mit dem eigenen Trainingsverfahren „Reinforcement Learning for Calibrated Decisions“ will das Unternehmen vor allem die Verlässlichkeit der Wahrscheinlichkeiten verbessern. Eine hohe Konfidenz soll demnach auch tatsächlich häufiger mit einer korrekten Entscheidung einhergehen. In der Praxis könnten Anwendungen unsichere Fälle an Menschen oder leistungsfähigere Modelle weitergeben.

Leistungswerte stammen bisher vor allem vom Anbieter

TypeSafe gibt an, Jev sei für passende Aufgaben 40- bis 200-mal schneller als führende Sprachmodelle. Der Preis für Eingabetokens liege bei 0,042 US-Dollar pro Million Tokens. In eigenen Workflow-Tests nennt das Unternehmen einen Geschwindigkeitsvorteil von 193,6 und einen Kostenvorteil von 444,6 gegenüber ausgewählten Sprachmodellen.

Diese Ergebnisse sind bislang nur eingeschränkt unabhängig überprüfbar. TypeSafe weist selbst darauf hin, dass Mitglieder des eigenen Teams die getesteten Arbeitsabläufe entwickelt haben. Außerdem wurden Vergleichsmodelle über eine spezielle Schnittstelle zu strukturierten Antworten gezwungen. Als Referenz dienten Antworten anderer Modelle, nicht in jedem Fall objektiv überprüfbare Ergebnisse.

Rund um Jev entstehen bereits Projekte für Browser-Steuerung, Desktop-Automatisierung, Spiele, Code-Suche und die Organisation von Transkripten. Das Community-Verzeichnis awesome-jev betont jedoch, dass Demo-Videos und geprüfte Quellverweise keine Sicherheitsprüfung und keinen Nachweis allgemeiner Zuverlässigkeit darstellen.

John Berryman von Arcturus Labs hält es für möglich, dass große Anbieter wie OpenAI ähnliche Funktionen zügig nachbauen können. Sprachmodelle treffen schon heute klassifizierende Entscheidungen, etwa bei der Auswahl von Tools oder strukturierten Ausgaben. Entscheidend für TypeSafe könnte deshalb weniger die Architektur sein als die Trainingsdaten und Verfahren, die zu besser kalibrierten Entscheidungen führen sollen.

Für Unternehmen liegt der mögliche Nutzen von Jev in klar abgegrenzten Arbeitsabläufen. Das Modell soll generative KI nicht ersetzen. Es könnte sie dort ergänzen, wo Anwendungen schnelle, maschinenlesbare und kontrollierbare Entscheidungen brauchen. Ob die versprochene Qualität auch außerhalb der eigenen Tests besteht, muss sich erst im praktischen Einsatz zeigen.

Quellen

• Introducing System One Models & Jev – TypeSafe AI
• Jev week one – Ben Tossell
• Jev – a curation of Jev demos on X, tools, skills, and integrations – GitHub
• OpenAI is well positioned to fast-follow Jev – Arcturus Labs