OpenAI startet Decisions API für schnelle Entscheidungen mit Bewertung

OpenAI stellt mit der Decisions API ein neues Werkzeug vor, das aus vorgegebenen Antworten auswählt und dazu einen Konfidenzwert liefert. Frederic Lardinois berichtet für The New Stack, dass die Schnittstelle zunächst nur in einer eingeschränkten Vorschau verfügbar ist. Eine breitere Einführung soll in den kommenden Tagen folgen.

Grundlage ist laut OpenAI das Modell Luna. Das Unternehmen bezeichnet es als kleinstes und günstigstes Modell seines aktuellen Angebots. Angaben zu Preisen fehlen bisher. Offen ist auch, wie viele Antwortmöglichkeiten eine Anfrage enthalten darf und ob Unternehmen das Modell mit eigenen Daten anpassen können.

Für Auswahl statt Unterhaltung

Die Decisions API ist nicht für Gesprächsantworten gedacht. Sie soll eine Wahl aus einer klar definierten Menge von Optionen treffen. Entwickler geben dafür eine Frage, mögliche Antworten und passenden Kontext vor. Das Modell liefert dann eine Auswahl samt Konfidenzwert. Dies alles ist eine Antwort auf Jev von TypeSafe.

Das kann sich unter anderem für diese Aufgaben eignen:

• Inhalte automatisch Kategorien zuordnen
• Anfragen an den passenden Arbeitsablauf weiterleiten
• Den nächsten Schritt eines KI-Agenten auswählen
• Fälle erkennen, die eine menschliche Prüfung brauchen

OpenAI gibt für die API eine Antwortzeit von etwa 150 Millisekunden an. Eine vergleichbare Anfrage an GPT-6 Luna brauche laut Unternehmen etwa 1,6 Sekunden. Der Unterschied kann bei Anwendungen wichtig sein, die viele Anfragen in kurzer Zeit bearbeiten müssen.

Viele Teams nutzen heute allgemeine Sprachmodelle mit sorgfältig formulierten Prompts. Das Modell soll dann aus einer Liste auswählen. Teilweise dienen Wahrscheinlichkeiten einzelner Token als grober Ersatz für einen Konfidenzwert. Kleine Klassifikationsmodelle sind eine weitere Möglichkeit. Sie arbeiten schnell und günstig, benötigen aber gelabelte Daten. Bei neuen Kategorien müssen sie oft erneut trainiert werden.

Die Decisions API soll zwischen diesen Ansätzen liegen. Ob sie sich breit durchsetzt, hängt vor allem von Preis, Umfang und der Verlässlichkeit ihrer Konfidenzwerte ab.