Vergleich sieht große Unterschiede bei Kosten und Qualität von KI-Modellen

Eine Untersuchung von Netlify zeigt: Für dieselbe einfache Website können KI-Modelle sehr unterschiedlich viele Credits verbrauchen. Ein höherer Verbrauch führt zudem nicht automatisch zu einem sichtbar besseren Ergebnis. Elad Rosenheim schreibt für Netlify, dass das Unternehmen elf Modelle mit demselben Auftrag getestet hat, um Qualität, Gestaltung und Kosten von KI-gestützten Programmieragenten gegenüberzustellen. Die Ergebnisse sind aber auch für Nicht-Programmierer interessant: „teurer“ und „größer“ ist eben nicht immer „besser“.

Die Aufgabe war bewusst einfach gehalten. Jedes Modell sollte eine einseitige Website für ein Café erstellen. Gefordert waren Öffnungszeiten, Adresse, eine kurze Speisekarte und ein Foto. Der Prompt stellte zudem klar, dass sich die Inhalte nur durch manuelle Bearbeitung ändern sollen. Eine Datenbank oder ein Content Management System war also nicht erforderlich.

Netlify ließ jedes Modell dreimal mit den jeweiligen Standardeinstellungen arbeiten. Für die technische Auswertung nutzt das Unternehmen das selbst veröffentlichte Werkzeug AXIS. Es prüft unter anderem, ob Projekte funktionieren und ob die Plattformdienste sinnvoll eingesetzt werden. Beim Café-Test standen jedoch vor allem die Gestaltung, die Inhalte und der Verbrauch von Credits im Mittelpunkt.

Zwischen 2,4 und 519 Credits pro Durchlauf

Den höchsten durchschnittlichen Verbrauch hatte Claude Opus 5 mit 519 Credits. Ein einzelner Durchlauf verzerrte den Wert deutlich, denn er benötigte 1.055 Credits. Die beiden anderen Versuche kamen auf 253 und 249 Credits. Laut Netlify enthielt das besonders teure Ergebnis viele visuelle Details, eine eigene Karte und einen funktionierenden Dunkelmodus. Daraus lasse sich aber kein verlässlicher Zusammenhang zwischen Kosten und Qualität ableiten.

Am unteren Ende lag DeepSeek V4 Flash mit durchschnittlich nur 2,4 Credits. Die Ergebnisse waren unterschiedlich. Nach Einschätzung von Netlify wirkte eines der sehr günstigen Resultate dennoch ähnlich wie eine Seite eines deutlich teureren Modells aus der mittleren Leistungsklasse. Kimi K2.7 Code benötigte im Schnitt 19 Credits, GLM 5.2 kam auf 27, DeepSeek V4 Pro auf 37 und GPT 5.6 Terra auf 39 Credits.

Auch im Mittelfeld zeigten sich klare Unterschiede. GPT 5.6 Sol lief standardmäßig im Modus mit geringem Denkaufwand und verbrauchte durchschnittlich 141 Credits. Netlify bewertet dessen Inhalte und grundlegende Gestaltungsentscheidungen in diesem Test besser als jene von Claude Sonnet 5, das im Schnitt 143 Credits benötigte. Gemini 3.6 Flash erreichte 103 Credits und lieferte modernere Seiten als Gemini 3.1 Pro. Letzteres kam mit 53 Credits aus, blieb aber laut Netlify gestalterisch sehr schlicht.

GPT 5.6 Terra zeigte trotz des niedrigeren Preises eine eigene, nicht zwingend schlechtere Bildsprache. Einzelne Seiten hatten allerdings Fehler, etwa ein fehlendes Bild oder Text mit zu geringem Kontrast. Bei DeepSeek V4 Pro verwies eine Seite auf eine Bilddatei, die im erzeugten Projekt nicht vorhanden war.

Für komplexe Anwendungen zählen andere Fähigkeiten

Netlify betont, dass eine statische Website nur einen kleinen Teil der möglichen Aufgaben abbildet. Bei umfangreicheren Anwendungen sei entscheidend, ob ein Modell die passenden Dienste erkennt und korrekt einbindet. Dazu gehören Datenbanken, Nutzerkonten, Datei-Uploads, KI-Funktionen, Sicherheit und Tests.

Unterschiede gibt es auch bei den Eingaben, die ein Modell verarbeiten kann. GLM 5.2 arbeitet laut Netlify nur mit Text und kann keine hochgeladenen Screenshots als gestalterische Vorlage nutzen. Die getesteten Kimi-Modelle können das. Für Teams, die sich an einem bestehenden Markenauftritt orientieren wollen, kann das wichtig sein.

Ein eindeutiger Sieger ergibt sich aus dem Vergleich nicht. Netlify rät Nutzern mit begrenztem Budget eher zu günstigeren Modellen und mehreren gezielten Folgeanweisungen. Wer bereits beim ersten Versuch einen möglichst vollständigen Entwurf erwartet, kann ein teureres Spitzenmodell wählen. Das Unternehmen will weitere Tests veröffentlichen, darunter Vergleiche zu Datenbanken, Bild-Uploads und KI-gestützten Webanwendungen.