KI-Kontextfenster sind weit kleiner als beworben, warnt ein Entwickler

KI-Unternehmen werben mit immer größeren Kontextfenstern für ihre Sprachmodelle. Ein Entwickler argumentiert jedoch, dass der tatsächlich nutzbare Bereich weit kleiner ist als die beworbenen Zahlen vermuten lassen. Garrit Franke schreibt in seinem Blog Garrit’s Notes, dass die Leistung eines Modells ab etwa 100.000 Token merklich nachlässt. Das gilt unabhängig davon, ob das beworbene Limit bei 200.000, einer Million oder zwei Millionen Token liegt.

Franke unterscheidet zwischen einer „Smart Zone“ und einer „Dumb Zone“ im Kontextfenster. In der Smart Zone verarbeitet das Modell Informationen zuverlässig. In der Dumb Zone lässt die Aufmerksamkeit nach und das Modell verliert frühere Anweisungen aus dem Blick. Forschungsprojekte wie RULER sowie ein Bericht von Chroma zum Phänomen „Context Rot“ stützen diese Einschätzung: Die Leistung verschlechtert sich schrittweise, je mehr das Kontextfenster gefüllt wird.

Siehe dazu auch: Warum ist mein KI-Assistent plötzlich so viel dümmer als vorher?

Ein Budget, kein Freifahrtschein

Besonders problematisch ist die Situation bei sogenannten Coding Agents. Diese KI-Werkzeuge lesen Dateien, führen Tests aus und suchen Fehler im Code. Dabei verbrauchen sie Token schnell. Wenn eine Sitzung lang wirkt, arbeitet das Modell oft bereits im degradierten Bereich.

Manche Werkzeuge versuchen, das automatisch abzufangen. Claude Code etwa setzt auf Auto-Compaction: Wird eine Sitzung zu lang, fasst der Agent die bisherige Geschichte zusammen und beginnt mit einem neuen Kontext. Franke hält das für hilfreich, benennt aber einen Schwachpunkt. Die Zusammenfassung wird von einem Modell erstellt, das sich bereits in der Dumb Zone befindet. Die Übergabe ist damit weniger zuverlässig.

Sein eigener Ansatz ist manuell. Er öffnet eine neue Sitzung und übergibt ihr eine selbst verfasste Spezifikation mit genau den Informationen, die wirklich wichtig sind. Das Kontextfenster behandelt er wie ein Budget, nicht wie einen unbegrenzten Speicher.

Strukturierte Arbeitsabläufe können dabei helfen. Projekte wie obra/superpowers und mattpocock/skills organisieren die Arbeit mit Agents rund um kleine, benannte Dokumente: Pläne, Briefings und Übergabenotizen. So kann jede neue Sitzung sauber und gut informiert starten.