KI-Kontextfenster sind weit kleiner als beworben, warnt ein Entwickler
KI-Unternehmen werben mit immer größeren Kontextfenstern für ihre Sprachmodelle. Ein Entwickler argumentiert jedoch, dass der tatsächlich nutzbare Bereich weit kleiner ist als die beworbenen Zahlen vermuten lassen. Garrit Franke schreibt in seinem Blog Garrit’s Notes, dass die Leistung eines Modells ab etwa 100.000 Token merklich nachlässt. Das gilt unabhängig davon, ob das beworbene Limit bei …