Forscher von XJDR haben eine neue Technik namens Entropix entwickelt, die die logischen Denkfähigkeiten in Sprachmodellen verbessern soll. Sie trifft intelligentere Entscheidungen, wenn das Modell unsicher ist. Thariq Shihipar stellt sie in einem Blogpost vor. Die Methode verwendet adaptive Stichproben auf der Grundlage von zwei Metriken, Entropie und Varentropie, die die Unsicherheit in den Vorhersagen des Modells messen.
Je nach Grad und Art der Unsicherheit schlägt Entropix unterschiedliche Methoden für die Auswahl des nächsten Tokens vor, wie z. B. das Verzweigen von Vorhersagen, das Einfügen von „Denk“-Tokens oder die Anpassung der Temperature. Obwohl die Technik noch nicht in großem Umfang evaluiert wurde, deutet der Post darauf hin, dass sie eine vielversprechende Richtung zur Verbesserung logischen Denkens in Sprachmodellen sein könnte, ohne dass dafür enorme Budgets erforderlich sind.
