Die Zahl der Parameter eines Large Language Models (LLMs) ist ein Anzeichen für seine potenzielle Leistungsfähigkeit. Das frei verfügbare Smaug-72B hat beispielsweise 72 Milliarden Parameter.
Was aber bedeutet diese Zahl? Dazu ist es als erstes wichtig zu verstehen, dass ein LLM anhand großer Textmengen trainiert wird. Das Ziel des Modells ist es letztlich, das nächste Wort in einem Satz vorherzusagen – man gibt ihm also einige Wörter vor und es versucht zu bestimmen, welches das nächste Wort sein sollte.
Um genaue Vorhersagen zu treffen, muss das Modell die Komplexität der menschlichen Sprache möglichst detailliert erfassen. An dieser Stelle kommen die Parameter ins Spiel: Jeder Parameter ist vergleichbar mit einem Regler, der während des Trainingsprozesses angepasst wird.
Je mehr Parameter, desto mehr Möglichkeiten hat das Modell, die Nuancen der Sprache zu erfassen. Es kann komplexere Muster lernen.
Mehr Parameter führen deshalb in der Regel zu genaueren Vorhersagen, erfordern aber zugleich deutlich mehr Daten und Rechenleistung, um das Modell zu trainieren und zu nutzen.
Zugleich ist dies kein absoluter Wert. Ein Modell mit mehr Parametern gibt nicht automatisch und in jedem Fall bessere Antworten als eines mit weniger Parametern.
