Temperature (dt. Temperatur) bezeichnet bei Large Language Models (LLM) und anderen generativen KI-Systemen einen wichtigen Steuerungsparameter, der die Zufälligkeit und Kreativität der Ausgaben beeinflusst. Der Wert liegt typischerweise zwischen 0 und 1, wobei 0 für sehr deterministische (vorhersagbare) und 1 für sehr zufällige Antworten steht. Bei einer niedrigen Temperature wiederholt das System stets die wahrscheinlichsten …
Die Zahl der Parameter eines Large Language Models (LLMs) ist ein Anzeichen für seine potenzielle Leistungsfähigkeit. Das frei verfügbare Smaug-72B hat beispielsweise 72 Milliarden Parameter. Was aber bedeutet diese Zahl? Dazu ist es als erstes wichtig zu verstehen, dass ein LLM anhand großer Textmengen trainiert wird. Das Ziel des Modells ist es letztlich, das nächste …
Fine Tuning bezeichnet das nachträgliche Optimieren eines vortrainierten KI-Modells auf eine bestimmte Aufgabe oder ein Fachvokabular. Beim Training dieser Modelle wurden zunächst sehr umfangreiche Datenmengen aus dem Internet verarbeitet, um ein generelles Verständnis zu erlernen. Fine Tuning passt dieses generelle Wissen dann gezielt für einen konkreten Anwendungsfall an. Ein Beispiel: Ein Versicherungsunternehmen möchte einen KI-basierten …
Angelehnt an das „Fair Trade“-Gütesiegel gibt es nun eine gemeinnützige Organisation, die „Fairly Trained“-KI-Angebote auszeichnet. Eine Grundvoraussetzung ist es etwa, Lizenzen für Trainingsmaterial zu erwerben, anstatt sich einfach kostenlos zu bedienen.
Wenn es um KI-Inhalte und das deutsche Urheberrecht geht, stellen sich im Grunde zwei Fragen: Habe ich das Urheberrecht an den von mir erstellten Inhalten? Für die erste Frage lohnt sich ein Blick in das Urheberrechtsgesetz. Dort heißt es in Paragraph 2: „Werke im Sinne dieses Gesetzes sind nur persönliche geistige Schöpfungen.“ Daraus ließe sich interpretieren: Übernehme …
RAG (Retrieval-Augmented Generation) bezeichnet eine Technik, bei der KI-Sprachmodelle mit zusätzlichen, externen Informationsquellen angereichert werden. Dabei werden die Antworten des KI-Systems nicht nur aus seinem ursprünglichen Training generiert, sondern auch durch gezielt abgerufene (retrieved) aktuelle oder spezifische Daten ergänzt (augmented). Man kann sich das wie einen Experten vorstellen, der nicht nur aus seinem Gedächtnis spricht, …