Halluzination

Heutige Sprachmodelle sind vor allem darauf trainiert, hilfreiche und gut lesbare Antworten zu geben. Dabei kann es passieren, dass die KI Informationen erfindet, die zwar prima in den Text passen und faktisch aussehen, in Wirklichkeit aber frei erfunden sind. Solche Fehler werden oftmals als Halluzinationen bezeichnet. Vermeiden lassen sich solche Fehler etwa mit dem richtigen … Weiterlesen …

Alignment

Alignment (Ausrichtung) meint im Kontext von Künstlicher Intelligenz, sicherzustellen, dass die KI-Systeme so entwickelt werden, dass ihre Ziele und Aktionen mit den Werten und Interessen der Menschheit übereinstimmen. Eine nicht korrekt ausgerichtete KI könnte Ziele verfolgen, die zwar logisch aus ihrer Programmierung folgen, aber negative Auswirkungen auf die Menschheit haben. Dies wird vor allem wichtig, … Weiterlesen …

Edge AI

KI-Anwendungen laufen heute vor allem in der „Cloud“, also auf mächtigen, spezialisierten Computern in Rechenzentren. Das aber wird nach Meinung von Fachleuten nicht immer so bleiben. Ergänzend dazu werde es mehr und mehr kleine Modelle geben, die direkt auf den Geräten der Anwender:innen funktionieren – vom PC bis zum Smartphone. Das hört auf den Namen … Weiterlesen …

Open Weights

Manche KI-Anwendungen sind frei verfügbar. Man denke hier etwa an Sprachmodelle des französischen Anbieters Mistral oder an die Llama-Familie aus dem Hause Facebook/Meta. Allerdings ist es nicht korrekt, diese als „open source“ zu bezeichnen. Denn was man als Nutzer erhält, ist das Endergebnis des Trainings, der Kern eines Large Language Models, „Weights“ genannt. Nicht automatisch … Weiterlesen …

System Prompt

Kommerzielle KIs wie ChatGPT oder Claude haben einen meist unsichtbaren System Prompt, der dem Assistenten wichtige Regeln und Richtlinien erklärt. Der System Prompt beeinflusst also, wie sich eine KI verhält und ob sie beispielsweise bestimmte Anfragen verweigert. Ein Mitglied des Claude-Teams hat den System Prompt ihres Assistenten kürzlich auf Twitter/X veröffentlicht und Zeile für Zeile … Weiterlesen …

Merging

Merging bezeichnet im Kontext der generativen KI das Zusammenführen oder Verschmelzen verschiedener KI-Modelle oder deren Eigenschaften. Ähnlich wie bei einer Collage werden dabei die besten oder gewünschten Merkmale mehrerer Modelle in einem neuen Modell vereint. Ein praktisches Beispiel ist das Merging von verschiedenen Stable Diffusion-Modellen, bei dem etwa die Fähigkeit des einen Modells, Gesichter zu … Weiterlesen …

Multimodal

Multimodal (aus dem Lateinischen: multi = viel, mehrere und modus = Art und Weise) bezeichnet im Kontext der Künstlichen Intelligenz die Fähigkeit eines KI-Systems, verschiedene Arten von Eingaben oder „Modalitäten“ gleichzeitig zu verarbeiten und zu verstehen. Während frühere KI-Systeme sich meist auf eine einzige Form der Kommunikation beschränkten – etwa Text oder Bilder -, können … Weiterlesen …

Temperature

Temperature (dt. Temperatur) bezeichnet bei Large Language Models (LLM) und anderen generativen KI-Systemen einen wichtigen Steuerungsparameter, der die Zufälligkeit und Kreativität der Ausgaben beeinflusst. Der Wert liegt typischerweise zwischen 0 und 1, wobei 0 für sehr deterministische (vorhersagbare) und 1 für sehr zufällige Antworten steht. Bei einer niedrigen Temperature wiederholt das System stets die wahrscheinlichsten … Weiterlesen …

Parameter

Die Zahl der Parameter eines Large Language Models (LLMs) ist ein Anzeichen für seine potenzielle Leistungsfähigkeit. Das frei verfügbare Smaug-72B hat beispielsweise 72 Milliarden Parameter. Was aber bedeutet diese Zahl? Dazu ist es als erstes wichtig zu verstehen, dass ein LLM anhand großer Textmengen trainiert wird. Das Ziel des Modells ist es letztlich, das nächste … Weiterlesen …

Fine Tuning

Fine Tuning bezeichnet das nachträgliche Optimieren eines vortrainierten KI-Modells wie GPT-4 auf eine bestimmte Aufgabe oder ein Fachvokabular. Beim Training dieser Modelle wurden zunächst sehr umfangreiche Datenmengen aus dem Internet verarbeitet, um ein generelles Verständnis zu erlernen. Fine Tuning passt dieses generelle Wissen dann gezielt für einen konkreten Anwendungsfall an. Ein Beispiel: Ein Versicherungsunternehmen möchte … Weiterlesen …