Forschung

Dieses winzige Zusatzmodul könnte ein Problem von KI-Agenten lösen: ihr schlechtes Gedächtnis

Forscher haben ein schlankes Speichermodul für KI-Agenten entwickelt, das Informationen über lange Interaktionen hinweg behält. Es kommt ohne größere Kontextfenster und ohne externe Datenbanksysteme aus. Das Modul trägt den Namen Delta-Mem und erweitert ein bestehendes Sprachmodell um lediglich 0,12 Prozent zusätzliche Parameter. Dabei übertrifft es deutlich größere Alternativen bei gedächtnisintensiven Aufgaben, berichtet Ben Dickson für …

Weiterlesen …

Forscher veröffentlichen „talkie“, ein Sprachmodell auf Basis von Texten aus dem Jahr 1930

Ein neues Sprachmodell namens „talkie“ zeigt, wie künstliche Intelligenz aussieht, wenn sie ausschließlich auf historischen Texten trainiert wird. Das Modell basiert auf 13 Milliarden Parametern und nutzt Daten aus der Zeit um 1930. Seine Antworten verbinden stilistisch überzeugende Texte mit sachlichen Fehlern. Der offizielle Vorstellungspost beschreibt talkie als eine Art Vintage-KI. Die Ausgaben des Modells …

Weiterlesen …

Google TurboQuant kann KI-Kosten spürbar verringern

Google Research hat TurboQuant veröffentlicht, einen neuen Kompressionsalgorithmus für große Sprachmodelle. Laut des Unternehmens lässt sich der Key-Value-Cache eines Modells damit auf mindestens ein Sechstel reduzieren. Zudem wird die Attention-Berechnung – ein zentraler Verarbeitungsschritt – um das bis zu Achtfache beschleunigt, ohne dass das Modell neu trainiert werden muss oder an Präzision verliert. Um zu …

Weiterlesen …

Warum dein KI-Assistent dieses Jahr klüger wurde, aber immer noch an simplen Aufgaben scheitert

Die Entwicklung großer Sprachmodelle hat im Jahr 2025 grundlegende Veränderungen durchlaufen. Neue Trainingsmethoden und überraschende Fähigkeiten offenbaren eine fundamental andere Form von Intelligenz als erwartet. KI-Forscher Andrej Karpathy schreibt in seinem Blog über sechs große Veränderungen, die das Jahr prägten. Die bedeutendste Neuerung ist eine Trainingstechnik namens Reinforcement Learning from Verifiable Rewards (RLVR). Sie hat …

Weiterlesen …

Wahrheitsdroge für AI: Logik und Selbstauskunft gegen Halluzinationen

Zwei große Tech-Unternehmen gehen eines der hartnäckigsten Probleme künstlicher Intelligenz an: AI-Systeme davon abzuhalten, Dinge zu erfinden oder ihre Fehler zu verbergen. OpenAI und Amazon haben jeweils eigene Ansätze entwickelt, um Large Language Models ehrlicher und zuverlässiger zu machen. OpenAIs Wahrheitsserum OpenAI-Forscher haben eine Technik namens „confessions“ eingeführt, die wie ein Wahrheitsserum für AI-Modelle funktioniert. …

Weiterlesen …

Forscher entwickeln Sprachmodelle aus historischen Texten

Wissenschaftler der Universität Zürich und der Universität zu Köln erstellen große Sprachmodelle, die ausschließlich auf historischen Dokumenten bis zu bestimmten Daten trainiert wurden. Das Team um Daniel Göttlich, Dominik Loibner, Guohui Jiang und Hans-Joachim Voth beschreibt das Projekt auf GitHub. Die Modelle heißen Ranke-4B und verfügen über vier Milliarden Parameter. Sie wurden auf 80 Milliarden …

Weiterlesen …

NYU-Forscher entwickeln KI-Architektur für schnellere und bessere Bilderzeugung

Forscher der New York University haben eine neue KI-Architektur vorgestellt, die Bilder qualitativ hochwertiger und effizienter erzeugt. Ben Dickson berichtet für VentureBeat, dass das Modell mit dem Namen Representation Autoencoders oder RAE das semantische Verständnis einer KI verbessert, was zu besseren Ergebnissen führt. Die neue Methode bricht mit gängigen Ansätzen für Diffusionsmodelle, der Technologie hinter …

Weiterlesen …

Google-Forscher stellen KI-Modell vor, das kontinuierlich lernt

​Forscher bei Google haben mit „Nested Learning“ ein neues KI-Konzept entwickelt. Ben Dickson berichtet für VentureBeat, dass es eine der größten Schwächen aktueller großer Sprachmodelle (LLMs) beheben soll: ihre Unfähigkeit, nach dem Training neues Wissen zu erlernen. Heutige Sprachmodelle sind nach ihrer Trainingsphase weitgehend statisch. Ihr Wissen beschränkt sich auf die ursprünglichen Trainingsdaten und die …

Weiterlesen …

Diese einfache Anweisung macht KI kreativer

Forscher haben eine Methode namens Verbalized Sampling entwickelt, die mit einem einzigen Satz generative KI-Modelle zu vielfältigeren und kreativeren Antworten anregt. Die Technik funktioniert bei großen Sprachmodellen wie GPT-4 und Claude, ohne dass diese neu trainiert werden müssen. Carl Franzen berichtet für VentureBeat, dass diese Methode das bekannte Problem löst, dass KI-Modelle oft repetitive Antworten …

Weiterlesen …

MIT-Forscher entwickeln KI-Modelle, die sich selbst verbessern

Forscher am Massachusetts Institute of Technology (MIT) haben eine Technik entwickelt, mit der sich große Sprachmodelle eigenständig verbessern können. Darüber berichtet Carl Franzen für VentureBeat. Die Methode namens SEAL ermöglicht es einer KI, ihre eigenen Trainingsdaten autonom zu erzeugen. Anstatt auf externe Datensätze angewiesen zu sein, erstellen Modelle mit dem SEAL-System Anweisungen für sich selbst. …

Weiterlesen …

×