Forscher bei Google haben mit „Nested Learning“ ein neues KI-Konzept entwickelt. Ben Dickson berichtet für VentureBeat, dass es eine der größten Schwächen aktueller großer Sprachmodelle (LLMs) beheben soll: ihre Unfähigkeit, nach dem Training neues Wissen zu erlernen.
Heutige Sprachmodelle sind nach ihrer Trainingsphase weitgehend statisch. Ihr Wissen beschränkt sich auf die ursprünglichen Trainingsdaten und die Informationen im aktuellen Kontextfenster. Die Forscher vergleichen dies mit einer Person, die kein neues Langzeitgedächtnis bilden kann. Sobald Informationen das Kontextfenster verlassen, gehen sie für das Modell verloren.
Das Konzept des Nested Learning betrachtet das Training eines Modells als ein System aus vernetzten Lernprozessen. Diese Prozesse laufen auf verschiedenen Ebenen und mit unterschiedlichen Geschwindigkeiten ab, ähnlich wie im menschlichen Gehirn.
Auf dieser Grundlage entwickelte das Team das Modell „Hope“. Es nutzt ein spezielles Speichersystem, dessen verschiedene Bereiche unterschiedlich schnell aktualisiert werden. Dadurch kann sich das Modell an neue Informationen anpassen. Laut den Forschern zeigte Hope in ersten Tests eine höhere Genauigkeit und bessere Ergebnisse bei Sprach- und Logikaufgaben als herkömmliche Modelle. Besonders gut schnitt es bei Aufgaben ab, bei denen es eine bestimmte Information in einem langen Text finden musste.
Obwohl der Ansatz möglicherweise Anpassungen an der KI-Hardware erfordert, könnte er zu deutlich effizienteren und anpassungsfähigeren KI-Systemen für die Praxis führen.
