Ein MIT-Spin-off namens Liquid AI hat neue KI-Modelle vorgestellt, die nicht auf der üblichen Transformer-Architektur basieren. Die sogenannten „Liquid Foundation Models“ (LFMs) übertreffen laut Unternehmen vergleichbare transformer-basierte Modelle in Leistung und Effizienz. Das gab Liquid AI in einer Ankündigung bekannt. Die Entwickler nutzten stattdessen Ansätze aus der Theorie dynamischer Systeme, Signalverarbeitung und numerischer linearer Algebra.
Die LFMs kommen in drei Größen: LFM 1.3B, LFM 3B und LFM 40B MoE. Sie sollen besonders speichereffizient sein. So benötigt das LFM-3B-Modell nur 16 GB Arbeitsspeicher, während Metas Llama-3.2-3B über 48 GB braucht. Laut Liquid AI übertrifft bereits die kleinste Variante LFM 1.3B die Leistung von Meta’s Llama 3.2-1.2B und Microsoft’s Phi-1.5 in vielen führenden Benchmarks, einschließlich des MMLU-Tests für Verständnis in MINT-Fächern.
Liquid AI zielt mit den neuen Modellen auf Anwendungen in Bereichen wie Finanzen, Biotechnologie und Unterhaltungselektronik ab. Die Modelle sind nicht Open Source, sondern nur über bestimmte Plattformen wie Lambda Chat oder Perplexity AI zugänglich. Das Unternehmen plant eine offizielle Produkteinführung am 23. Oktober 2024 am MIT. Bis dahin will Liquid AI eine Reihe technischer Blogbeiträge veröffentlichen und lädt Entwickler ein, die Modelle zu testen und Feedback zu geben.
Sources: Liquid AI, VentureBeat
