Moonshot AI veröffentlicht Kimi K3, das bislang größte Open-Source-KI-Modell
Das Pekinger Start-up Moonshot AI hat Kimi K3 veröffentlicht. Das Unternehmen bezeichnet das Modell in einem offiziellen Blogbeitrag als das weltweit erste offene KI-Modell der 3-Billionen-Parameter-Klasse. Kimi K3 hat 2,8 Billionen Parameter. Es basiert auf zwei neuen Architekturbausteinen: Kimi Delta Attention und Attention Residuals. Das Modell verfügt zudem über ein Kontextfenster von einer Million Tokens …