Llama

Cerebras Inference erzielt Durchbruch bei der Leistung von Llama 3.1-70B

Cerebras hat ein bedeutendes Update für seine Cerebras Inference-Plattform vorgestellt, die nun das Sprachmodell Llama 3.1-70B mit beeindruckenden 2.100 Token pro Sekunde ausführt – eine dreifache Leistungssteigerung im Vergleich zur vorherigen Version. Laut James Wang vom offiziellen Cerebras-Blog ist diese Leistung 16-mal schneller als die schnellste GPU-Lösung und 8-mal schneller als GPUs, die das wesentlich … Weiterlesen …

Meta veröffentlicht KI-Modelle für Mobilgeräte

Meta Platforms hat quantisierte Versionen seiner Llama 3.2 1B und 3B Modelle veröffentlicht, die laut Unternehmensangaben einen reduzierten Speicherbedarf, schnellere On-Device-Inferenz, Genauigkeit und Portabilität bieten sollen. Die Modelle wurden in enger Zusammenarbeit mit Qualcomm und MediaTek entwickelt und sind auf SoCs mit Arm-CPUs verfügbar. Meta gibt an, dass die durchschnittliche Modellgröße um 56% und der … Weiterlesen …

Nvidia veröffentlicht leistungsstarkes und offenes KI-Modell

Nvidia hat ein neues KI-Modell, Llama-3.1-Nemotron-70B-Instruct, vorgestellt, das bestehende Modelle von OpenAI und anderen Anbietern übertrifft und einen fortgesetzten Wandel in der KI-Strategie des Unternehmens zeigt. Das Modell, das auf Hugging Face verfügbar ist, erzielte beeindruckende Benchmark-Ergebnisse und positioniert Nvidia als wettbewerbsfähigen Akteur im Bereich Sprachverständnis und -generierung. Diese Entwicklung zeigt Nvidias Wandel von einem … Weiterlesen …

INTELLECT-1 wird dezentral trainiert

Das dezentrale Training eines 10-Milliarden-Parameter-Modells namens INTELLECT-1 ist gestartet. Jeder kann Rechenleistung beisteuern und sich beteiligen. INTELLECT-1 basiert auf der Llama-3-Architektur und wird mit einem hochwertigen Open-Source-Datensatz namens Fineweb-Edu von Hugging Face trainiert. Der Datensatz umfasst über sechs Billionen Token und besteht aus Fineweb-edu (55%), DLCM (20%), Stack v2 (20%), OpenWebMath (5%). Für das Training … Weiterlesen …

Wie teuer ist eine eigene Conversational AI?

Unternehmen können erhebliche Kosteneinsparungen erzielen, wenn sie ihre eigene Conversational AI auf Basis des Open-Source-Modells Llama 3 aufbauen. Das geht aus einer Analyse von Sam Oliver, Gründer von OpenFi, hervor, die auf VentureBeat veröffentlicht wurde. Laut Oliver kostet eine durchschnittliche Konversation mit Llama 3 etwa 0,08 US-Dollar, während dieselbe Konversation mit GPT-4 von OpenAI rund … Weiterlesen …

Reflection 70B korrigiert eigene Fehler

Ein neues Open-Source-KI-Modell namens Reflection 70B wurde von Matt Shumer vorgestellt, Mitbegründer des KI-Startups HyperWrite. Wie Shumer auf der Plattform X bekannt gab, übertrifft das Modell in Benchmarks führende kommerzielle Systeme. Reflection 70B basiert auf Metas Llama 3.1-70B Instruct und nutzt eine neue Technik zur Selbstkorrektur von Fehlern: Das Modell kann seine eigenen Fehler erkennen … Weiterlesen …

Metas beeindruckende ChatGPT-Alternative Llama 3

Meta stellt mit Llama 3 die neueste Generation seiner Sprachmodelle vor, die sie frei zum Download zur Verfügung stellen. Die Modelle sollen in puncto Leistung viele Konkurrenten übertreffen und selbst mit einigen der besten proprietären Modelle mithalten können. Llama 3 glänzt offenbar insbesondere bei Multiple-Choice-Fragen, Programmieraufgaben und mathematischen Problemen. Neben den Modellen selbst präsentiert Meta einen eigenständigen … Weiterlesen …