Meta Platforms hat quantisierte Versionen seiner Llama 3.2 1B und 3B Modelle veröffentlicht, die laut Unternehmensangaben einen reduzierten Speicherbedarf, schnellere On-Device-Inferenz, Genauigkeit und Portabilität bieten sollen. Die Modelle wurden in enger Zusammenarbeit mit Qualcomm und MediaTek entwickelt und sind auf SoCs mit Arm-CPUs verfügbar. Meta gibt an, dass die durchschnittliche Modellgröße um 56% und der …
Qualcomm hat den Snapdragon 8 Elite vorgestellt, der laut Unternehmen die schnellste mobile CPU der Welt ist. Der Chipsatz verfügt über Qualcomms Oryon-CPU der zweiten Generation und soll eine neue Ära der On-Device-KI einläuten. Wie Dean Takahashi für VentureBeat berichtet, ermöglicht der Prozessor komplexe multimodale KI-Anwendungen direkt auf dem Smartphone, wobei der Datenschutz im Vordergrund …
Die KI-Bildgenerierungssoftware ComfyUI ist in der Version 1.0 erschienen und bietet nun eine Desktop-Version für Windows, macOS und Linux. Zum Hintergrund: ComfyUI ermöglicht es dir, komplexe Bildgenerierungspipelines direkt auf dem eigenen Rechner umzusetzen. Im Gegensatz zu Cloud-basierten Lösungen bietet die Software volle Kontrolle über den Prozess und die eigenen Daten. Die brandneue Desktop-Version befindet sich …
Nvidia hat ein neues KI-Modell, Llama-3.1-Nemotron-70B-Instruct, vorgestellt, das bestehende Modelle von OpenAI und anderen Anbietern übertrifft und einen fortgesetzten Wandel in der KI-Strategie des Unternehmens zeigt. Das Modell, das auf Hugging Face verfügbar ist, erzielte beeindruckende Benchmark-Ergebnisse und positioniert Nvidia als wettbewerbsfähigen Akteur im Bereich Sprachverständnis und -generierung. Diese Entwicklung zeigt Nvidias Wandel von einem …
Die französische KI-Firma Mistral hat neue generative KI-Modelle für Laptops und Smartphones vorgestellt. Die als „Les Ministraux“ bezeichneten Modelle sind für verschiedene Anwendungen wie Texterstellung oder die Zusammenarbeit mit leistungsfähigeren Modellen optimiert. Kyle Wiggers berichtet für TechCrunch, dass zwei Varianten verfügbar sind: Ministral 3B und Ministral 8B, beide mit einem Kontextfenster von 128.000 Token. Die …
Forscher nutzen offenbar zunehmend kleine KI-Modelle auf ihren eigenen Computern statt die Angebote der großen KI-Services wie ChatGPT. Wie Nature berichtet, ermöglichen frei verfügbare Tools wie Llama oder Phi-3 es Wissenschaftlern, KI-Modelle lokal laufen zu lassen. Dies bietet Vorteile wie Kosteneinsparungen, Datenschutz und Reproduzierbarkeit. Die lokalen KI-Modelle werden dabei immer leistungsfähiger und können bereits mit …
Google will die Genauigkeit seiner KI-Modelle verbessern. Um „Halluzinationen“ zu vermeiden, arbeitet das Unternehmen mit Partnern wie Moody’s, Thomson Reuters und ZoomInfo zusammen. Sie sollen KI-Systeme mit aktuellen Informationen füttern. Ein neuer „Confidence Score“ soll außerdem anzeigen, wie sicher die KI ist, eine korrekte Antwort gegeben zu haben. Google veröffentlicht mit Gemma 2 darüber hinaus eine neue Reihe leichter KI-Modelle. …
Forscher erzielen große Fortschritte bei der Entwicklung von 1-Bit-LLMs, die trotz deutlich geringerem Speicherbedarf und Energieverbrauch eine ähnliche Leistung wie ihre größeren Pendants erreichen können. Diese Entwicklung könnte die Tür für komplexere KI-Anwendungen auf alltäglichen Geräten wie Smartphones öffnen, da sie weniger Rechenleistung und Energie benötigen.
Mit dem neuen Raspberry Pi AI Kit für 70 US-Dollar können Nutzer KI-Anwendungen für visuelle Aufgaben mit dem Kleinstcomputer umsetzen. Das Kit ermöglicht etwa Objekterkennung, Segmentierung und Posenschätzung in Echtzeit und mit geringem Stromverbrauch, wodurch sich der Raspberry Pi 5 für lokale KI-Anwendungen eignen könnte.
Intel hat mit dem „Lunar Lake“-Prozessor einen völlig überarbeiteten Laptop-Chip für KI-Anwendungen vorgestellt, der ohne separate Speichermodule auskommt und stattdessen bis zu 32 GB LPDDR5X-Speicher direkt im Chippaket integriert. Durch zahlreiche Optimierungen verspricht Intel im Vergleich zum Vorgänger Meteor Lake bis zu 14 Prozent mehr CPU-Leistung bei gleichem Takt, 50 Prozent mehr Grafikleistung und bis zu 60 …