Lokale KI

SambaNova und Hugging Face erleichtern Bereitstellung von KI-Chatbots

SambaNova und Hugging Face haben eine neue Integration eingeführt, mit der Entwickler KI-Chatbots mit nur einem Klick bereitstellen können. Dadurch soll sich die Bereitstellungszeit von Stunden auf Minuten verkürzen. Die Integration unterstützt sowohl reine Text-Chatbots als auch multimodale Chatbots. Testergebnisse zeigen Verarbeitungsgeschwindigkeiten von bis zu 358 Token pro Sekunde auf uneingeschränkter Hardware. Um die Akzeptanz …

Weiterlesen …

Nützliches KI-Modell beschleunigt Spracherkennung bei hoher Genauigkeit

Das auf die Verbesserung der Mensch-Maschine-Kommunikation spezialisierte KI-Unternehmen Useful hat Moonshine als Open-Source-Modell veröffentlicht. Es soll die Latenzzeit von Sprachschnittstellen erheblich reduzieren und gleichzeitig die Genauigkeit von OpenAIs Whisper-Modell erreichen oder übertreffen. Laut Useful-Gründer Pete Warden liefert Moonshine Ergebnisse 1,7-mal schneller als Whisper. Dank des variablen Eingabefensters verarbeitet es kurze Audioclips fünfmal schneller. Der geringe …

Weiterlesen …

Meta veröffentlicht KI-Modelle für Mobilgeräte

Meta Platforms hat quantisierte Versionen seiner Llama 3.2 1B und 3B Modelle veröffentlicht, die laut Unternehmensangaben einen reduzierten Speicherbedarf, schnellere On-Device-Inferenz, Genauigkeit und Portabilität bieten sollen. Die Modelle wurden in enger Zusammenarbeit mit Qualcomm und MediaTek entwickelt und sind auf SoCs mit Arm-CPUs verfügbar. Meta gibt an, dass die durchschnittliche Modellgröße um 56% und der …

Weiterlesen …

Qualcomms Snapdragon 8 Elite bringt KI aufs Smartphone

Qualcomm hat den Snapdragon 8 Elite vorgestellt, der laut Unternehmen die schnellste mobile CPU der Welt ist. Der Chipsatz verfügt über Qualcomms Oryon-CPU der zweiten Generation und soll eine neue Ära der On-Device-KI einläuten. Wie Dean Takahashi für VentureBeat berichtet, ermöglicht der Prozessor komplexe multimodale KI-Anwendungen direkt auf dem Smartphone, wobei der Datenschutz im Vordergrund …

Weiterlesen …

ComfyUI V1: KI-Bilder direkt auf dem eigenen Rechner generieren

Die KI-Bildgenerierungssoftware ComfyUI ist in der Version 1.0 erschienen und bietet nun eine Desktop-Version für Windows, macOS und Linux. Zum Hintergrund: ComfyUI ermöglicht es dir, komplexe Bildgenerierungspipelines direkt auf dem eigenen Rechner umzusetzen. Im Gegensatz zu Cloud-basierten Lösungen bietet die Software volle Kontrolle über den Prozess und die eigenen Daten. Die brandneue Desktop-Version befindet sich …

Weiterlesen …

Nvidia veröffentlicht leistungsstarkes und offenes KI-Modell

Nvidia hat ein neues KI-Modell, Llama-3.1-Nemotron-70B-Instruct, vorgestellt, das bestehende Modelle von OpenAI und anderen Anbietern übertrifft und einen fortgesetzten Wandel in der KI-Strategie des Unternehmens zeigt. Das Modell, das auf Hugging Face verfügbar ist, erzielte beeindruckende Benchmark-Ergebnisse und positioniert Nvidia als wettbewerbsfähigen Akteur im Bereich Sprachverständnis und -generierung. Diese Entwicklung zeigt Nvidias Wandel von einem …

Weiterlesen …

Mistral zeigt kleine Modelle für Laptops und Smartphones

Die französische KI-Firma Mistral hat neue generative KI-Modelle für Laptops und Smartphones vorgestellt. Die als „Les Ministraux“ bezeichneten Modelle sind für verschiedene Anwendungen wie Texterstellung oder die Zusammenarbeit mit leistungsfähigeren Modellen optimiert. Kyle Wiggers berichtet für TechCrunch, dass zwei Varianten verfügbar sind: Ministral 3B und Ministral 8B, beide mit einem Kontextfenster von 128.000 Token. Die …

Weiterlesen …

Warum Forscher auf lokale KI setzen

Forscher nutzen offenbar zunehmend kleine KI-Modelle auf ihren eigenen Computern statt die Angebote der großen KI-Services wie ChatGPT. Wie Nature berichtet, ermöglichen frei verfügbare Tools wie Llama oder Phi-3 es Wissenschaftlern, KI-Modelle lokal laufen zu lassen. Dies bietet Vorteile wie Kosteneinsparungen, Datenschutz und Reproduzierbarkeit. Die lokalen KI-Modelle werden dabei immer leistungsfähiger und können bereits mit …

Weiterlesen …

Updates von Google und Meta

Google will die Genauigkeit seiner KI-Modelle verbessern. Um „Halluzinationen“ zu vermeiden, arbeitet das Unternehmen mit Partnern wie Moody’s, Thomson Reuters und ZoomInfo zusammen. Sie sollen KI-Systeme mit aktuellen Informationen füttern. Ein neuer „Confidence Score“ soll außerdem anzeigen, wie sicher die KI ist, eine korrekte Antwort gegeben zu haben. Google veröffentlicht mit Gemma 2 darüber hinaus eine neue Reihe leichter KI-Modelle. …

Weiterlesen …

Forscher arbeiten an besserer lokaler KI

Forscher erzielen große Fortschritte bei der Entwicklung von 1-Bit-LLMs, die trotz deutlich geringerem Speicherbedarf und Energieverbrauch eine ähnliche Leistung wie ihre größeren Pendants erreichen können. Diese Entwicklung könnte die Tür für komplexere KI-Anwendungen auf alltäglichen Geräten wie Smartphones öffnen, da sie weniger Rechenleistung und Energie benötigen.

×