Lokale KI

Unternehmen setzen verstärkt auf multimodale KI-Suchtechnologie

Die Entwicklung von multimodalen RAG-Systemen gewinnt an Bedeutung für Unternehmen, die verschiedene Datentypen verarbeiten müssen. Diese Technologie ermöglicht die gleichzeitige Suche in Texten, Bildern und Videos. Experten empfehlen einen schrittweisen Einstieg in die Implementierung, schreibt Emilia David bei VentureBeat. Das Unternehmen Cohere hat sein Embed 3-Modell kürzlich erweitert und betont die Wichtigkeit einer gründlichen Datenvorbereitung. …

Weiterlesen …

Hugging Face veröffentlicht effiziente KI-Sprachmodelle für Mobilgeräte

Hugging Face hat mit SmolLM2 eine neue Familie kompakter Sprachmodelle vorgestellt, die speziell für den Einsatz auf Smartphones und Edge-Geräten mit begrenzter Rechenleistung und Speicherkapazität entwickelt wurden. Die unter der Apache 2.0-Lizenz veröffentlichten Modelle sind in drei Größen bis zu 1,7 Milliarden Parametern erhältlich. Trotz ihrer kompakten Größe erzielen sie beeindruckende Ergebnisse bei wichtigen Benchmarks …

Weiterlesen …

SambaNova und Hugging Face erleichtern Bereitstellung von KI-Chatbots

SambaNova und Hugging Face haben eine neue Integration eingeführt, mit der Entwickler KI-Chatbots mit nur einem Klick bereitstellen können. Dadurch soll sich die Bereitstellungszeit von Stunden auf Minuten verkürzen. Die Integration unterstützt sowohl reine Text-Chatbots als auch multimodale Chatbots. Testergebnisse zeigen Verarbeitungsgeschwindigkeiten von bis zu 358 Token pro Sekunde auf uneingeschränkter Hardware. Um die Akzeptanz …

Weiterlesen …

Nützliches KI-Modell beschleunigt Spracherkennung bei hoher Genauigkeit

Das auf die Verbesserung der Mensch-Maschine-Kommunikation spezialisierte KI-Unternehmen Useful hat Moonshine als Open-Source-Modell veröffentlicht. Es soll die Latenzzeit von Sprachschnittstellen erheblich reduzieren und gleichzeitig die Genauigkeit von OpenAIs Whisper-Modell erreichen oder übertreffen. Laut Useful-Gründer Pete Warden liefert Moonshine Ergebnisse 1,7-mal schneller als Whisper. Dank des variablen Eingabefensters verarbeitet es kurze Audioclips fünfmal schneller. Der geringe …

Weiterlesen …

Meta veröffentlicht KI-Modelle für Mobilgeräte

Meta Platforms hat quantisierte Versionen seiner Llama 3.2 1B und 3B Modelle veröffentlicht, die laut Unternehmensangaben einen reduzierten Speicherbedarf, schnellere On-Device-Inferenz, Genauigkeit und Portabilität bieten sollen. Die Modelle wurden in enger Zusammenarbeit mit Qualcomm und MediaTek entwickelt und sind auf SoCs mit Arm-CPUs verfügbar. Meta gibt an, dass die durchschnittliche Modellgröße um 56% und der …

Weiterlesen …

Qualcomms Snapdragon 8 Elite bringt KI aufs Smartphone

Qualcomm hat den Snapdragon 8 Elite vorgestellt, der laut Unternehmen die schnellste mobile CPU der Welt ist. Der Chipsatz verfügt über Qualcomms Oryon-CPU der zweiten Generation und soll eine neue Ära der On-Device-KI einläuten. Wie Dean Takahashi für VentureBeat berichtet, ermöglicht der Prozessor komplexe multimodale KI-Anwendungen direkt auf dem Smartphone, wobei der Datenschutz im Vordergrund …

Weiterlesen …

ComfyUI V1: KI-Bilder direkt auf dem eigenen Rechner generieren

Die KI-Bildgenerierungssoftware ComfyUI ist in der Version 1.0 erschienen und bietet nun eine Desktop-Version für Windows, macOS und Linux. Zum Hintergrund: ComfyUI ermöglicht es dir, komplexe Bildgenerierungspipelines direkt auf dem eigenen Rechner umzusetzen. Im Gegensatz zu Cloud-basierten Lösungen bietet die Software volle Kontrolle über den Prozess und die eigenen Daten. Die brandneue Desktop-Version befindet sich …

Weiterlesen …

Nvidia veröffentlicht leistungsstarkes und offenes KI-Modell

Nvidia hat ein neues KI-Modell, Llama-3.1-Nemotron-70B-Instruct, vorgestellt, das bestehende Modelle von OpenAI und anderen Anbietern übertrifft und einen fortgesetzten Wandel in der KI-Strategie des Unternehmens zeigt. Das Modell, das auf Hugging Face verfügbar ist, erzielte beeindruckende Benchmark-Ergebnisse und positioniert Nvidia als wettbewerbsfähigen Akteur im Bereich Sprachverständnis und -generierung. Diese Entwicklung zeigt Nvidias Wandel von einem …

Weiterlesen …

Mistral zeigt kleine Modelle für Laptops und Smartphones

Die französische KI-Firma Mistral hat neue generative KI-Modelle für Laptops und Smartphones vorgestellt. Die als „Les Ministraux“ bezeichneten Modelle sind für verschiedene Anwendungen wie Texterstellung oder die Zusammenarbeit mit leistungsfähigeren Modellen optimiert. Kyle Wiggers berichtet für TechCrunch, dass zwei Varianten verfügbar sind: Ministral 3B und Ministral 8B, beide mit einem Kontextfenster von 128.000 Token. Die …

Weiterlesen …

Warum Forscher auf lokale KI setzen

Forscher nutzen offenbar zunehmend kleine KI-Modelle auf ihren eigenen Computern statt die Angebote der großen KI-Services wie ChatGPT. Wie Nature berichtet, ermöglichen frei verfügbare Tools wie Llama oder Phi-3 es Wissenschaftlern, KI-Modelle lokal laufen zu lassen. Dies bietet Vorteile wie Kosteneinsparungen, Datenschutz und Reproduzierbarkeit. Die lokalen KI-Modelle werden dabei immer leistungsfähiger und können bereits mit …

Weiterlesen …