Das französische KI-Startup Mistral hat sein erstes multimodales Modell Pixtral 12B veröffentlicht. Anders ausgedrückt: Es verfügt über 12 Milliarden Parameter und kann sowohl Bilder als auch Text verarbeiten. Es basiert auf Mistral’s bestehendem Textmodell Nemo 12B und soll in der Lage sein, Fragen zu einer beliebigen Anzahl von Bildern in beliebiger Größe zu beantworten. Pixtral …
Die neue „Multimodal Arena“ von LMSYS vergleicht die Leistung verschiedener KI-Modelle bei bildbezogenen Aufgaben und zeigt: GPT-4o von OpenAI führt die Rangliste an, dicht gefolgt von Claude 3.5 Sonnet und Gemini 1.5 Pro. Überraschend: Open-Source-Modelle wie LLaVA-v1.6-34B erzielen vergleichbare Ergebnisse wie einige proprietäre Modelle. Der Haken? Trotz Fortschritten zeigt der CharXiv-Benchmark von Princeton, dass KI bei …
Apple gibt mit dem „4M“-KI-Modell Einblicke in seine Fortschritte im Bereich der Künstlichen Intelligenz. Das Modell wurde in Zusammenarbeit mit der ETH Lausanne entwickelt und kann Texte in Bilder umwandeln, Objekte erkennen und 3D-Szenen anhand von Spracheingaben manipulieren.
Facebooks Mutterkonzern Meta hat mit Chameleon ein neues, multimodales KI-Modell vorgestellt, das Bilder, Texte und Code gleichzeitig verarbeiten kann. Im Gegensatz zu anderen Modellen, die separate Komponenten für verschiedene Datentypen nutzen, wurde Chameleon von Grund auf für die Verarbeitung mehrerer Modalitäten konzipiert.
Nvidias Chatbot ChatRTX unterstützt jetzt Googles Gemma-Modell und ermöglicht es Nutzern, mit eigenen Dokumenten, Fotos und YouTube-Videos zu interagieren. Die Aktualisierung beinhaltet auch Sprachsuche und bietet mehr Möglichkeiten, lokal gespeicherte Daten mithilfe verschiedener KI-Modelle zu durchsuchen.
Einen Tag vor Googles I/O versuchte OpenAI dem großen Konkurrenten die Show zu stehlen. Und ihre Demo hat definitiv für einiges Aufsehen gesorgt. Im Mittelpunkt stand dabei ihr neuestes KI-Modell GPT-4o, wobei das „o“ für „Omnimodel“ steht. Das wiederum soll deutlich machen, dass diese Version nicht nur Text verarbeitet, sondern etwa auch Bild- und Ton-Informationen. …
Reka, ein KI-Startup aus San Francisco, stellt mit Reka Core ein leistungsstarkes multimodales Sprachmodell vor, das es in weniger als einem Jahr entwickelt hat und dabei mit führenden Modellen von OpenAI, Google und Anthropic mithalten oder diese sogar übertreffen kann. Das Modell versteht verschiedene Modalitäten wie Bild, Audio und Video, unterstützt 32 Sprachen und bietet ein Kontextfenster von …