Googles Gemma 3 läuft auf einer einzelnen GPU oder TPU

Google hat Gemma 3 angekündigt, seine neueste Sammlung von Open-Source-KI-Modellen. Sie wurden mit der gleichen Technologie entwickelt, die auch die Gemini 2.0-Modelle antreibt. Gemma 3 ist speziell dafür konzipiert, effizient auf einer einzelnen GPU oder TPU zu laufen, was es für Entwickler mit begrenzten Hardware-Ressourcen zugänglich macht.

Die neue Modellfamilie kommt in vier Größen: 1B, 4B, 12B und 27B Parameter. Dadurch können Entwickler, die für ihre spezifischen Hardware- und Leistungsanforderungen am besten geeignete Version wählen. Laut Google liefert Gemma 3 „Spitzenleistung für seine Größe“ und übertrifft Wettbewerber wie Llama-405B, DeepSeek-V3 und o3-mini in vorläufigen Bewertungen durch menschliche Präferenzen.

Wichtige Funktionen

Gemma 3 führt im Vergleich zu seinen Vorgängern mehrere verbesserte Funktionen ein:

  • Unterstützung für über 140 Sprachen, mit sofortiger Funktionalität für 35 Sprachen
  • Fortgeschrittene Text- und visuelle Analysefähigkeiten, einschließlich der Fähigkeit, Bilder, Text und kurze Videos zu analysieren (für Größen ab 4B)
  • Ein erweitertes Kontextfenster von 128K Tokens (gegenüber 80K in Gemma 2)
  • Funktionsaufruf-Unterstützung zur Automatisierung von Aufgaben und zum Aufbau von agentenbasierten Erfahrungen
  • Offizielle quantisierte Versionen, die Modellgröße und Rechenanforderungen reduzieren

Das erweiterte Kontextfenster ermöglicht es Anwendungen, größere Informationsmengen zu verarbeiten und zu verstehen, während die multimodalen Fähigkeiten neue Möglichkeiten für interaktive Anwendungen eröffnen.

Sicherheitsmaßnahmen

Neben Gemma 3 bringt Google ShieldGemma 2 auf den Markt, einen Bildersicherheitsprüfer mit 4B Parametern, der auf der Gemma 3-Grundlage aufbaut. Dieses Tool ist darauf ausgelegt, potenziell problematische Inhalte in drei Kategorien zu identifizieren: gefährliche Inhalte, sexuell explizites Material und Gewalt.

Google erklärt, dass die Entwicklung von Gemma 3 „umfassende Datensteuerung, Ausrichtung an Sicherheitsrichtlinien durch Feinabstimmung und robuste Benchmark-Evaluierungen“ umfasste. Das Unternehmen bewertete speziell das Potenzial des Modells für Missbrauch bei der Erstellung schädlicher Substanzen aufgrund seiner verbesserten MINT-Leistung und kam zu dem Schluss, dass es ein „niedriges Risikoniveau“ darstellt.

Zugänglichkeit und Integration

Entwickler können auf Gemma 3 über verschiedene Plattformen zugreifen, darunter Google AI Studio, Hugging Face und Kaggle. Die Modelle integrieren sich in beliebte Tools wie Hugging Face Transformers, Ollama, JAX, Keras und PyTorch.

Google hat Gemma 3 auch für verschiedene Hardware-Plattformen optimiert, darunter NVIDIA GPUs (vom Jetson Nano bis zu den neuesten Blackwell-Chips), Google Cloud TPUs, AMD GPUs über den ROCm-Stack und CPUs über Gemma.cpp.

Seit der Einführung der ersten Gemma-Version im Februar 2024 meldet Google über 100 Millionen Downloads und mehr als 60.000 von der Community erstellte Gemma-Varianten, was eine bedeutende Akzeptanz dieser leichtgewichtigen KI-Modelle zeigt.

Das wachsende Interesse an kleineren Sprachmodellen spiegelt einen Branchentrend zu effizienteren KI-Lösungen wider, die vergleichbare Leistung wie größere Modelle bieten können, während sie weniger Rechenressourcen und Energieverbrauch benötigen.

Quellen: Google, VentureBeat, 9to5Google

Mehr zum Thema:

Bleib up-to-date: