Forschung

Apple und Nvidia kooperieren bei KI-Beschleunigung

Apple und Nvidia haben die Integration von Apples ReDrafter-Technologie in Nvidias TensorRT-LLM-Framework bekannt gegeben, die eine schnellere Verarbeitung großer Sprachmodelle (LLMs) auf Nvidia-GPUs ermöglicht. ReDrafter, ein von Apple entwickelter Open-Source-Ansatz für spekulatives Dekodieren, nutzt rekurrente neuronale Netze zur Vorhersage zukünftiger Token bei der Texterzeugung, kombiniert mit Beam-Search und Tree-Attention-Algorithmen. Die Zusammenarbeit hat zu deutlichen Leistungsverbesserungen …

Weiterlesen …

KI-Modelle zeigen bedeutende Fortschritte im Jahr 2024

Laut eines umfassenden Berichts von Artificial Analysis (PDF) haben KI-Modelle im Jahr 2024 bemerkenswerte Fortschritte erzielt. Mehrere Unternehmen haben das Leistungsniveau von OpenAIs GPT-4 erreicht oder übertroffen. Die Analyse zeigt, dass führende Sprachmodelle wie Claude 3.5 Sonnet und Gemini 1.5 Pro neue Maßstäbe in Bezug auf ihre Fähigkeiten gesetzt haben. Open-Source-Modelle von Meta, Mistral und …

Weiterlesen …

Neues KI-Bewertungsmodell erreicht GPT-4-Niveau mit weniger Ressourcen

Das Startup Patronus AI hat ein bahnbrechendes KI-Bewertungsmodell entwickelt, das mit deutlich geringerem Ressourceneinsatz vergleichbare Ergebnisse wie größere Systeme erzielt. Wie Michael Nuñez für VentureBeat berichtet, verwendet das neue Open-Source-Modell namens Glider nur 3,8 Milliarden Parameter und erreicht dennoch die Leistung von GPT-4 in wichtigen Bewertungskriterien. Das von ehemaligen Meta-AI-Forschern gegründete Unternehmen hat Glider so …

Weiterlesen …

Google stellt neue Methode zur Überprüfung der KI-Genauigkeit vor

Google hat ein neues Bewertungssystem namens FACTS Grounding eingeführt, das die Genauigkeit von Sprachmodellen bei der Verwendung von Quellinformationen überprüft. Das vom FACTS-Team bei Google DeepMind und Google Research entwickelte System umfasst 1.719 Testbeispiele aus verschiedenen Bereichen wie Finanzen, Technologie und Medizin. Drei fortschrittliche KI-Modelle – Gemini 1.5 Pro, GPT-4o und Claude 3.5 Sonnet – …

Weiterlesen …

KI-Trainingsdaten zeigen wachsende Macht der Technologiekonzerne

Eine umfassende Studie der Data Provenance Initiative hat besorgniserregende Entwicklungen bei KI-Trainingsdaten aufgedeckt. Wie Melissa Heikkilä für MIT Technology Review berichtet, wurden fast 4.000 öffentliche Datensätze aus 67 Ländern analysiert. Die Ergebnisse zeigen eine zunehmende Konzentration der Datenquellen bei großen Technologieunternehmen. Seit 2018 dominiert das Web-Scraping die Datensammlung für KI-Entwicklung. Plattformen wie YouTube liefern über …

Weiterlesen …

Studie zeigt, wie KI-Modelle bei Sicherheitstraining tricksen

Eine neue Studie von Anthropic’s Alignment Science Team und Redwood Research hat gezeigt, dass große Sprachmodelle in der Lage sind, strategische Täuschung zu betreiben. Die Modelle können vorgeben, sich an neue Trainingsziele anzupassen, während sie insgeheim ihre ursprünglichen Präferenzen beibehalten. Die Forscher entwickelten ein Experiment mit dem Sprachmodell Claude 3 Opus. Sie teilten dem Modell …

Weiterlesen …

Microsoft-Managerin erklärt Sicherheitsansatz und Grenzen der KI

Sarah Bird, Produktchefin für verantwortungsvolle KI bei Microsoft, hat in einem Interview mit der Financial Times die Strategie des Unternehmens für sichere KI-Entwicklung dargelegt. Bird betonte, dass generative KI zwar großes Potenzial habe, der künstlichen allgemeinen Intelligenz (AGI) aber noch grundlegende Fähigkeiten fehlen. Microsoft konzentriert sich nach Birds Aussagen darauf, menschliche Fähigkeiten durch seine „Copilot“-Systeme …

Weiterlesen …

Meta entwickelt neue Byte-basierte KI-Architektur

Meta und die University of Washington haben eine neue KI-Architektur namens Byte latent transformer (BLT) entwickelt. Wie Ben Dickson für VentureBeat berichtet, arbeitet BLT direkt mit Bytes statt mit vordefinierten Tokens. Das System besteht aus drei Transformer-Blöcken: zwei kleinen Encoder/Decoder-Modellen und einem zentralen Latent Global Transformer. Tests zeigen, dass BLT die Leistung etablierter Modelle wie …

Weiterlesen …

Harvard stellt Millionen-Bücher-Datensatz für KI-Training bereit

Die Harvard Universität hat einen umfangreichen Datensatz für KI-Training veröffentlicht. Wie Kate Knibbs für Wired berichtet, enthält die Sammlung fast eine Million gemeinfreier Bücher. Das von Microsoft und OpenAI finanzierte Projekt wird von der Institutional Data Initiative geleitet. Die Datensammlung umfasst klassische Werke von Shakespeare, Dickens und Dante sowie Fachtexte in verschiedenen Sprachen. Greg Leppert, …

Weiterlesen …

KI verliert durch synthetische Trainingsdaten an Qualität

KI-Systeme zeigen zunehmend Qualitätsverluste aufgrund der übermäßigen Nutzung synthetischer Trainingsdaten. Dies beschreibt Rick Song, CEO von Persona, in einem Artikel für VentureBeat. Das als „Modellkollaps“ bekannte Phänomen tritt auf, wenn KI-Systeme wiederholt mit künstlich erzeugten statt menschlich erstellten Daten trainiert werden. Eine in Nature veröffentlichte Studie zeigt, dass Sprachmodelle nach neun Trainingsiterationen mit synthetischen Daten …

Weiterlesen …