Meta entwickelt neue Byte-basierte KI-Architektur

Meta und die University of Washington haben eine neue KI-Architektur namens Byte latent transformer (BLT) entwickelt. Wie Ben Dickson für VentureBeat berichtet, arbeitet BLT direkt mit Bytes statt mit vordefinierten Tokens. Das System besteht aus drei Transformer-Blöcken: zwei kleinen Encoder/Decoder-Modellen und einem zentralen Latent Global Transformer. Tests zeigen, dass BLT die Leistung etablierter Modelle wie … Weiterlesen …

Harvard stellt Millionen-Bücher-Datensatz für KI-Training bereit

Die Harvard Universität hat einen umfangreichen Datensatz für KI-Training veröffentlicht. Wie Kate Knibbs für Wired berichtet, enthält die Sammlung fast eine Million gemeinfreier Bücher. Das von Microsoft und OpenAI finanzierte Projekt wird von der Institutional Data Initiative geleitet. Die Datensammlung umfasst klassische Werke von Shakespeare, Dickens und Dante sowie Fachtexte in verschiedenen Sprachen. Greg Leppert, … Weiterlesen …

KI verliert durch synthetische Trainingsdaten an Qualität

KI-Systeme zeigen zunehmend Qualitätsverluste aufgrund der übermäßigen Nutzung synthetischer Trainingsdaten. Dies beschreibt Rick Song, CEO von Persona, in einem Artikel für VentureBeat. Das als „Modellkollaps“ bekannte Phänomen tritt auf, wenn KI-Systeme wiederholt mit künstlich erzeugten statt menschlich erstellten Daten trainiert werden. Eine in Nature veröffentlichte Studie zeigt, dass Sprachmodelle nach neun Trainingsiterationen mit synthetischen Daten … Weiterlesen …

Neue Wege der KI-Skalierung aufgezeigt

Eine umfassende Analyse von SemiAnalysis, verfasst von Dylan Patel und seinem Team, zeigt, dass die Skalierungsgesetze der künstlichen Intelligenz trotz jüngster Skepsis weiterhin funktionieren. Der Bericht erläutert, wie große KI-Labore neue Wege zur Verbesserung der Modellleistung jenseits traditioneller Vortrainingsmethoden finden. Die führenden KI-Unternehmen erhöhen ihre Rechenzentrum-Investitionen deutlich. Amazon investiert 6,5 Milliarden Dollar in Anthropics Trainingsinfrastruktur, … Weiterlesen …

Microsoft entwickelt kompaktes KI-Modell mit hoher Leistung

Microsoft hat ein neues KI-Modell namens Phi-4 vorgestellt, das trotz geringerer Größe bessere Leistungen als konkurrierende Systeme erzielt. Wie Michael Nuñez für VentureBeat berichtet, übertrifft das Modell mit nur 14 Milliarden Parametern größere Systeme wie Google’s Gemini Pro 1.5. Phi-4 zeigt besondere Stärken im mathematischen Denken und erreichte Bestwerte bei standardisierten Mathematik-Wettbewerben. Microsoft stellt das … Weiterlesen …

Microsoft entwickelt wasserlose Kühlung für Rechenzentren

Microsoft hat ein neues Kühlsystem für Rechenzentren entwickelt, das ohne Frischwasserverbrauch auskommt. Das berichtet Dina Bass für Bloomberg. Das im August 2024 vorgestellte System nutzt einen geschlossenen Kreislauf, der Wasser kontinuierlich recycelt. Herkömmliche Rechenzentren verbrauchen zum Vergleich etwa 125 Millionen Liter Wasser pro Jahr. Die neue Technologie soll ab 2026 in neuen Anlagen in Phoenix … Weiterlesen …

Japanische KI-Pioniere bleiben bei Nobelpreis unberücksichtigt

Japanische Wissenschaftler leisteten grundlegende Beiträge zur Entwicklung künstlicher neuronaler Netze, die jedoch in der westlichen Geschichtsschreibung weitgehend übersehen werden. Dies berichtet Hansun Hsiung in einem Artikel für The Conversation. Die Forscher Shun’ichi Amari und Kunihiko Fukushima entwickelten bereits in den 1960er und 70er Jahren wichtige Innovationen im Bereich des maschinellen Lernens. Fukushima schuf 1979 das … Weiterlesen …

Googles neue KI löst Bedenken aus

Google hat ein neues KI-Modell namens PaLiGemma 2 vorgestellt, das laut Unternehmensangaben menschliche Emotionen in Bildern erkennen kann, wie Kyle Wiggers für TechCrunch berichtet. Das System muss speziell trainiert werden, um Emotionen zu erkennen, was bei Experten für KI-Ethik erhebliche Bedenken auslöst. Wissenschaftler kritisieren, dass die Technologie auf umstrittenen psychologischen Theorien basiert. Die Emotionserkennung könnte … Weiterlesen …

Neue Techniken um KI-Fehlinformationen zu vermeiden

Forscher und Unternehmen haben neue technische Strategien entwickelt, um falsche Informationen von KI-Sprachmodellen zu reduzieren. Dies geht aus einer umfassenden Analyse von Emil Sorensen hervor. Die Studie beschreibt neun verschiedene Ansätze, die auf drei Ebenen – Eingabe, Design und Ausgabe – arbeiten. Die Problematik der sogenannten „Halluzinationen“, bei denen KI-Systeme überzeugt klingende, aber falsche Informationen … Weiterlesen …

Neue KI-Architektur STAR reduziert Modell-Cache um 90 Prozent

Das MIT-Startup Liquid AI hat ein neuartiges KI-Framework namens STAR entwickelt, das die Effizienz herkömmlicher Transformer-Modelle deutlich übertrifft. Wie Carl Franzen für VentureBeat berichtet, nutzt das System evolutionäre Algorithmen zur automatischen Generierung und Optimierung von KI-Architekturen. Die neue Technologie erreicht eine Reduzierung der Cache-Größe um 90 Prozent im Vergleich zu traditionellen Transformern, bei gleichbleibender oder … Weiterlesen …