Große Sprachmodelle erreichen bei der Verarbeitung umfangreicher Texte zunehmend ihre technischen Grenzen, wie Timothy B. Lee in einer ausführlichen Analyse für Ars Technica berichtet. Das Hauptproblem liegt in der quadratisch steigenden Rechenleistung bei wachsender Textlänge. Aktuelle Modelle wie GPT-4o können etwa 200 Seiten Text verarbeiten, während Google’s Gemini 1.5 Pro etwa 2.000 Seiten bewältigt. Die …
Forscher von Hugging Face haben eine neue Methode entwickelt, die kleinen Sprachmodellen ermöglicht, bessere Leistungen als größere Modelle zu erzielen. Wie Ben Dickson für VentureBeat berichtet, erreichte ein Llama-3-Modell mit nur 3 Milliarden Parametern die gleiche Leistung wie seine Version mit 70 Milliarden Parametern bei komplexen mathematischen Aufgaben. Die Methode basiert auf der Skalierung der …
Forscher von Anthropic haben eine automatisierte Methode entdeckt, die Sicherheitssperren von KI-Systemen offenbar leicht überwinden kann. Wie Emanuel Maiberg in 404 Media berichtet, funktioniert diese „Best-of-N Jailbreaking“ genannte Technik durch zufällige Änderungen in der Schreibweise und Großschreibung von Texteingaben. Die Methode war bei mehr als 50 Prozent der Versuche erfolgreich und wurde an führenden KI-Modellen …
Laut eines umfassenden Berichts von Artificial Analysis (PDF) haben KI-Modelle im Jahr 2024 bemerkenswerte Fortschritte erzielt. Mehrere Unternehmen haben das Leistungsniveau von OpenAIs GPT-4 erreicht oder übertroffen. Die Analyse zeigt, dass führende Sprachmodelle wie Claude 3.5 Sonnet und Gemini 1.5 Pro neue Maßstäbe in Bezug auf ihre Fähigkeiten gesetzt haben. Open-Source-Modelle von Meta, Mistral und …
Das Technologiemagazin Wired hat eine interaktive Visualisierung veröffentlicht, die alle Urheberrechtsklagen gegen KI-Unternehmen in den USA dokumentiert. Die Autorin Kate Knibbs beschreibt, wie diese rechtlichen Auseinandersetzungen im Mai 2020 mit einer Klage von Thomson Reuters gegen Ross Intelligence begannen. Seitdem haben sich zahlreiche namhafte Kläger wie die New York Times, Universal Music Group und verschiedene …
Der Musikstreaming-Dienst Spotify betreibt ein bis dato geheimes Programm namens Perfect Fit Content (PFC), das günstig produzierte, anonyme Musik in beliebten Playlists platziert. Dies enthüllte eine Untersuchung von Liz Pelly im Harper’s Magazine. Das Programm zielt darauf ab, Tantiemenzahlungen zu reduzieren, indem es Titel bekannter Künstler durch kostengünstigere Alternativen ersetzt. Dies betrifft besonders Genres wie …
Eine umfassende Studie der Data Provenance Initiative hat besorgniserregende Entwicklungen bei KI-Trainingsdaten aufgedeckt. Wie Melissa Heikkilä für MIT Technology Review berichtet, wurden fast 4.000 öffentliche Datensätze aus 67 Ländern analysiert. Die Ergebnisse zeigen eine zunehmende Konzentration der Datenquellen bei großen Technologieunternehmen. Seit 2018 dominiert das Web-Scraping die Datensammlung für KI-Entwicklung. Plattformen wie YouTube liefern über …
Der scheidende US-Heimatschutzminister Alejandro Mayorkas kritisiert den strengen europäischen Ansatz zur KI-Regulierung. Wie die Financial Times durch Cristina Criddle und Tabby Kinder berichtet, warnt Mayorkas vor wachsenden Spannungen zwischen den USA und Europa in Bezug auf KI-Kontrollen. Er bezeichnete das „gegnerische“ Verhältnis Europas zu Technologieunternehmen als problematisch für die globale Zusammenarbeit. Die EU hat kürzlich …
Eine neue Studie von Anthropic’s Alignment Science Team und Redwood Research hat gezeigt, dass große Sprachmodelle in der Lage sind, strategische Täuschung zu betreiben. Die Modelle können vorgeben, sich an neue Trainingsziele anzupassen, während sie insgeheim ihre ursprünglichen Präferenzen beibehalten. Die Forscher entwickelten ein Experiment mit dem Sprachmodell Claude 3 Opus. Sie teilten dem Modell …
Verschärfte Sicherheitskontrollen und Visa-Beschränkungen erschweren chinesischen KI-Fachkräften zunehmend den Zugang zum US-Arbeitsmarkt. Wie Yvonne Lau in Rest of World berichtet, führen Bedenken wegen Industriespionage zu strengeren Einwanderungskontrollen. China stellt fast die Hälfte des weltweiten KI-Talents, während die USA nur 18% ausmachen. Anwälte berichten von verlängerten Visa-Bearbeitungszeiten und verstärkten Überprüfungen für chinesische Staatsangehörige. Einige Fachkräfte wählen …