Der 38. Chaos Communication Congress (38C3) in Hamburg war die jüngste Ausgabe der jährlich stattfindenden viertägigen Konferenz über Technologie, Gesellschaft und Utopie, die vom Chaos Computer Club (CCC) und Freiwilligen organisiert wird. Aus der langen Liste der Vorträge habe ich sechs ausgewählt, die ich für die Leser des Smart Content Report und für mich besonders …
Meta AI hat eine neuartige Methode entwickelt, die es großen Sprachmodellen ermöglicht, in einem kontinuierlichen latenten Raum zu denken, statt nur mit Worten zu arbeiten. Die als „Coconut“ (Chain of Continuous Thought) bezeichnete Methode wechselt zwischen Sprach- und Gedankenmodus. Dies ermöglicht eine flexiblere Herangehensweise an komplexe Probleme. Das Verfahren zeigt besondere Stärken bei Aufgaben, die …
Führende KI-Forschungseinrichtungen entwickeln anspruchsvollere Evaluierungsmethoden, da aktuelle KI-Modelle bei herkömmlichen Tests regelmäßig Höchstleistungen erzielen. Wie Tharin Pillay für Time Magazine berichtet, können traditionelle Bewertungsmaßstäbe die heutigen KI-Fähigkeiten nicht mehr effektiv messen. Zu den neuen Bewertungsrahmen gehört FrontierMath, das von Epoch AI in Zusammenarbeit mit führenden Mathematikern entwickelt wurde und außergewöhnlich schwierige mathematische Probleme präsentiert. Bei …
Wissenschaftler nutzen zunehmend KI-generierte „Halluzinationen“ als effektives Werkzeug für Durchbrüche in der Forschung, berichtet William J. Broad in der New York Times. Diese computergenerierten Erfindungen helfen demnach bei der Entwicklung neuer Proteine, Medikamente und medizinischer Behandlungen. Der Nobelpreisträger David Baker verwendete KI-Halluzinationen etwa, um Millionen neuer, in der Natur nicht vorkommender Proteine zu erschaffen, die …
In den vergangenen vier Wochen hat sich die KI-Landschaft grundlegend weiterentwickelt. Der Technologieforscher Ethan Mollick dokumentiert in seiner Analyse mehrere bahnbrechende Entwicklungen. So ist die Anzahl leistungsfähiger KI-Modelle deutlich gestiegen. Aktuell existieren sechs bis zehn Modelle auf GPT-4-Niveau, während Ende 2023 nur eines verfügbar war. Unternehmen wie OpenAI, Google, Meta und Anthropic haben neue Systeme …
Große Sprachmodelle erreichen bei der Verarbeitung umfangreicher Texte zunehmend ihre technischen Grenzen, wie Timothy B. Lee in einer ausführlichen Analyse für Ars Technica berichtet. Das Hauptproblem liegt in der quadratisch steigenden Rechenleistung bei wachsender Textlänge. Aktuelle Modelle wie GPT-4o können etwa 200 Seiten Text verarbeiten, während Google’s Gemini 1.5 Pro etwa 2.000 Seiten bewältigt. Die …
Forscher von Hugging Face haben eine neue Methode entwickelt, die kleinen Sprachmodellen ermöglicht, bessere Leistungen als größere Modelle zu erzielen. Wie Ben Dickson für VentureBeat berichtet, erreichte ein Llama-3-Modell mit nur 3 Milliarden Parametern die gleiche Leistung wie seine Version mit 70 Milliarden Parametern bei komplexen mathematischen Aufgaben. Die Methode basiert auf der Skalierung der …
Forscher von Anthropic haben eine automatisierte Methode entdeckt, die Sicherheitssperren von KI-Systemen offenbar leicht überwinden kann. Wie Emanuel Maiberg in 404 Media berichtet, funktioniert diese „Best-of-N Jailbreaking“ genannte Technik durch zufällige Änderungen in der Schreibweise und Großschreibung von Texteingaben. Die Methode war bei mehr als 50 Prozent der Versuche erfolgreich und wurde an führenden KI-Modellen …
Apple und Nvidia haben die Integration von Apples ReDrafter-Technologie in Nvidias TensorRT-LLM-Framework bekannt gegeben, die eine schnellere Verarbeitung großer Sprachmodelle (LLMs) auf Nvidia-GPUs ermöglicht. ReDrafter, ein von Apple entwickelter Open-Source-Ansatz für spekulatives Dekodieren, nutzt rekurrente neuronale Netze zur Vorhersage zukünftiger Token bei der Texterzeugung, kombiniert mit Beam-Search und Tree-Attention-Algorithmen. Die Zusammenarbeit hat zu deutlichen Leistungsverbesserungen …
Laut eines umfassenden Berichts von Artificial Analysis (PDF) haben KI-Modelle im Jahr 2024 bemerkenswerte Fortschritte erzielt. Mehrere Unternehmen haben das Leistungsniveau von OpenAIs GPT-4 erreicht oder übertroffen. Die Analyse zeigt, dass führende Sprachmodelle wie Claude 3.5 Sonnet und Gemini 1.5 Pro neue Maßstäbe in Bezug auf ihre Fähigkeiten gesetzt haben. Open-Source-Modelle von Meta, Mistral und …