Große Sprachmodelle erreichen bei der Verarbeitung umfangreicher Texte zunehmend ihre technischen Grenzen, wie Timothy B. Lee in einer ausführlichen Analyse für Ars Technica berichtet. Das Hauptproblem liegt in der quadratisch steigenden Rechenleistung bei wachsender Textlänge. Aktuelle Modelle wie GPT-4o können etwa 200 Seiten Text verarbeiten, während Google’s Gemini 1.5 Pro etwa 2.000 Seiten bewältigt. Die …
Forscher von Hugging Face haben eine neue Methode entwickelt, die kleinen Sprachmodellen ermöglicht, bessere Leistungen als größere Modelle zu erzielen. Wie Ben Dickson für VentureBeat berichtet, erreichte ein Llama-3-Modell mit nur 3 Milliarden Parametern die gleiche Leistung wie seine Version mit 70 Milliarden Parametern bei komplexen mathematischen Aufgaben. Die Methode basiert auf der Skalierung der …
Forscher von Anthropic haben eine automatisierte Methode entdeckt, die Sicherheitssperren von KI-Systemen offenbar leicht überwinden kann. Wie Emanuel Maiberg in 404 Media berichtet, funktioniert diese „Best-of-N Jailbreaking“ genannte Technik durch zufällige Änderungen in der Schreibweise und Großschreibung von Texteingaben. Die Methode war bei mehr als 50 Prozent der Versuche erfolgreich und wurde an führenden KI-Modellen …
Die Entwicklung des neuen KI-Modells GPT-5 von OpenAI, intern als „Orion“ bezeichnet, verzögert sich erheblich und verursacht massive Kosten. Wie Deepa Seetharaman im Wall Street Journal berichtet, kämpft das Unternehmen seit über 18 Monaten mit verschiedenen technischen Herausforderungen. Jeder Trainingsversuch des Systems verschlingt etwa eine halbe Milliarde Dollar allein an Rechenkosten. Microsoft, der größte Investor …
Anthropic hat einen detaillierten Leitfaden zur Entwicklung effektiver KI-Agenten auf Basis großer Sprachmodelle (LLMs) veröffentlicht, der auf ihrer Zusammenarbeit mit zahlreichen Teams aus verschiedenen Branchen basiert. Die Autoren Erik Schluntz und Barry Zhang betonen, dass die erfolgreichsten Implementierungen auf einfachen, kombinierbaren Mustern basieren und nicht auf komplexen Frameworks. Das Unternehmen unterscheidet zwischen zwei Arten von …
Apple und Nvidia haben die Integration von Apples ReDrafter-Technologie in Nvidias TensorRT-LLM-Framework bekannt gegeben, die eine schnellere Verarbeitung großer Sprachmodelle (LLMs) auf Nvidia-GPUs ermöglicht. ReDrafter, ein von Apple entwickelter Open-Source-Ansatz für spekulatives Dekodieren, nutzt rekurrente neuronale Netze zur Vorhersage zukünftiger Token bei der Texterzeugung, kombiniert mit Beam-Search und Tree-Attention-Algorithmen. Die Zusammenarbeit hat zu deutlichen Leistungsverbesserungen …
OpenAI hat sein neuestes KI-Modell namens o3 vorgestellt, das laut Unternehmen fortschrittlichere Analysefähigkeiten als seine Vorgänger aufweist. Das Modell, dessen Start für Anfang 2025 geplant ist, gehört zu einer neuen Familie, die sowohl o3 als auch eine kleinere Version namens o3-mini umfasst. Der Name des Modells überspringt „o2“ aufgrund von Markenrechtsüberlegungen im Zusammenhang mit dem …
OpenAI hat die Integrationsmöglichkeiten von ChatGPT für Desktop-Anwendungen deutlich ausgebaut. Wie Emilia David von VentureBeat berichtet, umfasst die Erweiterung nun zahlreiche Entwicklungsumgebungen (IDEs), Terminal-Programme und Textanwendungen. Die neue Version unterstützt bekannte Entwicklertools wie MatLab, die JetBrains IDE-Familie sowie verschiedene Texteditoren, darunter Apple Notes und Notion. Auch der erweiterte Sprachmodus (Advanced Voice Mode) funktioniert jetzt mit …
Der KI-gestützte Programmierassistent Cursor hat eine Series-B-Finanzierung von 100 Millionen Dollar erhalten. Wie Marina Temkin von TechCrunch berichtet, führte Thrive Capital die Finanzierungsrunde an. Die Bewertung des Unternehmens liegt nun bei 2,6 Milliarden Dollar. Cursor wurde 2022 von vier MIT-Studenten gegründet. Das Unternehmen verzeichnet mittlerweile monatliche Einnahmen von 4 Millionen Dollar. Der Dienst bietet ein …
Das Startup Backflip hat eine KI-Plattform entwickelt, die Texteingaben, Skizzen und Fotos in 3D-Designs umwandelt. Wie Charles Rollet für TechCrunch berichtet, erhielt das Unternehmen eine Series-A-Finanzierung von 30 Millionen Dollar. Die Technologie basiert auf KI-Modellen, die mit 10 Millionen 3D-Teilen trainiert wurden. Gründer Greg Mark und David Benhaim, frühere Markforged-Führungskräfte, möchten den zeitaufwendigen CAD-Designprozess auf …