Einen umfassenden Ratgeber zur lokalen Nutzung von großen Sprachmodellen (LLMs) hat Softwareentwickler Abishek Muthian in seinem Blog veröffentlicht. Der Artikel beschreibt detailliert die notwendige Hardware, wichtige Werkzeuge und empfohlene Modelle für den Einsatz von LLMs auf PCs. Muthian nutzt zwar High-End-Hardware wie einen Core i9 Prozessor und eine RTX 4090 Grafikkarte, betont aber, dass auch …
Einen detaillierten Leitfaden zum Bau eines leistungsstarken KI-Trainingssystems hat Machine-Learning-Ingenieur Sabareesh Subramani auf seiner persönlichen Website veröffentlicht. Das System kostet etwa 12.000 US-Dollar und verwendet vier NVIDIA 4090 Grafikkarten zum Training von großen Sprachmodellen. Die Anlage kann KI-Modelle mit bis zu 500 Millionen Parametern effektiv trainieren. Subramani beschreibt die erforderlichen Komponenten, darunter einen AMD Threadripper …
Führende KI-Forschungseinrichtungen entwickeln anspruchsvollere Evaluierungsmethoden, da aktuelle KI-Modelle bei herkömmlichen Tests regelmäßig Höchstleistungen erzielen. Wie Tharin Pillay für Time Magazine berichtet, können traditionelle Bewertungsmaßstäbe die heutigen KI-Fähigkeiten nicht mehr effektiv messen. Zu den neuen Bewertungsrahmen gehört FrontierMath, das von Epoch AI in Zusammenarbeit mit führenden Mathematikern entwickelt wurde und außergewöhnlich schwierige mathematische Probleme präsentiert. Bei …
Der KI-Assistent Claude von Anthropic verzeichnet einen bemerkenswerten Erfolg im globalen Softwareentwicklungsmarkt. Michael Nuñez berichtet in VentureBeat über einen Anstieg der coding-bezogenen Einnahmen um 1.000% innerhalb von drei Monaten. Softwareentwicklung macht mittlerweile mehr als 10% aller Claude-Interaktionen aus. Das KI-Tool kann bis zu 200.000 Token an Kontext analysieren und dabei die Übersicht behalten. Große Unternehmen …
Anthropic hat einen detaillierten Leitfaden zur Entwicklung effektiver KI-Agenten auf Basis großer Sprachmodelle (LLMs) veröffentlicht, der auf ihrer Zusammenarbeit mit zahlreichen Teams aus verschiedenen Branchen basiert. Die Autoren Erik Schluntz und Barry Zhang betonen, dass die erfolgreichsten Implementierungen auf einfachen, kombinierbaren Mustern basieren und nicht auf komplexen Frameworks. Das Unternehmen unterscheidet zwischen zwei Arten von …
Apple und Nvidia haben die Integration von Apples ReDrafter-Technologie in Nvidias TensorRT-LLM-Framework bekannt gegeben, die eine schnellere Verarbeitung großer Sprachmodelle (LLMs) auf Nvidia-GPUs ermöglicht. ReDrafter, ein von Apple entwickelter Open-Source-Ansatz für spekulatives Dekodieren, nutzt rekurrente neuronale Netze zur Vorhersage zukünftiger Token bei der Texterzeugung, kombiniert mit Beam-Search und Tree-Attention-Algorithmen. Die Zusammenarbeit hat zu deutlichen Leistungsverbesserungen …
OpenAI hat die Integrationsmöglichkeiten von ChatGPT für Desktop-Anwendungen deutlich ausgebaut. Wie Emilia David von VentureBeat berichtet, umfasst die Erweiterung nun zahlreiche Entwicklungsumgebungen (IDEs), Terminal-Programme und Textanwendungen. Die neue Version unterstützt bekannte Entwicklertools wie MatLab, die JetBrains IDE-Familie sowie verschiedene Texteditoren, darunter Apple Notes und Notion. Auch der erweiterte Sprachmodus (Advanced Voice Mode) funktioniert jetzt mit …
Der KI-gestützte Programmierassistent Cursor hat eine Series-B-Finanzierung von 100 Millionen Dollar erhalten. Wie Marina Temkin von TechCrunch berichtet, führte Thrive Capital die Finanzierungsrunde an. Die Bewertung des Unternehmens liegt nun bei 2,6 Milliarden Dollar. Cursor wurde 2022 von vier MIT-Studenten gegründet. Das Unternehmen verzeichnet mittlerweile monatliche Einnahmen von 4 Millionen Dollar. Der Dienst bietet ein …
Das Startup Patronus AI hat ein bahnbrechendes KI-Bewertungsmodell entwickelt, das mit deutlich geringerem Ressourceneinsatz vergleichbare Ergebnisse wie größere Systeme erzielt. Wie Michael Nuñez für VentureBeat berichtet, verwendet das neue Open-Source-Modell namens Glider nur 3,8 Milliarden Parameter und erreicht dennoch die Leistung von GPT-4 in wichtigen Bewertungskriterien. Das von ehemaligen Meta-AI-Forschern gegründete Unternehmen hat Glider so …
Google hat ein neues Bewertungssystem namens FACTS Grounding eingeführt, das die Genauigkeit von Sprachmodellen bei der Verwendung von Quellinformationen überprüft. Das vom FACTS-Team bei Google DeepMind und Google Research entwickelte System umfasst 1.719 Testbeispiele aus verschiedenen Bereichen wie Finanzen, Technologie und Medizin. Drei fortschrittliche KI-Modelle – Gemini 1.5 Pro, GPT-4o und Claude 3.5 Sonnet – …