Eine umfassende Analyse von SemiAnalysis, verfasst von Dylan Patel und seinem Team, zeigt, dass die Skalierungsgesetze der künstlichen Intelligenz trotz jüngster Skepsis weiterhin funktionieren. Der Bericht erläutert, wie große KI-Labore neue Wege zur Verbesserung der Modellleistung jenseits traditioneller Vortrainingsmethoden finden.
Die führenden KI-Unternehmen erhöhen ihre Rechenzentrum-Investitionen deutlich. Amazon investiert 6,5 Milliarden Dollar in Anthropics Trainingsinfrastruktur, während Meta ein 2-Gigawatt-Rechenzentrum für 2026 plant.
Die Analyse identifiziert drei wichtige Skalierungsdimensionen: Die Erzeugung synthetischer Daten, bei der bessere Modelle verbesserte Trainingsdaten erstellen; das Reinforcement Learning mit KI-Feedback (RLAIF), das eine schnellere Modellverbesserung als menschliches Feedback ermöglicht; und die Inferenzzeit-Berechnung, bei der Modelle durch längere Verarbeitungszeit bessere Ergebnisse erzielen.
Besondere Aufmerksamkeit widmet der Bericht OpenAIs O1-Modell, das durch sogenannte Chain-of-Thought-Prozesse verbesserte Argumentationsfähigkeiten zeigt. Die Autoren erklären, dass zusätzliche Rechenzeit während der Inferenz die Leistung bei komplexen Aufgaben deutlich steigern kann.
Die Analyse widerspricht auch Berichten über vermeintliche „Misserfolge“ von Claude 3.5 Opus und OpenAIs Orion. Diese Modelle stellen laut den Autoren vielmehr erfolgreiche Skalierungsleistungen in ihrem jeweiligen Entwicklungskontext dar.
