OpenAI entwickelt Berichten zufolge neue Strategien, um mit einer Verlangsamung der KI-Fortschritte umzugehen. Laut The Information stellten OpenAI-Mitarbeiter, die das nächste Vorzeigemodell des Unternehmens mit dem Codenamen Orion testeten, weniger Verbesserungen im Vergleich zum Sprung von GPT-3 zu GPT fest. Das deutet darauf hin, dass sich das Tempo des Fortschritts verringert. Als Reaktion darauf hat OpenAI ein Grundlagenteam gebildet, um Möglichkeiten zu untersuchen, wie Modelle trotz des schwindenden Angebots an neuen Trainingsdaten weiter verbessert werden können.
Reuters berichtet, dass OpenAI und andere KI-Unternehmen versuchen, unerwartete Verzögerungen und Herausforderungen bei der Entwicklung fortschrittlicherer großer Sprachmodelle zu überwinden. Sie erforschen Trainingstechniken, die menschenähnlichere Denkweisen für Algorithmen verwenden, wie beispielsweise die Methoden hinter OpenAIs kürzlich veröffentlichtem o1-Modell. Diese Techniken könnten das KI-Wettrüsten neu gestalten und sich auf die Arten von Ressourcen auswirken, die KI-Unternehmen benötigen, von Energie bis hin zu spezifischen Chips. Allerdings sind auch die Grenzen dieser „Chain of Thought“-Technik bereits sichtbar geworden.
Prominente KI-Wissenschaftler, darunter Ilya Sutskever, Mitbegründer von OpenAI und Safe Superintelligence (SSI), erkennen die Grenzen des Ansatzes „größer ist besser“ an. Forscher konzentrieren sich nun auf „Test-Time Compute“, eine Technik, die bestehende KI-Modelle während der Inferenzphase verbessert und es Modellen ermöglicht, mehr Rechenleistung für anspruchsvolle Aufgaben aufzuwenden, die menschenähnliches Denken erfordern. Die Auswirkungen dieses Wandels könnten die Wettbewerbslandschaft für KI-Hardware verändern und möglicherweise von einer Welt massiver Vortrainingscluster zu Inferenz-Clouds führen.