Gary Marcus, ein renommierter KI-Experte, argumentiert, dass die reine Skalierung von KI-Systemen ohne grundlegende architektonische Veränderungen einen Punkt abnehmender Erträge („point of diminishing returns“) erreicht. Er verweist auf jüngste Äußerungen des Risikokapitalgebers Marc Andreesen und des Journalisten Amir Efrati, die bestätigen, dass die Verbesserungen bei Large Language Models (LLMs) trotz zunehmender Rechenressourcen nachlassen. Marcus warnt davor, dass die aktuelle KI-Blase platzen könnte, wenn die wirtschaftlichen Realitäten deutlich werden, da sie auf der Annahme beruht, dass LLMs zu Artificial General Intelligence (AGI) führen werden.
Marcus kritisiert Medien und Tech-Influencer dafür, dass sie Warnungen von Wissenschaftlern vor den prinzipiellen Grenzen von LLMs ignorieren und stattdessen den Hype glorifizieren, der von Personen mit Eigeninteressen angetrieben wird. Er argumentiert, dass die USA massiv in LLMs investiert haben, auf Kosten alternativer Ansätze, was das Land potenziell verwundbar macht, wenn Gegner andere Strategien verfolgen. Um zuverlässige und vertrauenswürdige KI zu erreichen, schlägt Marcus vor, dass wir möglicherweise „zurück zum Reißbrett“ gehen und neue Richtungen erkunden müssen.
Wer ist Gary Marcus?
Gary Fred Marcus ist ein amerikanischer Psychologe und Kognitionswissenschaftler, der für seine Beiträge zur kognitiven Psychologie, Neurowissenschaft und künstlichen Intelligenz anerkannt ist. Er ist emeritierter Professor an der New York University und gründete Geometric Intelligence, ein Unternehmen für maschinelles Lernen, das 2016 von Uber übernommen wurde. Marcus hat mehrere einflussreiche Bücher verfasst, darunter „The Algebraic Mind“, „Guitar Zero“ und „The Birth of the Mind“, die Themen von der kognitiven Entwicklung bis zum Musizieren behandeln.
Als Kritiker der KI betont Marcus die Notwendigkeit von Regulierung und öffentlichem Bewusstsein hinsichtlich der Risiken von KI, insbesondere in Bezug auf Vorurteile in Anwendungen wie Gesichtserkennung. Er hat ein Moratorium für das Training fortschrittlicher KI-Systeme gefordert, bis angemessene Sicherheitsvorkehrungen getroffen sind. Seine jüngste Arbeit umfasst die Veröffentlichung „Taming Silicon Valley“ im Jahr 2024: Sie konzentriert darauf sicherzustellen, dass KI den gesellschaftlichen Interessen dient. Im Laufe seiner Karriere hat Marcus zu verschiedenen wissenschaftlichen Artikeln und herausgegebenen Bänden beigetragen und damit den Diskurs über Kognitionswissenschaft und künstliche Intelligenz vorangetrieben.
Diskussion auf Hacker News
Es gibt eine interessante Diskussion zu seinem Artikel auf Hacker News. Sie hebt einen Konsens hervor, dass LLMs tatsächlich abnehmende Erträge erleben, ähnlich wie frühere Trends im Deep Learning, bei denen eine erhöhte Datenmenge und Modellgröße zunehmend kleinere Leistungsgewinne gebracht haben. Kommentatoren spekulieren, dass LLMs trotz abnehmender Erträge eine neue Wirtschaft anschieben werden, die sich auf die Integration von konversationalen APIs in bestehende Anwendungen konzentriert, was zu weiteren Investitionsmöglichkeiten führen wird.
Es gibt Skepsis über die Wirksamkeit des reinen Skalierens von LLMs (mehr Parameter, Daten und Rechenleistung), um signifikante Durchbrüche zu erzielen, im Gegensatz zu der Ansicht, dass hybride Ansätze möglicherweise substanzielle Verbesserungen bieten können. Die Diskussion spiegelt den Glauben wider, dass sich das Feld weiterhin über reine neuronale Netzwerke hinaus entwickeln wird, möglicherweise unter Einbeziehung von neurosymbolischer KI und anderen hybriden Ansätzen zur Verbesserung von Leistung und Zuverlässigkeit.
Einige argumentieren, dass LLMs bereits immense Werte und Nutzen bieten, selbst wenn sie nicht direkt zu AGI führen, und betonen ihre Rolle in verschiedenen Anwendungen und Geschäftskontexten. Die Debatte umfasst Kritik an Vorhersagen über Fortschritte in der KI, wobei einige Kommentatoren Figuren wie Gary Marcus beschuldigen, Aussagen über die Einschränkungen von LLMs zu übertreiben und dabei ihre aktuellen Fähigkeiten zu vernachlässigen.