Forscher von Google DeepMind sehen einen bedeutenden Wandel in der Entwicklung künstlicher Intelligenz voraus. David Silver und Richard S. Sutton nennen diese kommende Phase die „Ära der Erfahrung“. Sie beschreiben ihre Vision in einem Vorabdruck eines Buchkapitels für den Verlag MIT Press.
Die Wissenschaftler argumentieren, dass aktuelle KI-Systeme, insbesondere große Sprachmodelle, an die Grenzen dessen stoßen, was sie aus menschlichen Daten lernen können. „Die meisten hochwertigen Datenquellen, die die Leistung eines starken Agenten tatsächlich verbessern können, sind entweder bereits verbraucht oder werden es bald sein“, schreiben sie.
Diese Begrenzung verhindert laut den Forschern, dass KI-Systeme in vielen Bereichen übermenschliche Intelligenz erreichen können. Als Alternative schlagen sie vor, dass KI-Systeme ihre eigenen Daten durch Interaktion mit ihrer Umgebung erzeugen sollten.
Als Beispiel für diesen Ansatz nennen Silver und Sutton AlphaProof, ein Programm, das eine Silbermedaille bei der Internationalen Mathematik-Olympiade erreichte. Obwohl es zunächst mit menschlich erstellten formalen Beweisen trainiert wurde, generierte AlphaProof durch Reinforcement Learning und direkte Interaktion mit Beweissystemen Millionen weiterer Beweise.
Die Forscher beschreiben vier Schlüsselmerkmale dieser neuen Ära:
- Erstens werden KI-Agenten in kontinuierlichen „Strömen“ von Erfahrungen arbeiten, nicht in kurzen Interaktionen.
- Zweitens werden sie mit der realen Welt durch umfangreiche Aktions- und Beobachtungsräume interagieren, die über einfache Texteingaben hinausgehen.
- Drittens werden sie aus konkreten Belohnungen lernen, die auf Umgebungsfeedback basieren, nicht auf menschlichem Urteil.
- Viertens werden sie Planungs- und Denkmethoden entwickeln, die sich deutlich vom menschlichen Denken unterscheiden können.
Diese Herangehensweise bietet laut den Autoren mehrere Vorteile. Erfahrungsbasierte KI-Agenten könnten personalisierte Unterstützung in Bereichen wie Gesundheit, Bildung oder beruflichen Anforderungen bieten. Sie könnten wissenschaftliche Entdeckungen beschleunigen, indem sie selbstständig Experimente entwerfen und durchführen.
Die Forscher erkennen jedoch auch erhebliche Herausforderungen an. Autonome Agenten, die langfristige Ziele mit minimaler menschlicher Intervention verfolgen, werfen wichtige Sicherheitsbedenken auf. Sie deuten an, dass erfahrungsbasiertes Lernen einige Risiken mindern könnte, indem es Agenten ermöglicht, zu erkennen, wenn ihre Handlungen menschliches Unbehagen verursachen.
Die Autoren weisen auch darauf hin, dass physische Experimente natürliche zeitliche Beschränkungen für potenzielle KI-Selbstverbesserungen auferlegen. „Die Entwicklung eines neuen Medikaments erfordert auch mit KI-unterstütztem Design reale Studien, die nicht über Nacht abgeschlossen werden können“, schreiben sie.
Silver und Sutton kommen zu dem Schluss, dass die Ära der Erfahrung einen entscheidenden Moment in der KI-Evolution markieren wird. „Erfahrungsdaten werden den Umfang und die Qualität menschlich erzeugter Daten übertreffen“, prognostizieren die Autoren, was „neue Fähigkeiten erschließen wird, die die eines jeden Menschen übertreffen“.
via: VentureBeat