Jakob Uszkoreit, Mitautor des wegweisenden Forschungspapiers „Attention Is All You Need“ von 2017, hat in einem Interview neue Einblicke in die Entwicklung der Transformer-Technologie gegeben. Der Wissenschaftler erklärt, dass Google bereits früh über ähnliche Sprachmodell-Fähigkeiten verfügte, diese aber aufgrund einer zu vorsichtigen Unternehmenspolitik nicht veröffentlichte. Die von ihm mitentwickelte Transformer-Architektur bildet heute die Grundlage für führende KI-Systeme wie ChatGPT.
Nach seiner Zeit bei Google gründete Uszkoreit das Unternehmen Inceptive, das sich auf die Anwendung von Deep Learning in der Biochemie konzentriert. Das Ziel ist die Entwicklung programmierbarer Medikamente durch RNA-Sequenzen. Seine Erfahrungen bei Google zeigen, wie unternehmerische Zurückhaltung die schnellere Entwicklung von KI-Anwendungen verhindert hat.
