Mit Spirit LM hat Meta sein erstes frei verfügbares multimodales Sprachmodell auf den Markt gebracht, das Text- und Spracheingabe und -ausgabe integriert und sich damit als Konkurrent zu Modellen wie OpenAIs GPT-4o positioniert. Spirit LM wurde von Metas Fundamental AI Research (FAIR) Team entwickelt und zielt darauf ab, die KI-Spracherfahrung zu verbessern, indem es die Ausdruckskraft und Natürlichkeit der Sprachreproduktion erhöht. Das Modell ist nur für den nicht-kommerziellen Gebrauch unter einer speziellen Lizenz erhältlich, die es Nutzern erlaubt, es zu modifizieren und abgeleitete Werke ohne kommerzielle Nutzung zu erstellen, berichtet VentureBeat.
Spirit LM gibt es in zwei Versionen: „Base“ das phonetische Token verwendet, und „Expressive“, das Tonhöhen- und Tonwert-Token hinzufügt, um emotionale Nuancen zu vermitteln. Beide Versionen wurden mit verschiedenen Text- und Sprachdatensätzen trainiert und ermöglichen so multimodale Aufgaben wie Sprache-zu-Text und Text-zu-Sprache, wobei die natürliche Ausdruckskraft erhalten bleiben soll. Metas Engagement für offene Wissenschaft spiegelt sich in der Freigabe der Weights, des Codes und der Dokumentation des Modells wider – allerdings wie erwähnt nur für Forscher, nicht für die kommerzielle Nutzung.
Zu den Fähigkeiten des Modells gehören automatische Spracherkennung, Sprachsynthese und Sprachklassifikation, wobei Spirit LM Expressive besonders gut in der Erkennung und Wiedergabe emotionaler Zustände ist. Dieser Fortschritt hat potenziell erhebliche Auswirkungen auf Anwendungen wie virtuelle Assistenten und Kundendienstroboter, da er ansprechende Interaktionen ermöglicht.