Open-Source-Toolkit Amphion unterstützt Forschung zu Audio-, Musik- und Sprachgenerierung

Das quelloffene Toolkit Amphion dient der Unterstützung von Forschung und Entwicklung im Bereich der Audio-, Musik- und Sprachgenerierung. Laut Projekt-Website bietet es einzigartige Visualisierungen klassischer Modelle und Architekturen, um Nachwuchsforscher*innen und Ingenieur*innen das Verständnis zu erleichtern.

Amphion unterstützt verschiedene Generierungsaufgaben wie Text-to-Speech (TTS), Gesangsstimmensynthese (SVS), Stimmkonvertierung (VC), Gesangsstimmenkonvertierung (SVC), Text-to-Audio (TTA) und Text-to-Music (TTM). Zudem enthält es mehrere Vocoder zur Erzeugung hochwertiger Audiosignale sowie Metriken zur konsistenten Evaluierung über Generierungsaufgaben hinweg. Ziel ist die Weiterentwicklung der Audiogenerierung für reale Anwendungen, einschließlich der Erstellung großer Datensätze wie Emilia für die Sprachsynthese.

Quelle: Hacker News