MusicLM

MusicLM ist ein Modell zur Generierung hochwertiger Musik aus Textbeschreibungen. Das Modell verwendet eine hierarchische Sequenz-zu-Sequenz-Modellierungsaufgabe und erzeugt Musik mit 24 kHz, die über mehrere Minuten hinweg konsistent bleibt.

Die generierte Musik kann sowohl durch Text als auch durch eine Melodie gesteuert werden. Dadurch lassen sich gepfiffene oder gesummte Melodien an den in einer Textbeschreibung angegebenen Stil anpassen. Das Tool kann außerdem Musik aus Beschreibungen von Gemälden, Instrumenten, Genres, musikalischen Erfahrungsstufen, Orten und Epochen erzeugen. Zusätzlich erstellt es unterschiedliche Versionen derselben Texteingabe und derselben semantischen Tokens.