MusicLM

MusicLM est un modèle capable de générer de la musique haute fidélité à partir de descriptions textuelles. Il s’agit d’une tâche de modélisation hiérarchique séquence-à-séquence qui produit de la musique à 24 kHz, cohérente sur plusieurs minutes.

Le modèle peut conditionner la musique générée à la fois sur un texte et sur une mélodie, ce qui lui permet de transformer des mélodies sifflées ou fredonnées selon le style décrit dans une légende textuelle. Il peut également générer de la musique à partir de descriptions de peintures, d’instruments, de genres, de niveaux d’expérience musicale, de lieux et d’époques.

MusicLM est aussi capable de générer différentes versions d’une même consigne textuelle et des variantes des mêmes jetons sémantiques.