MusicLM

MusicLM — это модель для генерации высококачественной музыки по текстовым описаниям. Модель решает задачу иерархического sequence-to-sequence-моделирования и создает музыку с частотой 24 кГц, сохраняющую связность в течение нескольких минут.

Инструмент может управлять генерацией музыки как с помощью текста, так и с помощью мелодии. Он позволяет преобразовывать мелодии, насвистанные или напетые пользователем, в соответствии со стилем, указанным в текстовой подписи.

MusicLM также умеет создавать музыку по описаниям картин, инструментов, жанров, уровня опыта музыканта, мест и эпох. Кроме того, он генерирует различные версии одного текстового запроса и одинаковых семантических токенов.