Magenta Studio

Magenta Studio — это MIDI-плагин для Ableton Live, включающий 5 инструментов: Continue, Groove, Generate, Drumify и Interpolate. Они позволяют применять модели Magenta к MIDI-клипам из Session View.

Требования: Ableton Live 10.1 Suite или более новая версия. Для предыдущих версий требуется отдельная, не входящая в комплект версия Max 8.

Установка: перетащите загруженный файл Magenta Studio amxd на любую доступную MIDI-дорожку в Live.

Общее использование: все плагины работают после выбора одного или нескольких клипов в Session View Ableton. Перед выбором клипа необходимо выбрать дорожку; в списке вариантов отображаются только MIDI-дорожки. Во всех плагинах есть ползунок temperature. Это параметр, используемый для sampling на последнем слое нейронной сети и управления случайностью: более высокие значения дают больше вариаций, а иногда и хаос, тогда как более низкие значения приводят к более консервативным предсказаниям.

Ограничения: melody input ограничен монофоническими мелодиями, то есть мелодиями с одной нотой за раз. Для drums input используется определённая MIDI-схема: Bass drum/Snare drum 36/38, Closed/Open hi-hat 42/46, Low/Mid/High tom 45/48/50, Crash/Ride cymbal 49/51. Ноты за пределами этого диапазона будут сопоставлены с этими 9 инструментами.

Подробное описание инструментов

1. Continue: использует предсказательную способность рекуррентных нейронных сетей (RNN), чтобы создавать ноты, которые, вероятно, последуют за барабанным ритмом или мелодией. Передайте ему входной клип, и он сможет продлить его максимум на 32 measures. Инструмент полезен для добавления вариаций в барабанный ритм или создания нового материала для мелодической дорожки. Обычно он распознаёт такие характеристики, как длительности, тональности и тайминг. Увеличение temperature позволяет получать более случайные результаты. Как использовать: выберите клип для продолжения и нажмите Generate. Выходные клипы будут добавлены в слоты после выбранного клипа.
2. Generate: создаёт фразу длиной 4 bar без входных данных. Выберите место для результата, количество вариаций и temperature, затем нажмите Generate. Инструмент помогает преодолеть творческий ступор или найти вдохновение для оригинального сэмпла. В основе лежит Variational Autoencoder (VAE), обученный на миллионах мелодий и ритмов для изучения обобщённого представления музыкальных характеристик. Generate выбирает случайное сочетание этих обобщённых характеристик и декодирует его обратно в MIDI, создавая новый музыкальный клип. Как использовать: входные файлы не требуются; выбор клипа определяет место размещения выходных клипов.
3. Interpolate: принимает на вход два барабанных ритма или две мелодии и создаёт до 16 клипов, объединяющих характеристики этих двух клипов. Инструмент подходит для объединения музыкальных идей или создания плавного перехода между ними. Он также использует VAE, аналогичный Generate. Каждый входной паттерн представляется точкой на сжатой карте, после чего Interpolate проводит линию между этими точками и возвращает клипы вдоль этой линии. Количество возвращаемых клипов задаётся ползунком “steps”. Как использовать: требуются два входа на одной дорожке. Результаты вставляются после второго клипа. Клипы должны иметь одинаковую длину и быть короче 4 measures.
4. Groove: изменяет тайминг и velocity входного барабанного клипа, создавая “feel” исполнения барабанщика. Похож на плагин “humanize”, но работает иначе. Нейронная сеть обучалась на 15 часах выступлений реальных барабанщиков на MIDI-барабанных установках, чтобы предсказывать неквантизированные ритмы по квантизированным входным данным. Как использовать: принимает один клип и размещает выходной клип на один слот ниже входного.
5. Drumify: создаёт грувы на основе ритма любого входного материала. Его можно использовать для создания барабанного сопровождения басовой линии или мелодии, а также для создания барабанной дорожки из настучанного ритма. Лучше всего работает с исполненными входными данными, но также обрабатывает квантизированные клипы. Используется тот же набор данных, что и в Groove, но выполняется переход от ритмов к исполнениям, а не от квантизированных барабанных паттернов к исполнениям. Инструмент извлекает ритм из входных данных, удаляя высоты нот и velocity, но сохраняя точные временные характеристики, после чего модель превращает его в грув. Как использовать: принимает один клип и размещает выходной клип на один слот ниже входного.