Magenta Studio

Magenta Studio là một plugin MIDI cho Ableton Live, gồm 5 công cụ: Continue, Groove, Generate, Drumify và Interpolate. Các công cụ này cho phép người dùng áp dụng các mô hình Magenta cho những clip MIDI từ Session View. Yêu cầu: Ableton Live 10.1 Suite trở lên; các phiên bản trước đó yêu cầu một phiên bản Max 8 không đi kèm. Cài đặt: kéo tệp amxd Magenta Studio đã tải xuống vào bất kỳ track MIDI còn trống nào trong Live.

Cách sử dụng chung: tất cả plugin hoạt động bằng cách chọn một hoặc nhiều clip trong Session View của Ableton. Người dùng phải chọn một track trước khi chọn clip, và chỉ các track MIDI mới xuất hiện dưới dạng tùy chọn. Tất cả plugin đều có thanh trượt nhiệt độ, một tham số dùng để lấy mẫu ở lớp cuối của mạng nơ-ron nhằm kiểm soát độ ngẫu nhiên: giá trị cao hơn tạo ra nhiều biến thể hơn và đôi khi thậm chí là hỗn loạn, còn giá trị thấp hơn tạo ra các dự đoán thận trọng hơn.

Giới hạn: đầu vào giai điệu bị giới hạn ở giai điệu đơn âm, mỗi lần một nốt. Đầu vào trống sử dụng ánh xạ MIDI cụ thể: bass drum/snare drum 36/38, closed/open hi-hat 42/46, low/mid/high tom 45/48/50, crash/ride cymbal 49/51. Các nốt nằm ngoài phạm vi này sẽ được ánh xạ vào 9 nhạc cụ nói trên.

Mô tả chi tiết các công cụ

1. Continue: sử dụng khả năng dự đoán của mạng nơ-ron hồi quy (RNN) để tạo ra các nốt có khả năng tiếp nối nhịp trống hoặc giai điệu. Cung cấp một clip đầu vào và công cụ có thể kéo dài clip đó tối đa 32 ô nhịp. Công cụ hữu ích để thêm biến thể cho nhịp trống hoặc tạo chất liệu mới cho một track giai điệu. Công cụ thường nhận biết các yếu tố như trường độ, giọng và thời gian. Có thể tạo ra kết quả ngẫu nhiên hơn bằng cách tăng nhiệt độ. Cách sử dụng: chọn clip cần kéo dài, sau đó nhấp vào Generate. Các clip đầu ra sẽ được thêm vào các ô clip sau clip đã chọn.
2. Generate: tạo một câu nhạc dài 4 ô nhịp mà không cần đầu vào. Chọn vị trí muốn đặt đầu ra, số lượng biến thể và nhiệt độ, sau đó nhấp vào Generate. Công cụ hữu ích để vượt qua tình trạng bí ý tưởng hoặc làm nguồn cảm hứng cho một sample gốc. Bên dưới, công cụ sử dụng Variational Autoencoder (VAE) được huấn luyện trên hàng triệu giai điệu và nhịp điệu để học một biểu diễn tóm tắt của các đặc điểm âm nhạc. Generate chọn một tổ hợp ngẫu nhiên của những đặc điểm đã tóm tắt này, rồi giải mã chúng trở lại MIDI để tạo một clip nhạc mới. Cách sử dụng: không yêu cầu tệp đầu vào; việc chọn clip quyết định vị trí các clip đầu ra.
3. Interpolate: nhận hai nhịp trống hoặc hai giai điệu làm đầu vào và tạo tối đa 16 clip kết hợp các đặc điểm của hai clip đó. Công cụ hữu ích để hợp nhất các ý tưởng âm nhạc hoặc tạo chuyển đổi mượt mà giữa chúng. Công cụ cũng sử dụng một VAE tương tự Generate. Mỗi mẫu đầu vào được biểu diễn bằng một vị trí trên bản đồ nén, sau đó Interpolate vẽ một đường giữa các vị trí này và trả về các clip dọc theo đường đó. Số lượng clip được trả về được đặt bằng thanh trượt steps. Cách sử dụng: yêu cầu hai đầu vào trên cùng một track. Các đầu ra được chèn sau clip thứ hai. Các clip nên có cùng độ dài và ngắn hơn 4 ô nhịp.
4. Groove: điều chỉnh thời gian và velocity của một clip trống đầu vào để tạo ra cảm giác trình diễn của một tay trống. Công cụ tương tự plugin humanize nhưng đạt được theo cách khác. Mạng nơ-ron được huấn luyện bằng 15 giờ trình diễn của các tay trống thực trên bộ trống MIDI để dự đoán nhịp không lượng tử hóa từ đầu vào đã lượng tử hóa. Cách sử dụng: nhận một clip làm đầu vào và đặt clip đầu ra vào ô ngay bên dưới đầu vào.
5. Drumify: tạo groove dựa trên nhịp điệu của bất kỳ đầu vào nào. Có thể dùng để tạo phần đệm trống cho một bassline hoặc giai điệu, hoặc tạo track trống từ một nhịp điệu được gõ. Công cụ hoạt động tốt nhất với đầu vào được trình diễn, nhưng cũng có thể xử lý các clip đã lượng tử hóa. Công cụ sử dụng cùng dataset với Groove, nhưng ánh xạ từ nhịp điệu sang phần trình diễn thay vì từ các mẫu trống đã lượng tử hóa sang phần trình diễn. Công cụ trích xuất nhịp điệu từ đầu vào bằng cách loại bỏ cao độ và velocity, đồng thời giữ lại các chi tiết thời gian chính xác, rồi mô hình chuyển nhịp điệu đó thành groove. Cách sử dụng: nhận một clip làm đầu vào và đặt clip đầu ra vào ô ngay bên dưới đầu vào.