Google выпустила ИИ для живой музыкальной импровизации

Любители экспериментальной музыки теперь могут генерировать произведения в режиме реального времени благодаря новому инструменту Magenta RealTime. Разработка Google отличается от привычных музыкальных ИИ необычным подходом: вместо создания цельного трека нейросеть работает с микро-фрагментами длиной всего две секунды.

Такой метод открыл неожиданные возможности. Во-первых, система стала доступна даже на обычных ноутбуках — демоверсия стабильно работает на бесплатном тарифе Google Colab. Во-вторых, музыкант может мгновенно корректировать звучание прямо во время генерации, как при живом исполнении. Нейросеть постоянно «прислушивается» к последним 10 секундам созданной музыки, обеспечивая плавность переходов.

Технически Magenta RealTime представляет собой трансформер с 800 миллионами параметров, «изучивший» 190 тысяч часов инструментальной музыки. Пользователь задает направление текстовыми подсказками или аудио-образцами, а система выдает двухсекундный фрагмент с качеством 48 кГц. Это создает эффект совместного джема с алгоритмом.

Однако у технологии есть специфические ограничения. Из-за особенностей обучающих данных модель лучше справляется с западными жанрами и не генерирует вокал с четкими словами. Заметна и небольшая задержка реакции — смена стиля проявляется через 2-3 секунды. Разработчики уже работают над сокращением этого времени.

Исходный код модели и веса опубликованы в открытом доступе, что позволяет энтузиастам дорабатывать систему. Сейчас Magenta RealTime выглядит скорее экспериментальной площадкой для звуковых исследований, чем готовым продуктом. Как отмечают сами создатели, их цель — не заменить музыкантов, а подарить им новый тип цифрового инструмента для спонтанного творчества.