Создана новая нейросеть, которая генерирует музыку по текстовому описанию
![Создана новая нейросеть, которая генерирует музыку по текстовому описанию](https://files.vgtimes.ru/posts/2022-12/sozdana-novaya-neyroset-kotoraya-generiruet-muzyku-po-tekstovomu-opisaniyu-93883.webp?1671287075)
В сети появилась новая генеративная нейросеть под названием Riffusion. С её помощью можно создавать музыку из текста. Новинка основана на Stable Diffusion версии 1.5.
Идея состоит в том, что Stable Diffusion генерирует так называемые сонограммы или спектрограммы — визуальное представление музыки. Это обычная плоская картинка, где по на оси X показан порядок воспроизведения частот слева направо, а по оси Y — частота звука. Цвет пикселя же задаёт амплитуду звука в каждый момент времени.
Принцип работы прост: Stable Diffusion генерирует картинку и переводит её в спектрограмму, затем данные переводятся в звук с помощью библиотеки для обработки звука Torchaudio. В результате получается музыкальный трек. При этом в текстовом запросе можно указать жанр — рок, джаз и так далее. Даже можно сгенерировать звук набора на клавиатуре.
Попробовать самому новинку можно здесь.
- Нейросеть превратила Велму, Дафну и других героев «Скуби-Ду» в горячих моделей
- Нейросеть перенесла Бэтмена, Джокера и Харли Квин в пустоши «Безумного Макса»
- Нейросеть показала пожилого Донателло из «Черепашек-ниндзя». Герой уехал из Нью-Йорка и начал пить пиво
-
Нейросеть показала, как мог бы выглядеть «Джон Уик» в виде олдскульного аниме
-
Нейросеть показала пожилого Донателло из «Черепашек-ниндзя». Герой уехал из Нью-Йорка и начал пить пиво
-
Нейросеть показала Генри Кавилла во вселенной Warhammer 40,000
-
Нейросеть перенесла Бэтмена, Джокера и Харли Квин в пустоши «Безумного Макса»
-
Нейросеть превратила Велму, Дафну и других героев «Скуби-Ду» в горячих моделей
-
Новый трейлер Elden Ring пересказывает ключевые события игры и готовит игроков к выходу Shadow of the Erdtree
-
Новая техника, платная подписка и не только: в «Мире танков» стартовало «Летнее приключение»
-
Mozilla запускает Solo — сервис для ИИ-генерации сайтов
-
На Amazon Prime вышли первые серии четвертого сезона «Пацанов»
-
Игрокам в Terraria позволят без объяснения причин вернуть деньги за игру, но с условием
-
Ubisoft не против, если Assassin's Creed: Shadows будут проходить только за одного персонажа
-
Компании Valve предъявили иск на сотни миллионов из-за «завышения цен на игры»
-
Новые скидки — для Steam распродают Resident Evil 7, Mafia: Definitive Edition, Devil May Cry HD Collection и другие игры
-
В новом видео мобильной NFS с открытым миром показали 28 машин
-
GIGABYTE представляет сверхбыстрый SSD-накопитель AORUS Gen5 14000
-
Разработчик Assassin's Creed: Shadows обвинил Илона Маска в «разжигании ненависти» из-за критики Ясукэ
-
Слухи о Resident Evil 9: игру посвятят Леону и Джилл, а зомби станут быстрее
-
Для Elden Ring анонсировали крупный патч и обновили системные требования
-
100% положительных отзывов: на ПК вышла игра про далёкое будущее, где нужно гонять на огромной скорости
-
Косплеерша показала Еву из Stellar Blade в «прозрачном» костюме