Создаем музыку с нейросетями. Установка и обзор Audiocraft

Искусственный интеллект сегодня активно применяется в самых разных областях, включая музыкальное творчество. Благодаря прогрессу в области машинного обучения появилась возможность генерировать музыкальные произведения при помощи нейросетей. В этой статье мы рассмотрим, как создать собственную музыку с использованием инструмента Audiocraft — открытой нейросетевой платформы для генерации аудио от компании Meta*.

Поговорим о том, что представляет собой Audiocraft, какие задачи можно решать с его помощью и какую музыку получится сгенерировать. Рассмотрим процесс установки этого инструмента и на примерах покажем, как им пользоваться для создания собственных аудиодорожек в разных жанрах — от поп и рок-музыки до электроники и даже шумов природы.

Чтобы начать пользоваться нейросетью, вам понадобится проделать несколько шагов. Но перед этим, стоит также упомянуть, что вам обязательно потребуется видеокарта от Nvidia (если у вас есть альтернативная информация - поправьте меня в комментариях, буду благодарен).

Рекомендуемое количество видеопамяти составляет 16 гигабайт, но в реальности нейросеть прекрасно себя показывает и на видеокартах с меньшим объемом. Например, на моей 3060 TI с ее 8 гигами, все замечательно работает. Читайте ниженаписанное внимательно и постарайтесь не ошибиться. Я буду показывать процесс установки для операционной системы Windows. Начнем.

1) Скачайте и установите Git.

2) Скачайте и установите Python.

3) Скачайте и установите PyTorch. Чтобы это сделать, вам понадобится открыть командную строку от имени администратора и прописать там следующие команды:

Важно делать все по порядку. Категорически не следует наслаивать одну установку на другую. Дождитесь установки одной программы и только затем начинайте установку следующей.

4) Далее вам следует создать отдельную папку на вашем компьютере. Назовите ее как-нибудь, обязательно на английском языке. Я назвал папку «musicgen».

5) Откройте папку и кликните по верхней строке проводника. Пропишите там «cmd» и нажмите Enter.

6) Откроется командная строка. В ней вам необходимо прописать следующую команду:

Начнется процесс установки репозитория в созданную вами папку.

7) Когда процесс завершится, перейдите в скачанную только что папку AudioCraft и, по аналогии с созданной вами ранее папкой, откройте командную строку с помощью верхней строки проводника.

8) В открывшемся окне командной строки пропишите следующее:

9) После установки этих компонентов вы можете попробовать прописать в этом же окне следующую команду:

Если на этом моменте никакой ошибки в командной строке не появится, то можете смело открывать IP-адрес, который высветится в ней же. Он будет начинаться с цифр 127. Просто кликните по нему левой кнопкой мыши, держа при этом CTRL. Поздравляю! Вы установили AudioCraft на свой ПК и уже можете приступать к генерации треков.

К сожалению, без проблем при установке может не обойтись. Неизвестно, почему, но многие люди сталкиваются с данной ошибкой при установке нейросети. С ней столкнулся и я.

Появляется она при вводе команды "python app.py" (9 пункт моей инструкции) и гласит, что файл "app.py" найти не удалось. Сейчас покажу, как это исправить и все таки запустить нейросеть.

Решение, на самом деле, очень простое. Вам достаточно лишь зайти в папку "demos", ко��орая находится в корневой папке нейросети AudioCraft (ее вы скачивали изначально). Здесь вы найдете файл с расширением .py и именно его вам нужно переименовать в "app.py", после чего скопировать и вставить в корень папки AudioCraft.

Затем попросту запускаете cmd, аналогично тому, как вы это делали в 7 пункте моей инструкции и прописываете команду «python app.py». Нейросеть должна начать работать.

И вот вы успешно установили и запустили нейросеть. Но что же она из себя представляет и как ей правильно пользоваться? На самом деле, ничего особенно трудного здесь нет.

Вводите ваш запрос в поле Input Text, после чего выбираете модель, с помощью которой хотите сгенерировать музыку. Для большинства компьютеров подойдет модель musicgen-melody. После этого выбираете длительность композиции. Оптимальным вариантом будет 10-30 секунд для средне бюджетных ПК. Если хотите, можете попробовать создать более длинные треки, однако учитывайте, что и ресурсов ваш компьютер потратит гораздо больше, да и время генерации увеличится в разы.

После всех проделанных манипуляций, нажимайте кнопку «Generate» и ждите, пока трек будет готов. Полученную композицию можно скачать на ваш ПК и распространять кому и как угодно.

Что касается остальных настроек, которые есть в интерфейсе нейросети, то тут могу порекомендовать вам ознакомиться с документацией, которая доступна по этой ссылке.

Примеры треков вы можете прослушать здесь.

Всем удачи!

*Meta — в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России.