Искусственный интеллект сегодня активно применяется в самых разных областях, включая музыкальное творчество. Благодаря прогрессу в области машинного обучения появилась возможность генерировать музыкальные произведения при помощи нейросетей. В этой статье мы рассмотрим, как создать собственную музыку с использованием инструмента Audiocraft — открытой нейросетевой платформы для генерации аудио от компании Meta*.
Поговорим о том, что представляет собой Audiocraft, какие задачи можно решать с его помощью и какую музыку получится сгенерировать. Рассмотрим процесс установки этого инструмента и на примерах покажем, как им пользоваться для создания собственных аудиодорожек в разных жанрах — от поп и рок-музыки до электроники и даже шумов природы.
Установка
Чтобы начать пользоваться нейросетью, вам понадобится проделать несколько шагов. Но перед этим, стоит также упомянуть, что вам обязательно потребуется видеокарта от Nvidia (если у вас есть альтернативная информация — поправьте меня в комментариях, буду благодарен).
Рекомендуемое количество видеопамяти составляет 16 гигабайт, но в реальности нейросеть прекрасно себя показывает и на видеокартах с меньшим объемом. Например, на моей 3060 TI с ее 8 гигами, все замечательно работает. Читайте ниженаписанное внимательно и постарайтесь не ошибиться. Я буду показывать процесс установки для операционной системы Windows. Начнем.
1) Скачайте и установите Git.
2) Скачайте и установите Python.
3) Скачайте и установите PyTorch. Чтобы это сделать, вам понадобится открыть командную строку от имени администратора и прописать там следующие команды:
а) pip uninstall torch torchvision functorch tinycudann
б) pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 —extra-index-url https://download. pytorch. org/whl/cu118
Важно делать все по порядку. Категорически не следует наслаивать одну установку на другую. Дождитесь установки одной программы и только затем начинайте установку следующей.
4) Далее вам следует создать отдельную папку на вашем компьютере. Назовите ее как-нибудь, обязательно на английском языке. Я назвал папку «musicgen».
5) Откройте папку и кликните по верхней строке проводника. Пропишите там «cmd» и нажмите Enter.
6) Откроется командная строка. В ней вам необходимо прописать следующую команду:
git clone https://github. com/facebookresearch/audiocraft
Начнется процесс установки репозитория в созданную вами папку.
7) Когда процесс завершится, перейдите в скачанную только что папку AudioCraft и, по аналогии с созданной вами ранее папкой, откройте командную строку с помощью верхней строки проводника.
8) В открывшемся окне командной строки пропишите следующее:
pip install -e.
9) После установки этих компонентов вы можете попробовать прописать в этом же окне следующую команду:
python app. py
Если на этом моменте никакой ошибки в командной строке не появится, то можете смело открывать IP-адрес, который высветится в ней же. Он будет начинаться с цифр 127. Просто кликните по нему левой кнопкой мыши, держа при этом CTRL. Поздравляю! Вы установили AudioCraft на свой ПК и уже можете приступать к генерации треков.
Решение ошибки «[Errno 2] No such file or directory»
К сожалению, без проблем при установке может не обойтись. Неизвестно, почему, но многие люди сталкиваются с данной ошибкой при установке нейросети. С ней столкнулся и я.
Появляется она при вводе команды «python app.py» (9 пункт моей инструкции) и гласит, что файл «app.py» найти не удалось. Сейчас покажу, как это исправить и все таки запустить нейросеть.
Решение, на самом деле, очень простое. Вам достаточно лишь зайти в папку «demos», которая находится в корневой папке нейросети AudioCraft (ее вы скачивали изначально). Здесь вы найдете файл с расширением .py и именно его вам нужно переименовать в «app.py», после чего скопировать и вставить в корень папки AudioCraft.
Затем попросту запускаете cmd, аналогично тому, как вы это делали в 7 пункте моей инструкции и прописываете команду «python app.py». Нейросеть должна начать работать.
Как использовать AudioCraft?
И вот вы успешно установили и запустили нейросеть. Но что же она из себя представляет и как ей правильно пользоваться? На самом деле, ничего особенно трудного здесь нет.
Вводите ваш запрос в поле Input Text, после чего выбираете модель, с помощью которой хотите сгенерировать музыку. Для большинства компьютеров подойдет модель musicgen-melody. После этого выбираете длительность композиции. Оптимальным вариантом будет 10-30 секунд для средне бюджетных ПК. Если хотите, можете попробовать создать более длинные треки, однако учитывайте, что и ресурсов ваш компьютер потратит гораздо больше, да и время генерации увеличится в разы.
После всех проделанных манипуляций, нажимайте кнопку «Generate» и ждите, пока трек будет готов. Полученную композицию можно скачать на ваш ПК и распространять кому и как угодно.
Что касается остальных настроек, которые есть в интерфейсе нейросети, то тут могу порекомендовать вам ознакомиться с документацией, которая доступна по этой ссылке.
Примеры треков вы можете прослушать здесь.
Всем удачи!
*Meta — в том числе ее продукты Facebook и Instagram, признана экстремистской организацией в России.
