«Машинный звук»: синтезаторы на базе нейросетей

11.08.2018

Разработчики из исследовательского проекта Magenta (подразделение Google) представили синтезатор с открытым исходным кодом NSynth Super. В его основе лежит система искусственного интеллекта, которая миксует несколько предварительно загруженных сэмплов (например, звучание гитары и пианино) в новый звук с уникальными характеристиками.

Подробнее о системе NSynth Super и других алгоритмах-композиторах расскажем далее.

Фото Ta Da CC

Подробнее об NSynth Super

Синтезатор NSynth Super имеет сенсорный дисплей, на котором отображается квадратная «рабочая поверхность». Музыкант выбирает несколько инструментов, звучание которых будет использоваться для создания нового звука, и назначает их углам этого квадрата.

Во время выступления исполнитель управляет воспроизводимым звуком, перемещая указатель в пределах рабочего поля. Результирующий сэмпл будет представлять собой комбинацию исходных звуков в разных пропорциях (в зависимости от близости курсора к тому или иному углу).

Новые сэмплы синтезируются при помощи алгоритма машинного обучения NSynth. Он обучался на 300 тыс. инструментальных звуков при помощи открытых библиотек TensorFlow и openFrameworks. В его работе также применяется модель WaveNet.

Для генерации новых сэмплов NSynth анализирует 16 характеристик входящих звуков. Затем они линейно интерполируются для создания математических представлений каждого аудиосигнала. Эти представления декодируются обратно в звуки, которые имеют объединенные акустические качества тех, чтобы ли на входе алгоритма.

Использовать NSynth Super можно с любым MIDI-источником: например, DAW, синтезатором или секвенсором. Как работает NSynth Super вы можете посмотреть в этом видео. В нем исполнитель «смешивает» звуки ситара, электрического фортепиано и др:

NSynth Super — экспериментальный инструмент, потому не будет продаваться как коммерческий продукт. Однако его код и схема сборки выложены на GitHub.

Кто еще использует МО для создания музыки

В проекте Magenta работают и над другими технологиями, связанными с машинным обучением. Одна из них — модель MusicVAE, которая может «смешивать» мелодии. На её основе уже создано несколько веб-приложений: Melody Mixer, Beat Blender и Latent Loops. MusicVAE (и другие модели от Magenta) собраны в открытой библиотеке Magenta.js.

Над алгоритмами для создания музыки работают и другие компании. Например, в Sony Computer Science Laboratories реализуют проект Flow Machines. Их система ИИ способна анализировать различные музыкальные стили и использовать эти знания для создания новых композиций. Примером его работы может быть музыка для песни Daddy’s Car в стиле The Beatles.

В рамках проекта Flow Machines создано несколько приложений, например, FlowComposer, помогающий музыкантам писать музыку в заданном стиле, и Reflexive Looper, самостоятельно дополняющий недостающие инструментальные партии. При помощи решений Flow Machines даже записали и выпустили музыкальный альбом Hello World.

Еще пример — стартап Jukedeck. Он разрабатывает инструмент для создания композиций с заданным настроением и темпом. Компания продолжает развивать проект и приглашает к сотрудничеству разработчиков и музыкантов. Вот пример композиции, созданной алгоритмами машинного обучения Jukedeck:

Похожий инструмент создает компания Amper. Пользователь может выбрать настроение, стиль, темп и продолжительность композиции, а также инструменты, на которых она будет «сыграна». Приложение синтезирует музыку в соответствии с этими требованиями.

Над системами ИИ для написания музыки работает и компания Popgun. Они разрабатывают алгоритмы, способные писать оригинальные поп-песни. Также исследования в этой сфере проводит стриминговый гигант Spotify. В прошлом году компания открыла лабораторию в Париже, которая будет заниматься созданием инструментов на базе систем ИИ.

Заменит ли ИИ композиторов?

Хотя некоторые компании разрабатывают алгоритмы для создания музыки, их представители подчеркивают, что эти инструменты призваны не заменить музыкантов и композиторов, а наоборот, дать им новые возможности.

В 2017 году американская певица Тэрин Саузерн выпустила альбом, записанный с помощью систем искусственного интеллекта. Саузерн использовала инструменты от Amper, IBM, Magenta и AIVA. По её словам, этот опыт был похож на работу с человеком, который помогает создавать музыку.

При этом с алгоритмы машинного обучения могут использовать не только композиторы, но и другие специалисты из музыкальной индустрии. Нейронные сети лучше, чем люди, справляются с классификацией объектов. Эту особенность могут использовать музыкальные стриминговые сервисы для определения жанров песен.

Более того, при помощи алгоритмов машинного обучения можно «отделить» вокал от аккомпанемента, создавать музыкальные транскрипции или сводить треки.

Кстати, если вам нравится читать о звуке в микроформате — наш Telegram-канал: