[Перевод] Четыре достаточно простых, но интеллектуальных инструмента для написания музыки для вашего киношедевра

Творчество с применением искусственного интеллекта теперь включает и использование программ для написания музыки, которыми может управлять любой

В старые добрые времена можно было провести день, снимая своё собственное видео с участием домашних, составить для него музыкальное сопровождение при помощи нарезки из любимых песен и закачать его в интернет, без проблем делясь им со всеми. Но после того, как роботизированные инструменты для отслеживания соблюдения авторских прав начали сканировать новые загрузки, общество постепенно стало всё больше волновать вопрос правильного лицензирования песен, и теперь уже не получится использовать какую угодно музыку для публично доступного видео.

Что же делать начинающему, в лучшем случае, музыканту? Я маршировал в колледже, поэтому понимаю, что такое ритм, фразировка и темп, но мои возможности по созданию музыки остановились где-то на уровне средней школы.

К счастью, у нас, авторов фильмов и подкастов с проблемами с музыкой, теперь есть специальные роботы. За последнее время появилось несколько ИИ-проектов хорошего качества – одним из самых заметных, пожалуй, будет Flow Machines от Sony, дебютный альбом которого вышел в январе – и медленно, но верно эти инструменты перемещаются из исследовательских лабораторий и профессиональных студий в общий доступ.

Так что, когда на выходных я недавно оказался предоставлен самому себе, и компанию мне составила только моя собака и желание поесть тако вечером, я решил, что пришло время возвращения на сцену короткометражных фильмов. Моя документалка про Эрни из породы ши-тцу озвучена полностью при помощи умных инструментов для написания музыки, доступ к которым есть у всех и прямо сейчас.

Chrome Song Maker

Song Maker вышел 1 марта, и представляет собой новейший из технических инструментов для написания мелодий. Технически это не ИИ-композитор. Это инструмент, упрощающий композицию до такой степени, когда каждый сможет заниматься этим, вне зависимости от того, известны ли вам такие вещи, как тон или ритм. Он встречает пользователей решёткой, представляющей такты по оси x и тональность по оси y, и заполнение любого квадратика выдаёт звук. Выбор инструментов ограничен пятью тональными (пианино, синтезатор, струнные, маримба, деревянный духовой инструмент) и четырьмя ударными (электронный, ксилофон, барабаны и конга). Можно вводить данные мышкой, можно пользоваться MIDI-клавиатурой или петь в микрофон, можно даже пользоваться клавиатурой.

Song Maker является частью Chrome Music Lab, проекта Google по созданию браузерных инструментов, помогающих изучать базовые принципы музыки. В Music Lab уже есть полдюжины инструментов, сфокусированных на разных темах, от осцилляторов и ритма до арпеджио. И хотя они нацелены примерно на уровень начальной школы, в программе Song Maker достаточно настроек для того, чтобы любой начинающий композитор смог работать эффективно. Можно сделать петлю до 16 тактов, изменить размер на какой-нибудь экзотический вроде 5/4 или 12/8, разбивать ноты на триоли или шестнадцатые, выбрать тональность и начальную ноту, и использовать три октавы.

Что касается моей задачи, то Song Maker позволяет выбрать только по одному тональному и ударному инструменту. Мне нужно было что-то более сочное, что-то из разряда шпионских триллеров, для момента, когда собака раскрывает свою работу. В идеале я хотел скомбинировать созданный мною основной ритм со струнными высокой октавы. Но Song Maker не позволяет накладывать дорожки друг на друга и создавать более серьёзные композиции, даже если вы будете выбирать одинаковое количество тактов и темп. Для этого понадобится простая программа-редактор и возможность записывать звук, выдаваемый браузером. Ограничения Song Maker оказываются положительными и отрицательными – всё достаточно просто для того, чтобы создать что-то непригодное к прослушиванию, но у композиций есть потолок сложности.

Google Magenta tools

Google не была бы Google, если бы в компании не велось нескольких проектов по обновлению процесса создания музыки. По сравнению с Chrome Music Labs, у проекта Magenta подход более прямой.

Впервые проект был представлен в 2016 на Moogfest (всё более популярная конференция для любителей технологий в музыкальной сфере). Magenta стремится воспользоваться ИИ и машинным обучением, чтобы дать каждому способность создавать музыку.

«Цель Magenta – не просто создать новые генерирующие музыку алгоритмы, но „закрыть творческую петлю“, — писала команда в анонсе инструмента N Synth. „Мы хотим наделить создателей инструментами, созданными при помощи машинного обучения, вдохновляющими будущие направления исследований. Вместо того, чтобы заменять человеческое творчество на ИИ, мы хотим снабдить наши инструменты более глубоким пониманием, чтобы они были более интуитивными и вдохновляющими“.

Инструмент N Synth, позволяющий вам скрестить два инструмента и получить новый звук, находится чуть выше моих способностей. То же касается других инструментов, доступ к которым может получить каждый желающий углубиться в работу Magenta – команда выпускает все инструменты и модели в свободный доступ на GitHub. Для моих целей я выбрал два инструмента из проекта, находящиеся в рабочем состоянии: Infinite Drum и AI Duet.

Infinite Drum, по сути, драм-машина, созданная из повседневных звуков, организованных при помощи машинного обучения. „Компьютеру не давали описаний или тегов – только звуки“, — указано в описании на GitHub. „Используя технологию t-SNE, компьютер размещает похожие звуки ближе друг к другу. Можно использовать карту для изучения окрестностей схожих звуков и даже создавать ритм при помощи секвенсора“.

С точки зрения пользователя инструмент становится чрезвычайно простым. Вы прокручиваете список в поисках категории звука, и выбираете четыре звука для комбинирования. Можно выбрать случайную смесь или изменить темп, но в целом вы просто нажимаете „проигрывать“ и получаете зацикленный ритм.

AI Duet наоборот, поможет вам создать идеальную мелодию. Вы нажимаете любые клавиши, имея навыки игры на пианино любого уровня, а инструмент при помощи машинного обучения наигрывает вам ответ, пытаясь создать мелодию. ИИ использует машинное обучение на куче композиций, чтобы затем отвечать на ваш собственный ввод (учитывая тональность и ритм). Как говорит разработчик инструмента, Йотам Манн, „Весело будет даже просто понажимать на клавиши случайно. Нейросеть пытается выдать что-то связное на основе любого ввода“.

Эти программы, как и Chrome Music Labs, больше относятся к отдельным инструментам, нежели к комплексным творческим платформам. Поэтому для создания итогового продукта мне понадобилась отдельная программа для редактирования аудио.

Amper AI

Если перечисленные инструменты кажутся вам слишком сложными, не волнуйтесь. Пока Google продвигает свою Magenta, а Sony даёт в руки настоящим музыкантам продукт FlowMachine под управлением ИИ, для всех остальных существует реальный проект, позволяющий создавать музыку: Amper AI.

Это не первый проект по сочинению музыки при помощи ИИ, ставший доступным для всех (к примеру, британцы, сделавшие Jukedeck, работают с 2015), но это наилучшее сочетание простоты, настроек и итогового качества. В прошлом году Amper попал в заголовки газет, когда ютубер Тарином Саузерном создал сингл, практически неотличимый от тех песен, что попадают в Top 40. Сейчас Сазерн собирается выпустить целый альбом, записанный с помощью ИИ, под названием „I Am AI“. Разные композиции помогали создавать такие инструменты, как Amper, IBM Watson, Aiva и Google Magenta.

»Наша цель – писать музыку не хуже Джона Уильямса, и чтобы она звучала так, будто была записана на студии Abbey Road Studios и спродюсирована Куинси Джонсом«, сказал мне в декабре генеральный директор Amper Дрю Сильверстайн. «Мы стремимся к подобным музыкальным стандартам, но, конечно, пока ещё их не достигли. Ещё многое нужно сделать на музыкальной стороне проекта до того, как Amper нельзя будет отличить от музыки, созданной людьми, и тогда это будет наиболее ценный инструмент для творческих личностей».

Компанию основали музыканты, а не программисты, поэтому Сильверстайн с товарищами считают свой ИИ инструментом, а не заменой (поэтому они и сотрудничают с Сазерном вместо того, чтобы просто раскручивать сингл как работу бота). Они тренировали свой ИИ на работе реальных композиторов так же, как AlphaGo обучался на играх из реальных матчей. В результате появился инструмент, который даже в упрощённой бета-версии предлагает множество настроек, и создаёт почти идеальные и полезные мелодии.

У Amper сейчас есть два разных интерфейса на выбор: Simple и Pro. Первый даёт вам выбрать между предустановленными стилями и задать длительность мелодии. Второй позволяет начать с похожих параметров, связанных со стилем, но затем можно закопаться поглубже и поменять, судя по всему, вообще всё: количество инструментов, типы инструментов, тональность, временные характеристики, и прочее.

На 30 секундах в моём видео вы можете слышать результат того, как простая версия Amper реализовала выбранный стиль «современная народная музыка». На отметке в 2:00 звучит вдохновляющая композиция, созданная в Amper Pro. Я представлял себе медные духовые инструменты в стиле чего-то вроде «Gonna Fly Now», но у текущих версий ИИ-композиторов не получается выдавать реалистичные духовые. И всё же в данном случае композиция получилась не самая плохая.

Получу ли я в ближайшее время Оскара за лучшую оригинальную композицию, используя ИИ-инструменты? Наверное, нет. Но даже на ранних стадиях эти технологические игрушки для композиторов-непрофессионалов работают. Они достаточно простые для того, чтобы я мог не тратить целый день на мелодию длительностью в 30 секунд, и мне не надо вообще ничего понимать в теории музыки. Однако этих инструментов хватает, чтобы я не расстраивался по поводу того, что в фильме про Эрни я не могу использовать музыку, написанную Вагабон. Настоящих музыкантов, наверное, всегда будут приглашать в первую очередь, даже при наличии ИИ-композиторов, но положение творческих личностей, пишущих музыку по выходным, будет становиться всё лучше.