Ответы на вопросы про generative art от СЕО Mubert, cтудии Stain, креативного директора in[visible] и преподавателя Musical Wave
Привет! Это Musical Wave — музыкальная школа для тех, кто хочет выражать себя с помощью музыки и делать это профессионально. В середине декабря мы вместе с event-агентством Advanza провели онлайн-дискуссию Lustra про генеративное искусство. Запись уже доступна на YouTube.
Статья ниже — краткая выжимка того, что обсуждалось во время дискуссии. Мы прикрепили примеры и полезные ссылки, которые рекомендовали или обсуждали наши спикеры
Участники дискуссии
- Модератор: Вадим Эпштейн, креативный директор студии in[visible]. Московский медиа-художник, ведущий российский VJ. Работы Вадима демонстрировались в галереях Монреаля, Ванкувера, Парижа, Базеля и Новой Третьяковке.
Контакты: Сайт; FB; Vimeo - Александр Федюшкин, преподаватель школы Musical Wave, продюсер, участник Playtronica, разработчик музыкального ПО (randomknobs) и электронный музыкант (hypnaton), использующий генеративные методы в процессе программирования звуковых инсталляций.
Контакты: FB; Сайт; RandomKnobs FB - Алексей Кочетков, CEO в Mubert — сервиса для создания генеративной музыки. Алгоритмы Mubert берут семплы из библиотеки звуков и создают бесконечные музыкальные потоки.
Контакты: Сайт Mubert; IG Mubert; IG Алексея - Московская студия Stain, которая создает аудиовизуальные проекты, пространственные и световые инсталляции в эстетике абстрактного. Stain часто участвует в выставках и фестивалях: MIGZ, Круг Света, Мифология Онлайн, Plums, Ночь Новых Медиа, Resonate, Fulldome Festival (Jena)
Контакты: Сайт; IG
Что такое нейросети?
Нынешние нейросети — это смоделированное еще в 1960-х представление о том, как работает человеческий мозг. Ученые считали, что существуют отдельные простые нейроны, которые пропускают сигналы, потом они складываются в глубокие слои.
С одной стороны мы имеем дело с гигантской функцией, а с другой достаточно неплохо моделируем сенсорное представление человека. При достаточной подготовке и нетривиальности подхода нейросети могут генерировать сложные вещи, которые не были очевидны в изначальных материалах и данных, которые давали им на «вход».
К примеру есть проект Deep dream. В нем отдельные нейроны специально гипер-усиливали, чтобы сеть начала видеть то, чего изначально в картинке не было. В данном случае взяли кусок из Black Mirror и пытались заставить нейросеть видеть человеческие лица.
Как ты начал работать с генеративным искусством?
Мое знакомство выглядело так. Я играл в группе на гитаре и, хотя у нас хорошо получалось, в один момент все резко распалось. Поэтому я начал искать себе другого товарища по импровизации, но решил сделать это в виртуальном мире. Мне нужен был партнер без человеческих проблем, такой чтобы его не надо было ждать на репетициях.
Тогда же я столкнулся с Rozzen Advanced Ster Sequencer и начал пробовать с ним играть — подключал три секвенсера к трем синтезаторам и играл случайные комбинации. Так начался мой путь в генеративной музыке.
Идея Mubert родилась очень просто: я бегал каждый день с другом, и бегали мы в темп музыки. Переключать плейлисты, искать новые треки — все это раздражало. Пробовали делать подборки, но они тоже не зашли.
И так в один из дней я просто предложил своему другу — почему мы не можем взять множество сэмплов, запустить их в одном нужном темпе и пусть они бесконечно играют музыку, которая совпадает с темпом наших шагов, и мы будем бежать в бесконечном ритме. В этот же вечер пятеро друзей собрали стартап, который первое время был RnD.
На что способно генеративное искусство в визуальном плане?
Генеративное искусство часто связано с creative coding или арт-программированием. Часто этот процесс называют новой органикой, потому что по сути это создание процесса, а не объекта.
Пример простого нейро-генератива — видеомэппинг с переносом стиля, который используется в приложениях типа Prisma (там те же технологии, только анимированные).
Далеко не все работы находятся в цифровом воплощении. Взять тот же Аттрактор Лоренца на водяном колесе — это пример генеративного искусства без «цифры». Вода падая на колесо заставляет его крутиться, то в одну, то в другую сторону, выдавая новый результат.
Как генератив работает с музыкой и звуком?
«Генератив» можно использовать для создания музыкальных сюрпризов. Так, кроме, кроме человеческой составляющей в вашей музыке и выступлении появляется какой-то призрак, который играет с вами или влияет на то как вы играете.
Однажды я делал звуковое оформление для инсталляции Magic Cave в Нидерландах. Я сделал неповторяющийся саундтрек, выбрав объект, который бесконечно двигался по прямоугольнику. Этот прямоугольник я разделил на зоны и к каждой зоне привязал звуковую петлю. В зависимости от положения шарика изменялась громкость петли и получался трек без повторений..
Генератив может использоваться как инструмент для достижения дополнительного эстетического эффекта. К примеру, можно взять песню Егора Летова «Про дурачка» и добавить туда Google Magenta Piano Performer с импровизацией на тему, а потом еще оркестр от Google Magenta GANSynth. Получится нечто более разнообразное (хотя это тоже пример «послушного инструмента», без неожиданных эффектов)
К тому же сейчас появляются сети, которые генерируют конкретную музыку — речь идет об архитектуре Jukebox open AI. Этой сети можно дать затравку, которую она будет продолжать сколько угодно, не теряя ни бит, ни темп. Правда, когда начинается сгенерированная часть, то разница все еще чувствуется. И генерируется эта часть долго — одна минута может создаваться сутки.
Как работает Mubert: есть отдельные звуки, лупы и есть система лайка/дизлайка, которая является исходными данными для ИИ. Все это пакуется вместе и выдается человеку, то есть у каждого пользователя свой ИИ.
В будущем мы планируем внедрить Mubert в смарт-дома, аэропорты, HoReCa + добавить адаптацию музыки вокруг человека по сердцебиению, настроению, скорости шага, типом активностей.
Смогут ли нейросети заменить музыкантов?
Независимо от развития генератива, мне кажется, что музыканты никуда не денутся. Когда ты музыкант, то ты музыкант «из себя», а не из-за того, что тебя кто-то слушает. При этом музыкантам, которые сидят дома и создают свою музыку, проекты вроде Mubert помогают монетизировать творчество. При этом чем больше к нам подключается компаний, тем больше royalty мы распределяем владельцам сэмплов.
Какие советы вы можете дать тем, кто только начинает свой путь?
Мне кажется, что важно найти такую программную среду, которая приносит удовольствие или по крайне мере не раздражает. Среду, где ты испытываешь эврику. Потому что если ты делаешь что-то и у тебя возникает мысль «О, у меня получилось», то это дает энергию на то, чтобы работать дальше и учиться становится проще.
Советую слушать себя и не бросать. Конечно возникнет момент, когда захочется от всего отказаться, когда будет проект, который будет реально тяжело сделать, но в процессе обучения обязательно должно быть интересно.
Еще важный фактор — коммьюнити. Когда я начинала работать с vvvv, я поехала во Франкфурт на фестиваль и познакомилась с ребятами, которые учили этому.
Если хочется заниматься генеративом, но при этом хочется делать что-то руками, то это тоже возможно. Хороший пример — проекты Димы Морозова..
Функция Follow Action в настройках клипа в Ableton, самый легкий способ попробовать начать свой генеративный путь в компьютерной музыке.
Я отдельно отмечу Google Magenta — это проект по созданию нейросетевых пакетов для творчества. Там можно программировать на Python, если есть желание; для музыки там есть набор готовых плагинов для Ableton, в которых собраны несколько нейросетей.
Полезные ссылки
Материалы
- Книга natureofcode.com
- Скетчи из книги «Creative Coding on the Web», которые можно использовать для своих проектов generative-gestaltung.de/2
Visual
Audio
- supercollider.github.io
- puredata.info
- ableton нейроплагины magenta.tensorflow.org/studio
- нейросети (python) magenta.tensorflow.org
Нейросети
⌘⌘⌘
Подписывайтесь на наш закрытый телеграм-канал, чтобы следить за новостями. Там мы выкладываем все анонсы следующих Lustra (следующая в феврале), а также материалы с лекториев.