Google выпустила рабочую интерактивную версию AI Duet — приложения, позволяющего играть на виртуальном пианино под аккомпанемент компьютерной системы. Приложение было представлено ещё в ноябре музыкантом Йотамом Манном (Yotam Mann), работающим в Google Creative Lab в Нью-Йорке. Примерно тогда же он опубликовал открытый исходный код проекта, на основе которого разработчики могли создавать свои приложения. Теперь же Google создала такое приложение для тех, кто не имеет навыков в программировании.
AI Duet может работать как на компьютере, так и на мобильном устройстве: в первом случае для игры используются клавиатура или мышь, во втором — сенсорный экран. Приложение действительно реализовано очень интересно — настолько, что в декабре на 31 ежегодной конференции по машинному обучению и нейровычислениям NIPS получило приз «Лучшее демо».
Приложение использует открытую аудиобиблиотеку Tone.js, созданную Манном. Также для того, чтобы правильно реагировать на нажатия пользователя на клавиши, AI Duet задействует Magenta — библиотеку, построенную на базе фреймворка Google для глубокого обучения под названием TensorFlow, имеющего открытый исходный код.
Время от времени AI Duet реагирует на игру пользователя одной или более нотой, которые могут звучать необычно — например, ниже или дольше, чем нужно. Тем не менее, по словам Дага Эка (Doug Eck), исследователя Google, работающего над Magenta, это скорее преимущество, чем недостаток. «Я думаю, неожиданность — это одна из самых важных вещей, о которых можно говорить, занимаясь генеративным медиа, — сказал Эк. — Когда всё предсказуемо, то это уже не так интересно».
Источник:
