Видео: нейросеть «перекрашивает» кино под Ван Гога (Мунка, Пикассо, Кандинского, наскальную живопись)

Google уже демонстрировала, как нейросеть создаёт картины в стиле Ван Гога и Пикассо, но такой метод не подходит для видео: результат покадрового изменения фильма будет сложно склеить. Немецкие учёные справились с этой проблемой — их нейросеть распознаёт объекты в кадре, запоминает их и использует один и тот же стиль для отрисовки, когда они появляются снова.

Переработка кадров из фильма «Ледниковый период» в стиле «Звёздной ночи» Ван Гога

Нейронные сети обучают с помощью большого количество изображений. Каждая такая сеть состоит из ряда слоёв — от двух до 30 — с разным уровнем абстракции. Фотография или рисунок для получения конечного результата проходит через все эти слои. В июле 2015 года Google продемонстрировала, как нейросеть создаёт произведения искусства из рандомного шума.

В том же году в университете Тюбингена, Германия, провели эксперимент, который продемонстрировал способность нейросети подделывать художественный стиль великих мастеров — Ван Гога, Пикассо, Мунка и других. В качестве исходника используются любые изображения и фотографии. Результаты — на изображении ниже. Главным достижением авторы эксперимента посчитали возможность независимо управлять контентом и стилем в нейросети.

На исследование учёных из университета Тюбингена ссылаются Алексей Досовицкий, Мануэль Рудер и Томас Брокс из университета Фрайбурга, Германия. Учёные улучшили возможности нейросети для того, чтобы изменять не отдельные изображения, а видеоряд. В случае покадрового изменения объекты в каждом кадре могут быть переработаны различно, и результат будет сложно совместить. Учёные справились с этой проблемой, научив нейросеть распознавать объекты, следить за тем, чтобы их отображение не менялось слишком сильно в видео, и использовать каждый раз при их появлении один и тот же стиль.