На выставке GPU Technology Conference, состоявшейся на днях в Мюнхене, бюро дизайна и разработки Cambridge Consultants продемонстрировало инструмент, который создаёт картины на основе сделанных от руки набросков в стилистике великих художников.
В основе Vincent лежит нейросеть, полученная с помощью различных методов глубокого обучения. Основной из них — функция перцептивных потерь — позволяет трансформировать одно изображение в другое, сохраняя высокоуровные признаки и заменяя низкоуровневые (таким образом работает известное приложение Prisma). Однако разработчики Vincent дополнительно применили метод вложенных (stacked) сетей, который подразумевает совместную работу нескольких, натренированных по отдельности, моделей. А главное, логика программы отточена состязательным подходом, когда одна нейронная сеть пытается произвести изображение, стилистически неотличимое от картины какого-либо известного художника, а другая сеть пытается обнаружить отличия между сгенерированным изображением и известными шедеврами.
Обучение Vincent выполнялось на аппаратной платформе NVIDIA DGX-1 (шасси содержит восемь процессоров P100 либо V100) при помощи базы, содержащей тысячи произведений — от эпохи Возрождения до наших дней. В итоговую сеть вошли почти 200 тысяч параметров. В отличие от предшествующих приложений такого рода, которые используют в качестве вводных данных готовые изображения, системе Vincent достаточно предоставить созданный человеком набросок, а сеть затем определит, что «означают» те или иные формы, и заполнит холст в соответствии со стилем выбранного живописца. После того, как трансформация завершена, пользователь может внести изменения, которые будут интегрированы в новую версию картины.
