В основе программы модифицированная нейросеть StyleGAN2 и бесплатные наборы данных.
Группа исследователей компьютерного зрения из Школы компьютерных наук имени Блаватника при Университете Тель-Авива модифицировала нейросеть для генерации лиц людей StyleGAN2, и создала утилиту HyperStyle для редактирования фотографий.
Экспериментальное ПО изменяет возраст изображенных на снимках людей, а также стилизует разные изображения с помощью предобученных моделей-фильтров, как в мобильном приложении Prisma.
HyperStyle распространяется под лицензией MIT, поэтому её могут использовать медиа для создания иллюстраций или достоверных копий изображений, защищённых авторским правом, добавляют создатели программы.
Кроме того, разработчики HyperStyle утверждают, что утилита справляется с незнакомыми изображениями без явных артефактов.
TJ убедился, что алгоритм не всегда корректно распознаёт лица на снимках, даже если фотографии были предварительно обработаны в графическом редакторе. Искажения возникают, когда на фотографиях присутствуют посторонние объекты, например микрофоны, руки или одежда.
Авторы пишут, что сильно упростили модель StyleGAN2 — в репозитории всего три скрипта (сценария) её использования. Например, с помощью параметров получится редактировать лица людей на фотографиях или на основе готовых снимков генерировать достоверные копии автомобилей.
Сами разработчики называют этот эксперимент сценарием для использования нейросетей в реальном мире. При этом для тонкой настройки программы требуется знание языка Python, а редактировать снимки получится на компьютере под управлением Linux в Jupiter Notebook или в сервисах для программирования в облаке.
Настройки HyperStyle подробно задокументированы в научной статье на Arxiv и в репозитории на Github. Протестировать программу можно в Google Collab.
