VR-разработчик собрал систему захвата движений лица и тела на базе iPhone X

И намерен использовать полученные данные в игре.

Американский разработчик из студии Kite&Lighting, специализирующейся на создании игр для виртуальной реальности, нашёл способ записывать лицевую анимацию с помощью iPhone X. На официальном YouTube-канале компании он выложил три ролика об экспериментах с технологией, которыми он занимается в свободное от работы время.

Он использовал инструмент Faceshift, который позволяет захватывать движения лицевых мышц, в основе которого лежит фреймворк ARKit. Разработчик признаётся, что он ищет быстрый и дешёвый создания лицевой анимации. Полученные анимации он планирует использовать в игре Bebylon: Battle Royale.

Он использует блендшейпы и риг, созданные компанией Eisko Services. В описании первого ролика разработчик отмечает, что устройство не отслеживает движения глаз, а моргание заставляет двигаться всю голову целиком.

В следующем ролике iPhone X уже способен отслеживать движения глаз, а блендшейпы стали лучше. При этом разработчик отмечает, что с ними предстоит ещё много работы.

Третье тестовое видео посвящено совмещению анимации лица, захваченной с телефоном, и анимации всего тела, которая была получена с помощью костюма Xsens.