NVIDIA научила нейросеть анимировать 3D-модель лица только на основе голоса

Бета-версия Audio2Face с поддержкой русского языка доступна для скачивания.

Программа Audio2Face работает на основе открытой платформы Nvidia Omniverse, позволяющей создавать модели в режиме реального времени. На основе аудиозаписей технология искусственного интеллекта Nvidia делает 3D-анимацию лица, сообщает журнал PC Gamer.

Компания начала выкладывать демонстрационные видео и обучающие ролики весной 2021 года, а теперь на сайте компании можно скачать открытую бета-версию программы. Технология может создавать анимацию как на основе готового файла, так и в реальном времени. Для этого нужно загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.

Демонстрационная версия использует модель персонажа Digital Mark, но для работы можно взять лицо с любыми чертами. Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека на животное.

#новости #нейросети #nvidia #анимация

Источник