Сбер открыл доступ к Kandinsky Avatar для оживления и озвучивания фото

Сбер предоставил разработчикам доступ к Kandinsky Avatar 1.0 — семейству нейросетевых моделей, которые создают говорящих видеоаватаров по фотографии и аудиозаписи. Исходный код и веса моделей опубликованы под лицензией MIT на GitHub, GitVerse и Hugging Face. Модели можно бесплатно применять в коммерческих проектах.

Видео Сбера

Модель создаёт ролики длиной до одной минуты с частотой 24 кадра в секунду. Чтобы сгенерировать видео, нужно загрузить изображение и запись голоса, а также кратко описать сцену. Нейросеть согласует движения губ с речью и дополняет образ мимикой, поворотами головы и жестами. Эмоции персонажа, например радость или грусть, можно указать в текстовом описании. При этом модель не генерирует и не имитирует голос, а использует аудиозапись пользователя.

Kandinsky Avatar 1.0 доступна в двух версиях. Pro создаёт видео в разрешении HD, а облегчённая Lite работает на обычных домашних видеокартах и формирует ролики в SD. Для обучения использовали свыше миллиона видеофрагментов на 95 языках.

В слепом тестировании версию Pro сравнили с Kling Avatar 2, LongCat-Avatar-1.5 и HeyGen IV. Участники отдавали предпочтение роликам Kandinsky в 63%, 60% и 54% сравнений соответственно. Особенно заметным оказалось преимущество модели в точности синхронизации артикуляции с речью и естественности движений.

Технологию можно применять в образовательных платформах, видеокурсах, играх и сервисах персональных видеообращений, а также для создания виртуальных консультантов и локализации контента. В дальнейшем Сбер планирует интегрировать видеоаватары в собственные продукты.

Источник: iXBT