Nvidia анонсировала инновационную технологию для создания персонажей с искусственным интеллектом, которые внешне и по поведению напоминают живых людей. Эта технология, известная как Nvidia Ace, представляет собой комплекс цифровых решений для генерации речи, интеллекта и анимации на основе генеративного ИИ.
Nvidia представила новые плагины Unreal Engine 5 для Nvidia Ace, облегчающие процесс создания и внедрения персонажей MetaHuman на базе ИИ на ПК с операционной системой Windows. Разработчики теперь могут воспользоваться плагином Audio2Face-3D для лицевой анимации с применением искусственного интеллекта, где движения губ и лица будут синхронизированы с аудиоречью в Autodesk Maya. Этот плагин предлагает интуитивно понятный интерфейс, упрощающий разработку аватаров в Maya. Поставляется он с исходным кодом, что позволяет разработчикам модифицировать его под свои нужды и адаптировать к различным инструментам для создания цифрового контента.
Кроме того, Nvidia разработала микросервис рендеринга Unreal Engine 5, который базируется на технологии Unreal Pixel Streaming от Epic. Теперь он поддерживает микросервис Nvidia Ace Animation Graph и операционную систему Linux в режиме раннего доступа. Animation Graph обеспечивает естественные и отзывчивые движения персонажей, а благодаря интеграции с Unreal Pixel Streaming разработчики могут транслировать свои творения MetaHuman на любые устройства.
Проект-пример Nvidia Ace для Unreal Engine 5 служит ориентиром для разработчиков, стремящихся интегрировать цифровых персонажей в свои игры и приложения. Этот проект-пример расширяет возможности подключения различных модулей ACE, включая Audio2Face-3D для синхронизации анимации лица и губ, Nemotron-Mini для генерации ответов и RAG для контекстной информации.
Nvidia отмечает, что разработчики способны сформировать базу данных с контекстной информацией и генерировать соответственные ответы с минимальной задержкой, обеспечивая плавную работу лицевых анимаций MetaHuman в Unreal Engine 5. Все микросервисы оптимизированы под эксплуатацию на ПК с Windows с быстрой реакцией и экономией памяти. Вдобавок, Nvidia предоставила серию инструкций по настройке и использованию плагинов для Unreal Engine 5.
Autodesk Maya предоставляет мощные функции анимации для разработчиков игр и технических художников, что позволяет создавать высококачественную 3D-графику. Теперь с плагином Audio2Face-3D разработчики смогут легко генерировать высококачественную лицевую анимацию, синхронизированную с аудио, для любого персонажа. Пользовательский интерфейс адаптирован для удобного перехода в среду Unreal Engine 5. Исходный код и скрипты доступны для настройки и могут быть модифицированы для совместимости с другими инструментами цифрового контента.
Для начала работы с Maya разработчики могут запросить API-ключ или загрузить Audio2Face-3D NIM. Nvidia NIM — это набор удобных для использования микросервисов вывода ИИ, упрощающих развертывание базовых моделей в облачных системах и центрах обработки данных.
Разработчики, внедряющие цифровых людей через облако, стремятся охватить максимальную аудиторию, однако потоковая передача высококачественных персонажей требует серьёзных вычислительных мощностей. Микросервис рендеринга Unreal Engine 5 в Nvidia Ace обзавёлся поддержкой микросервиса Animation Graph и ОС Linux в раннем доступе. Animation Graph способствует созданию различных анимационных состояний, предлагая разработчикам гибкую узловую систему для управления анимацией.
Новый микросервис рендеринга Unreal Engine 5 с возможностью потоковой передачи пикселей принимает данные от микросервиса Animation Graph. Это позволяет разработчикам запускать персонажа MetaHuman на облачных серверах и передавать потоковый видеоряд и звук на любое устройство через Web Real-Time Communication (WebRTC).
Разработчики уже могут подать заявку на ранний доступ для загрузки микросервиса рендеринга Unreal Engine 5, а также заявки на ранний доступ для загрузки микросервиса с поддержкой Animation Graph и Linux. Плагин Maya Ace доступен для скачивания на GitHub.
Источник: iXBT
