Новая технология Nvidia: генерация видеороликов высокого разрешения по текстовым описаниям

Компания Nvidia представила новое решение в сфере искусственного интеллекта — нейросеть Video LDM, которая позволяет генерировать видеоролики по текстовому описанию, причём в высоком разрешении. В проекте принимают участие специалисты Nvidia и разработчики из Корнеллского университета.

Отмечается, что нейросеть создаёт ролики с разрешением до 2048×1280 пикселей и частотой в 24 кадра. У ИИ-модели есть 4,1 млрд параметров, 2,7 млрд из них использовали для видеороликов, по которым «тренировали» нейросеть.

Используемый в нейросети механизм Latent Diffusion Models позволяет обходиться без мощного и дорого аппаратного обеспечения, а для работы используется движок Stable Diffusion. Таким образом, Video LDM генерирует ролики покадрово.

Помимо этого, система умеет генерировать видео сцен вождения с разрешением 1024 × 512 пикселей и длительность до 5 минут.

На сайте Nvidia есть целый ряд видео, которые показывают возможности нового ИИ, есть короткие и более длинные ролики. При этом публичной версии Video LDM пока нет, также неясно, когда она появится в общем доступе. Пока что это лишь исследовательский проект, а не коммерческий.

Полноценная презентация ожидается в рамках Конференции по машинному зрению и распознаванию образов, она пройдёт 18–22 июня в Ванкувере, Канада.