Как нейронные сети заменяют рендеринг

Нейронные сети уже везде. И фильтры в фотошопе, и подделка лиц в видео. Но многое пока ещё невозможно. Магические слова “сделай мне видео по моей любимой книжке” пока не работают. Хоть потихоньку движемся к этому. В этой статье я попробую рассказать что сейчас делается в этом направлении и где проходит современный технический прогресс.

О чем будем говорить

Сейчас нейронные сети развиваются в область создания и манипулирования контентом. Началось все с каких-то простых фильтров для фотошопа и подходов для манипуляции лиц.

Это время прошло, и инструментов для видео появляется все больше и больше. Может быть многие помнят этот пример от Nvidia:

Но в реальности, генерация действий человека, это отдельная тема которая заслуживает отдельной статьи. А если не забывать говорить про генерацию анимации для лица/генерацию артикуляции – там ещё сотни подходов:)

Заключение

Мне кажется, нельзя быть экспертом во всех тех областях, про которые я упомянул. Да и мы касались лишь каких-нибудь отдельных тематик из представленных. Но мне кажется, что такие обзоры помогают неплохо понять что сейчас происходит, зафиксировать текущий момент. Про вещи которые мне чаще попадаются в проде, когда нет достаточного объема для Хабра я пишу/рассказываю на своём канале – https://t.me/CVML_team (youtube, vk).

 

Источник

Читайте также