TJ улучшил качество старых мемных видео с помощью нейросети VK. Питерская разборка теперь в новом разрешении

10.12.2021 Прокомментировать Просмотры: 44

Ещё «Борщ с капусткой, но не красный», «Привет с Ростова» и даже «День студента».

Платформа «VK Видео» рассказала TJ о новой технологии, которая двукратно повышает разрешение видео, восстанавливает детали и убирает появившиеся после сжатия шумы и дефекты. Пока она доступна в тестовом формате владельцам сообществ, но в будущем ролики пользователей тоже будут автоматически улучшаться.

TJ разобрался в технологии и проверил её на культовых видео, которые были сняты до массового распространения камер высокой чёткости.

Технология отличается от существующих на рынке — она учитывает непрерывность видеопотока и устраняет артефакты сжатия

ML-технология улучшения качества видео NeuroHD работает на основе нейросети из семейства генеративно-состязательных сетей (GAN).

Принцип работы сетей GAN заключается в том, что их обучают на основе двух моделей. Первая генерирует увеличенные изображения, а другая проверяет их, чтобы они не отличались от настоящих. NeuroHD использует для улучшения кадра информацию о соседних фрагментах — так получается чёткое изображение без «плавающих артефактов».

Существующие в отрасли решения, не учитывающие непрерывность видеопотока, дают малозаметный эффект: простое увеличение разрешения роликов не приводит к улучшению картинки.

VK

Технический директор «ВКонтакте» и «VK Видео» Александр Тоболь рассказал, что технологию начали разрабатывать на фоне роста популярности фильтра «Высокое качество» в поиске видео.

Она [NeuroHD] обеспечивает преобразование видеороликов на real-time скорости и обладает высокой производительностью для эффективного использования вычислительных мощностей платформы и клиентских устройств.

Александр Тоболь

технический директор «ВКонтакте» и «VK Видео»

За счёт большой библиотеки «VK Видео», на которой обучали технологию, нейросеть умеет повышать разрешение широкого спектра роликов — профессиональных и любительских, горизонтальных и вертикальных, динамических и статичных.

Пока улучшенные видео доступны в некоторых сообществах и только на десктопе. В будущем все ролики платформе будут автоматически улучшаться. В первую очередь команда сфокусируется на контенте до 720p, а «в будущем смогут улучшать и HD-контент». Пользователи не потеряют свои исходные видео — останется возможность посмотреть ролики в исходном качестве без улучшений.

Метка NeuroHD появляется только у «новых» разрешений видео, полученных после обработки. Но «старые» разрешения таких видео нейросеть тоже улучшит.