Единственно полезное применение DLSS: Окрашивание черно-белых фильмов

Сразу оговорюсь: это действительно последний раз, когда я затрагиваю тему DLSS 5. Предупрежу заранее — результат спорный, мягко говоря, специфический, чистой воды эксперимент ради эксперимента. Но сам технологический прецедент впечатляет!

Предыстория

Недавно я опубликовал на YouTube видео, демонстрирующее работу DLSS 5 в связке с RenoDX на примере L.A. Noire, включая запуск в монохромном режиме. Суть метода заключалась в следующем: если активировать DLSS 5 на этапе до апскейлинга (режим denoise before upscaling) и запустить мультипасс (четырехкратный или выше), то из-за неизбежных нейросетевых галлюцинаций алгоритм начинает самовольно колоризировать изображение.

Один из зрителей в комментариях поинтересовался, справится ли этот подход с раскрашиванием старых черно-белых кинолент. Я ответил, что технически это возможно при интеграции в плеер, однако результат вряд ли кому-то понравится. Собеседник справедливо возразил, что у архивного видео отсутствуют как векторы движения, так и карта глубины.

Ну а я подумал: почему бы и не попробовать.

Реализация

Я интегрировал RenoDX в Media Player Classic. В качестве подопытного материала выбрал классическую немую комедию Чарли Чаплина «Малыш» 1921 года, которая уже перешла в общественное достояние.

Изначально я пытался действовать рационально: прогонять видеофайл через модель покадрово в автономном режиме. Однако полученные кадры выходили слишком стабильными и упорно оставались черно-белыми — никакой динамики. Тогда я решил внедрить обработку напрямую в плеер, выкрутив настройки на х10. На экране вышло разделение: слева — исходник, справа — то, что видит зритель благодаря DLSS 5.

На финальном этапе я протестировал доступные пресеты: Default, Natural и Cinematic (в отдельном аддоне они обозначены как a, b и c). Адекватную колоризацию выдает исключительно режим Default, в то время как остальные варианты просто перемалывают оттенки серого.

Палитра получается довольно блеклой, грязновато-коричневой, изредка пробиваются проблески синего пальто или рыжеватый мех на воротнике. А вот с лицами случилась катастрофа — алгоритм безбожно их размывает. У Чаплина буквально стерлись знаменитые усики, из-за чего он визуально постарел лет на двадцать.

Одной из второстепенных героинь, спорящей с полицией, нейросеть на пару секунд неожиданно пририсовала бороду в комплекте с шапкой. Без комментариев.

Ситуация с городскими пейзажами выглядит еще комичнее. В оригинальной ленте мы видим сухую, пыльную проселочную дорогу, однако DLSS 5 решила, будто только что прошел сильный дождь, превратив грунтовку в блестящий асфальт с реалистичными отражениями.

Зачем всё это нужно?

А ради того, чтобы продемонстрировать раскрашивание видеоряда в режиме реального времени. Причем без использования векторов движения и карт глубины, на которых так настаивает NVIDIA и которые требуют наличия DirectX 12.

Судя по всему, NVIDIA вскоре сама наведет порядок с детализацией лиц. Еще 13 октября компания презентовала обновленный вариант модели, который работает вдвое быстрее сентябрьской и гораздо бережнее обращается с лицами в демонстрациях из Hogwarts Legacy. Кроме того, на 23 октября в RTX Remix запланирован релиз масок для изоляции конкретных элементов сцены и объектных пресетов. Иными словами, появится возможность дать нейросети четкую команду: лица не трогать ни в коем случае, а все остальное смело раскрашивать.

Источник