Тест DLSS 5 в Pong и Lada Racing Club показал крайнюю сырость технологии

1 Окт в 14:43 Прокомментировать Просмотры: 4

С первых же минут тестирования DLSS 5 стало очевидно, что с этой технологией что-то не так. Чтобы разобраться в проблеме досконально, мне пришлось запустить её более чем в 50 проектах и записать свыше 100 видеороликов для наглядности. Поэтому вместо статических скриншотов я буду использовать видеофрагменты с временными метками.

Итак, в качестве отправной точки — DLSS 5 и порт Pong для DOS:

Стоит уточнить, что это именно дос-версия, а не оригинальный игровой автомат. И вот в чём нюанс:

Миф 1: DLSS 5 не затрагивает полигоны и представляет собой обычный решейд

Вовсе нет. Если активировать технологию на этапе рендеринга, DLSS 5 кардинально меняет геометрию лиц…

Шаг назад: как нынче внедряют DLSS 5

Если говорить совсем кратко.

Сегодня DLSS 5 интегрируют в игры с помощью библиотеки RenoDX и векторных данных (особенно в случае с ретро-проектами). Энтузиасты уже успели препарировать этот инструмент, предоставив игрокам следующие опции:

Выбор этапа внедрения нейрорендеринга (пост-апскейл, стадия рендера или финальный вывод изображения).
Регулировка интенсивности эффекта.
Готовые цветовые пресеты.
Количество проходов (от x1 до x4).

Важная ремарка: при активации DLSS 5 в режиме от x2 и выше нейросеть опирается всего на один кадр, из-за чего возрастает количество артефактов и галлюцинаций. Зато именно так можно в деталях рассмотреть, что именно дорисовывает алгоритм.

Иными словами…

Миф 1: DLSS 5 не затрагивает полигоны и представляет собой обычный решейд

Это заблуждение наглядно иллюстрирует RBdoom (DX12) на следующем таймкоде:

В режиме трехкратного прогона (x3) прекрасно видно, как угловатая геометрия персонажей из Doom 3 на отдельных кадрах разительно отличается от первоисточника

Поскольку DLSS 5 перестраивает каждый кадр с нуля, игнорируя исторический контекст предыдущих, мы наблюдаем колоссальный уровень галлюцинаций — лицо персонажа буквально меняется до неузнаваемости от кадра к кадру. Более того, в зависимости от выбранного пресета внешность героя тоже трансформируется: от седого бородача до фиолетовокожего инопланетянина.

Утверждение 2: DLSS тяготеет к определенной палитре и делает все игры одинаковыми

По умолчанию у DLSS 5 имеется три базовых пресета:

Дефолтный.
Натуралистичный («а-ля натурель»).
Кинематографичный.

При стандартном проходе (x1) — вне зависимости от того, внедряется ли модель на этапе рендера или на выводе — разница практически неуловима.

Но стоит выкрутить все ползунки на максимум, и вместо обещанной детализации и фотореализма мы получаем:

По умолчанию — доминирование зеленых оттенков.
Натуралистичный — уклон в синеву, напоминающий ранние версии Midjourney.
Кинематографичный — засилье фиолетового цвета с завышенной точкой черного.

При этом исходное изображение роли не играет. Ради чистоты эксперимента я запустил L.A. Noire в монохромном режиме.

И что вы думаете? Нейросеть, столкнувшись с чистым черно-белым видео… раскрасила его. Оцените момент:

С одной стороны, занятно. С другой — она расцветила картинку строго в те оттенки, которые диктовал выбранный пресет. ЧЕРНО-БЕЛОЕ ВИДЕО, КАРЛ!

Крайне важный нюанс: каждый последующий проход неизбежно и неотвратимо затемняет картинку. Без исключений для конкретных игр или условий. Лучшим индикатором для меня стал логотип dgVoodoo, который я оставлял в качестве эталона во всех проектах. На режиме x4 он всегда становился темным и тусклым.

Миф 3: DLSS 5 безупречно справляется с прорисовкой лиц

Конечно, можно бесконечно восхищаться анимешными вайфу, но зачем, если можно взять легендарный мод RE3 с четырехкратным увеличением полигонов лиц (400% faces mod) и проверить, как алгоритм справляется с «фотореалистичной» мимикой повышенной экспрессии.

Короче говоря… Вместо тысячи слов — дед с раскатанной губой:

Сложно подобрать цензурные комментарии. Везде, где модель пасует перед нехваткой деталей, она начинает банально фантазировать от себя.

Миф 4: DLSS 5 идеально подходит для классических игр

Поскольку библиотеку слили в свободный доступ вместе с инструментарием для адаптации под любые проекты (включая Wolfenstein 3D)

может сложиться ложное впечатление, будто достаточно взять старую игру, обложить её пачкой врапперов, прикрутить сторонние векторы движения… и получить ошеломляющий результат (в качестве демонстрации оставлю здесь скриншот Witcher 3 с модами Yessemir & Gessemir — не спрашивайте, зачем здесь модификации).

И вот что из этого выходит:

Почему именно «Ведьмак»? Всё просто: у игры есть как классическая версия на DX11 (1.32, на которой и записывался материал), так и некстген-издание на DX12.

И дело вовсе не в том, что старый билд запускается на условной GTX 560, тогда как ремастер при аналогичной визуальной картинке требует минимум RTX 5080.

Суть в том, что в отсутствие нативного DX12 изображение начинает шуметь, распадаться и галлюцинировать даже при единственном проходе без шумоподавления — и это несмотря на идеальную настройку всех векторов и костылей. В то же время DX12-версия демонстрирует железную стабильность даже при самых безумных экспериментах с настройками DLSS 5.

(Пример — геймплей Человека-паука:

x4 вкупе с внедрением на стадии рендера). (Пример — футаж из Cyberpunk 2077)

Следовательно, как бы искусно мы ни подпорчивали костылями окружение для DLSS 5, без глубинной информации, зашитой в экосистему технологии, максимальной отдачи добиться не выйдет.

К слову, это же ставит крест на идее прикручивать DLSS 5 к трансляциям на YouTube и прочим сторонним источникам. Какой-то результат мы, конечно, получим, но до «натуралистичности» там далеко, поскольку модели по-прежнему критически необходимы корректные векторы и, желательно, история кадров.

В чем же сильные стороны DLSS 5?

Она превосходно генерирует статичные кадры.

Хотя ладно, Lada Racing Club тоже выглядит неожиданно достойно.

Перед финалом

Нельзя забывать и о том, что DLSS 5 нещадно пожирает аппаратные ресурсы. Из-за этого затея запускать её на эмуляторах PS2 и PS3 обречена на провал: чудовищное падение кадровой частоты заставляет игры немилосердно лагать.

Технология крайне скверно взаимодействует с двухмерными проектами — будь то классические «Герои 1, 2, 3» или оригинальный Metal Gear Solid.

Даже изометрия дается нейросети с огромным трудом («Герои 5» и незаписанный StarCraft 2 не дадут соврать), поскольку, судя по всему, модель тренировалась исключительно на шутерах от первого лица.

И всё это ворочалось титаническими усилиями мобильной карты RTX 5090, которая выдавала жалкие 10 кадров в секунду хоть в Wolfenstein 3D, хоть в Cyberpunk 2077.

Итог

И тем не менее… DLSS 5 на данный момент — это сырая, недоученная модель и крайне ранний прототип.

Поясню мысль. На заре появления первых генераторов видео мы наблюдали ровно те же детские болезни со стабильностью картинки и, что еще важнее, с цветокоррекцией.

А значит, скромная 150-мегабайтная библиотека — это лишь разминка. Если разработчики из Nvidia дообучат модель на массивах данных и внедрят нативный многопроходный рендеринг, чтобы алгоритм опирался на контекст при режимах x2–x4, а не изобретал велосипед на каждом отдельном кадре…

Ну а файлы для интеграции DLSS 5 в старые игры, как водится, опубликованы здесь.

Что ж… такое вот «светлое будущее» нас ожидает.

Источник