Тревоги игрового сообщества относительно перспектив DLSS 5, похоже, оказались не беспочвенными. Свежие разъяснения Nvidia о принципах работы технологии лишь подлили масла в огонь дискуссий.
Один из ведущих инженеров компании подтвердил, что DLSS 5 оперирует исключительно готовым 2D-кадром и векторами движения. Алгоритм не имеет прямого доступа к исходным данным игрового движка — 3D-геометрии, картам глубины или параметрам материалов, заложенным художниками. Таким образом, нейросеть практически не обладает информацией о физической сути объектов, которые она пытается улучшить. По словам представителя Nvidia, модель распознает семантику сцены (например, различает кожу, волосы или ткань) и условия освещения, полагаясь лишь на визуальный анализ «одиночного кадра».
Действительно, в основе работы DLSS 5 лежит обработка 2D-изображения в связке с векторами движения.
Снимок экрана из видеопрезентации
Любопытно, что во время анонса Nvidia старалась избегать излишней конкретики, создавая впечатление, будто технология анализирует сцену на фундаментальном уровне. Теперь же стало очевидным, что классификация материалов и их свойств происходит постфактум, на основе уже отрисованного кадра, а не благодаря интеграции с движком.
Представленный выше скриншот наглядно демонстрирует издержки подобного метода. Видно, как DLSS 5 начинает «дофантазировать» детали: на изображении появились лишние волосы, а форма носа была искажена из-за того, что нейросеть ошибочно приняла тень за часть геометрии лица.
Ситуация с инструментарием для создателей контента также выглядит неоднозначной.
Разработчикам предоставят рычаги управления интенсивностью эффектов и цветокоррекцией. Художники смогут корректировать степень смешивания, контрастность, насыщенность и гамму, а также задавать зоны применения алгоритмов для сохранения авторской стилистики. Предусмотрена и возможность маскирования объектов, которые не должны подвергаться изменениям. В Nvidia заявляют, что продолжают собирать отзывы индустрии для расширения функционала. В конечном счете компания позиционирует DLSS 5 как инструмент, раздвигающий границы традиционного рендеринга в реальном времени ради реализации творческих идей.
Источник: iXBT
