NVIDIA использует отслеживание взгляда для увеличения эффективности VR-рендеринга

Если пообщаться с любым дальновидным инженером из AMD или NVIDIA, он скажет, что для создания реалистичных сцен в виртуальной реальности необходимы новые подходы, а не прямолинейные методы, которые применяются сегодня для вывода на традиционные мониторы. Один из таких подходов называется фовеация и позволяет серьёзно улучшить эффективность визуализации за счёт того, что человек видит детали хорошо лишь в довольно узком поле зрения.

NVIDIA уже ранее рассматривала подобную идею с помощью подхода Multi-res Shading, в рамках которого различные части VR-кадра визуализировались в разном разрешении с целью увеличения эффективности. Но наиболее совершенный метод такого рендеринга требует наличия VR-шлема с системой отслеживания движений глаз.

Изображение без фовеации

Немецкая компания SMI создала такой шлем, и NVIDIA решила в партнёрстве с SMI использовать это оборудование для разработки нового метода визуализации на основе фовеации, который бы позволил принципиально увеличить эффективность, в несколько раз снижая вычислительную нагрузку на графический ускоритель.

Изображение, где применена фовеация с размытием по периферии

NVIDIA выяснила, что агрессивное снижение разрешения на периферии визуализируемого изображения в случае Multi-res Shading приводит к тому, что человек замечает серьёзные артефакты. Но дополнительное размытие картинки по краям позволяет добиться эффекта туннельного зрения, что психологически воспринимается человеческим мозгом куда более спокойно. А ещё один шаг с сохранением контраста дополнительно снижает восприятие периферийного размытия в два раза.

Изображение, где применена фовеация с размытием по периферии и сохранением контраста

NVIDIA и SMI покажут результаты своей работы на конференции SIGGRAPH.

Источник: