Человеческий глаз видит уменьшенные детали в своем периферийном зрении. Фовеальная визуализация, впервые разработанная Microsoft (SIGGRAPH 2012) и Nvidia (SIGGRAPH 2016), представляет собой метод, который отражает то, как работает глаз, для улучшения качества в области фовеа и снижения стоимости рендеринга. По мере увеличения плотности отображения мы можем использовать это преимущество для создания визуально реалистичного опыта.
На SIGGRAPH 2018 мы представили идеальный вариант использования фовеального рендеринга с использованием StarVR One со встроенным отслеживанием глаз Tobii. Подробнее о проекте и мероприятии можно узнать на нашей странице проекта.
Рендеринг высокодетализированной сцены на дисплее с разрешением 1830 x 2928 со скоростью 90 кадров в секунду уже является сложной задачей, но для создания реалистичного опыта мы должны максимально уменьшить артефакты сглаживания пикселей. В результате фактическое разрешение рендеринга намного больше: при использовании мультисэмплированного сглаживания мы рендерим изображение с 4-кратным разрешением экрана.
Несмотря на то, что современные графические процессоры очень мощные, ресурсы рендеринга ограничены при рендеринге со скоростью 90 кадров в секунду с задержкой менее 20 мс. Чтобы избежать снижения качества изображения, фовеальный рендеринг значительно снижает стоимость 210-градусного поля зрения (FOV) за счет рендеринга только той области, на которой сфокусирован взгляд, с высокой детализацией.
Созданное решение требует рендеринга сцены еще два раза: во-первых, в мишень с более низким разрешением и широким полем зрения для каждого глаза, а во-вторых, в сфокусированную мишень рендеринга с высоким разрешением для области фовеа. На изображении выше показаны две поддерживаемые нами конфигурации рендеринга: 4 вида для широкого поля зрения с высоким разрешением и 4 вида для рендеринга с ямками. Расположение области высокодетализированного рендеринга рассчитывается с использованием данных, возвращаемых встроенной системой отслеживания взгляда Tobii. На изображении ниже показана более детализированная область — посмотрите на разницу между буквами «S» и «V»!
Результаты говорят сами за себя. Используя Intel GPA, два приведенных ниже снимка показывают разницу в производительности при рендеринге 4 окон просмотра с одинаковой плотностью пикселей, разделенных на широкое поле зрения (~ 14 мс), а затем с ямчатыми окнами просмотра (~ 11 мс).
Мы обнаружили, что из-за небольшой задержки при отслеживании взгляда смешивание между ямочной областью и фоном с более низким разрешением должно охватывать большую площадь, чтобы пользователь не видел мерцания при изменении плотности пикселей. Это добавляет дополнительные затраты на обработку пикселей, но гарантирует, что пользователь не столкнется с какими-либо визуальными артефактами при перемещении взгляда по сцене.
Фовиальный рендеринг станет более распространенным явлением, поскольку второе поколение VR-гарнитур становится все более распространенным, и для реалистичного погружения требуются более высокие разрешения.
Чтобы быть в курсе последних технических новостей, следите за нашей страницей ZeroLight Tech в Твиттере и нашим хэштегом #ZLTech.
Оригинал статьи можно найти здесь: https://zerolight.com/news/tech/foveated-rendering-on-starvr-one
