Создатели Vulkan и NVIDIA готовят похороны классических полигонов в видеоиграх

Привычная полигональная сетка из треугольников, остававшаяся фундаментом интерактивной трехмерной графики на протяжении более 30 лет, начинает уступать место принципиально новому методу визуализации. Консорциум Khronos Group официально утвердил базовое расширение KHR_gaussian_splatting для универсального формата трехмерных ассетов glTF, открыв дорогу полноценной интеграции технологии объемных гауссовых пятен, известной как Gaussian Splatting, в современные графические движки и веб-приложения.

Президент Khronos Group и вице-президент компании NVIDIA Нил Треветт в интервью каналу RedGamingTech подробно остановился на причинах этого перехода. По его словам, классическое представление трехмерных объектов через плоские треугольники подошло к технологическому тупику при попытке фотореалистично и без артефактов воспроизвести сложный окружающий мир.

Главной уязвимостью традиционной полигональной геометрии десятилетиями оставалась обработка мелких и вытянутых объектов. Тонкие металлические тросы подвесных мостов, провода линий электропередач, антенны, сетчатые заборы и сложная листва при стандартной растеризации треугольников постоянно страдали от пиксельного мерцания и визуальной нестабильности. Разработчикам приходилось тратить колоссальные вычислительные ресурсы на тяжелые алгоритмы сглаживания, геометрическую тесселяцию и многогигабайтные буферы вершин. Облака гауссовых эллипсоидов, наделенные параметрами положения, пространственного масштаба, прозрачности и сферическими гармониками для передачи зависящего от угла обзора освещения, отображают подобные микроструктуры с фотографической точностью и без геометрических искажений.

Существенные изменения намечаются и в финансовой стороне создания интерактивного контента. Традиционный конвейер требует многомиллионных бюджетов на оплату труда сотен 3D-моделлеров, неделями занимающихся ручной ретопологией, запеканием карт нормалей и настройкой уровней детализации. Гауссовы пятна опираются на современные алгоритмы машинного обучения, позволяя восстанавливать пространственные сцены из обычного видеоряда или набора фотографий за считанные минуты, устраняя необходимость ручной сборки базовой геометрии с нуля.

Первыми преимущества открытого стандарта оценили специалисты геопространственного анализа и музейного дела. Команды картографических платформ и реставраторы крупных музеев уже взяли на вооружение формат glTF с гауссовыми пятнами для фиксации сложнейших памятников архитектуры и редких экспонатов, чьи тонкие детали и лаковые отражения невозможно было достоверно перенести в цифру с помощью классической полигональной фотограмметрии. Для устаревших программных просмотрщиков, не поддерживающих отображение эллипсоидов, в спецификации предусмотрен плавный откат к рендерингу данных в виде разреженного облака точек.

Появление гауссовых пятен не приведет к сиюминутной гибели треугольников в высокобюджетных играх. Как подчеркнул Нил Треветт, скелетная анимация, лицевая мимика и физика деформации по-прежнему оптимально работают именно с полигональными сетками. Разработчикам предстоит выстраивать гибридные графические конвейеры, где статическое окружение, скалы, здания и природные зоны строятся из гауссовых пятен, а управляемые персонажи и динамическая техника сохраняют классическую полигональную структуру.

Закрепление расширения KHR_gaussian_splatting в стандарте glTF 2.0 закладывает основу для прямой аппаратной акселерации метода в низкоуровневых интерфейсах Vulkan и DirectX 12. Следующим шагом станет готовящаяся спецификация glTF 2.1, которая добавит в стандарт поддержку сложных составных сцен, иерархическую организацию объектов и потоковую передачу объемных данных по сети без привязки к закрытым проприетарным форматам.