Энтузиасты запустили нейросетевой рендеринг DLSS 5 от NVIDIA на встроенной графике Intel Arc

На платформе GitHub появился исследовательский проект независимого разработчика под ником Uzbekunknown, в рамках которого алгоритм нейросетевого рендеринга DLSS 5 Neural Rendering от компании NVIDIA удалось запустить на встроенной видеокарте Intel Arc 140V архитектуры Xe2 в составе мобильных чипов Lunar Lake. Данная технология представляет собой диффузионную модель с 1 шагом вычислений, которая заново перерисовывает детали кадра прямо в пространстве пикселей. Модификация работает в операционной системе Linux в реальных играх без применения оригинальных видеокарт NVIDIA, проприетарной среды CUDA или фирменных библиотек NGX.

Все математические вычисления выполняются на аппаратных матричных блоках Intel XMX через стандартное расширение Vulkan под названием VK_KHR_cooperative_matrix. Алгоритм внедряется в цепочку рендеринга в момент вывода кадра и перехватывает изображение через специальный слой Vulkan, благодаря чему разработка функционирует с любыми играми с поддержкой этого графического интерфейса, включая проекты для Windows, запускаемые через транслятор Proton. Архитектура нейросети представляет собой симметричную структуру U-Net из 71 блока с общим числом параметров 145 755 123 единицы, причем весь граф вычислений постоянно удерживается в памяти встроенного видеоадаптера.

Проект распространяется по свободной лицензии Apache 2.0 и содержит исключительно программный код без весов нейросети. Пользователям необходимо самостоятельно извлекать данные из оригинального файла nvngx_dlssnr.dll от NVIDIA при помощи внешних утилит распаковки. Сеть выдает не готовое финальное изображение, а остаточный слой детализации, который затем математически накладывается поверх оригинальной картинки игры, что позволяет снижать разрешение работы самой модели без искажения базовых пикселей игрового движка.

Несмотря на успешный запуск закрытой технологии на оборудовании конкурента, текущая скорость работы делает игровой процесс практически невозможным. На встроенном графическом чипе Arc 140V в разрешении 1920x1080 с коэффициентом масштабирования 0.55 частота кадров падает до 1.2 кадра в секунду при времени обработки кадра около 850 мс. Ради достижения хотя бы 10.5 кадров в секунду в файтинге Tekken 7 разрешение пришлось принудительно уменьшить до 640x360 с масштабом рендеринга 0.35. По словам создателя порта, возможности оптимизации самого вычислительного графа уже исчерпаны, так как алгоритм уперся в физический предел пропускной способности памяти и доступных регистров встроенного видеоядра.

Качество итогового изображения также демонстрирует спорные результаты из-за специфики работы диффузионной модели. В играх Tekken 7 и Dead or Alive 5 Last Round модели персонажей становятся заметно темнее, приобретая до 50 процентов дополнительной резкости на фактуре одежды и ткани, в то время как задний план практически не изменяется. При этом в файтинге Mortal Kombat 1, где лица бойцов изначально отрисованы с высокой четкостью, нейросеть снизила детализацию лиц персонажей на 14 и 24 процента, попутно удалив кинематографическую цветовую гамму и теплое свечение кожи. Вместо бережного отношения к авторскому художественному стилю технология навязывает искусственный фотореализм с потерей привычных бликов и баланса освещения.

Техническая реализация интересна еще и тем, что практически весь программный код, автоматические тесты и сопроводительная документация были сгенерированы искусственным интеллектом в лице моделей Claude Opus 5 и Astra, тогда как автор проекта лишь задавал вектор разработки и тестировал решения на физическом стенде. В настоящий момент модификация носит статус сугубо экспериментального исследования, а при тяжелых вычислениях на встроенной графике все еще происходят сбои драйвера с аварийным сбросом видеоядра.