Sony раскрыла детали Enhanced PSSR для PS5 Pro: 90% параметров нейросети теперь работают на 540p и ниже

На конференции SIGGRAPH Дэниел Крейг, главный инженер-программист SIE, подробно рассказал об обновлённой модели PlayStation Spectral Super Resolution (PSSR), используемой в PS5 Pro. Новая версия появилась в результате исследований Sony и AMD в рамках Project Amethyst, хотя сама реализация остаётся адаптированной специально для оборудования PlayStation. Кроме того, обновлённый PSSR может заменить исходную версию в уже выпущенных играх через системное переопределение, без необходимости обновления самой игры.

Одно из главных архитектурных изменений касается распределения вычислительных ресурсов нейросети. Sony сообщает, что исходная Color Predicting Network имела только около 30% своих параметров на самом низком уровне — 540p. В новой Kernel Predicting Network около 90% параметров расположены на уровне 540p или ниже, тогда как на 4K приходится лишь небольшая часть работы.

Обновлённая модель также перестала напрямую предсказывать итоговый цвет. Вместо этого KPN создаёт веса смешивания, а обычная фильтрация выполняет само смешивание. Это позволяет избежать хранения и смешивания HDR-цвета в 8-битном формате, а также даёт нейросети возможность тратить меньше ресурсов на эти операции.

Среди улучшений Sony отмечает повышенную стабильность изображения во времени, более чёткие детали, меньшее использование памяти и сокращённое время работы GPU. Компания также заявляет, что качество изображения улучшилось при всех входных разрешениях, причём наиболее заметный прирост наблюдается при более низких разрешениях. Время обучения модели сократилось примерно с четырёх GPU-месяцев до менее чем одной GPU-недели.

Презентация SIGGRAPH также подтверждает, что обновлённый PSSR заменяет исходную реализацию, а не работает как отдельный режим реконструкции изображения. Уже существующие игры для PS5 Pro могут использовать новую версию через системное переопределение, тогда как игры, напрямую интегрировавшие обновлённую библиотеку, могут самостоятельно использовать новую реализацию.