Патент Sony: ИИ на PlayStation будет предсказывать следующий кадр, не дожидаясь, пока видеочип закончит его отрисовку, и так сглаживать просадки FPS

Компания Sony получила патент на систему с искусственным интеллектом, которая создаёт следующий игровой кадр в то время, когда графический процессор ещё занят его прорисовкой. Предполагается, что это позволит смягчить провалы частоты кадров и сделать картинку более ровной, избежав задержки, неизбежной при использовании некоторых методов генерации промежуточных кадров. Пока это лишь патентная заявка: Sony не публикует результаты тестов, поэтому практическая эффективность решения остаётся недоказанной.

Современные технологии генерации кадров нередко берут два готовых изображения и формируют дополнительный кадр между ними. Из-за этого приходится дожидаться, пока завершится отрисовка второго кадра, а это способно увеличить промежуток между действием игрока и откликом игры. В схеме Sony нейросеть опирается на последний готовый кадр и предсказывает облик следующего, не ожидая его окончательной прорисовки. Пока видеочип строит новое изображение, ИИ передаёт собственную версию кадра в буфер вывода.

Основу системы составляет пара совместно обученных моделей: кодировщик и декодировщик. Кодировщик превращает готовый кадр в компактное числовое представление, а декодировщик по нему восстанавливает прогнозируемое изображение. Чтобы повысить точность, система может учитывать векторы движения, которые показывают, как объекты смещаются от кадра к кадру, а также недавние действия игрока на контроллере. Эти сведения позволяют модели оценивать не только текущее содержимое экрана, но и вероятные изменения сцены.

В процессе обучения нейросеть получает последовательности видеокадров: по одному изображению она пытается предсказать следующее, после чего сопоставляет итог с настоящим кадром и рассчитывает ошибку. Патент предусматривает сравнение этой ошибки с заданным пороговым значением. Ручная разметка не нужна — роль эталона играют последующие кадры исходного видео. Кроме того, в документе описан вариант, при котором декодировщик выдаёт больше цветовых каналов, чем принимает кодировщик, благодаря чему за один проход можно получить сразу несколько предсказанных кадров.

Sony также рассматривает альтернативу без нейросети: подобный алгоритм сдвигал бы блоки пикселей согласно их движению и создавал синтетические кадры на основе перемещения элементов изображения. Патент заявляет о возможности удерживать стабильную частоту вывода без потери качества картинки, но пока это лишь описание ожидаемых достоинств. Ключевой вопрос в том, сумеет ли система предсказывать изображение достаточно быстро и точно в динамичных сценах, особенно при резком росте нагрузки на графический процессор. Сам по себе патент не доказывает, что технология уже применяется в играх или появится в будущих консолях PlayStation.

Источник: iXBT