Нейросеть превратила кадры из GTA 5 в реальную съёмку. Стало похоже на запись с регистратора

Нейросети постепенно становятся частью нашей жизни. В играх с помощью машинного обучения уже достигается большая частота кадров в высоком разрешении. Но что будет если игровые кадры постараться выдать за настоящую съёмки с камеры? Скорее всего, вы сразу увидите детали, которые выдадут видеоигру. Но теперь одна компания обучила нейросеть превращать ролики из GTA 5 в реалистичные кадры.

Три специалиста из Intel Labs опубликовали свою работу Enhancing Photorealism Enhancement. Нейросеть обучили на кадрах с реальных камер и видеорегистраторов, а потом прогнали через неё видео из GTA 5. Но для полноты картины нейросеть также обучили получать из игры данные об освещении, карты объёма и расстояния до объектов. Таким образом нейросеть проводит анализ на множестве данных и только потом подгоняет картинку под реальные кадры.

Нейросеть в проекте добавляет правильные блики, корректирует цвет и контраст, а также следит за освещением и даже травой.

Большинство примеров, представленных Intel Labs, сильно зеленят картинку. Но это неудивительно, потому что нейросеть в основном обучали на роликах из Берлина, а не из солнечной Калифорнии.

В комментариях стали шутить, что так теперь должна выглядеть графика грядущей неанонсированной GTA 6.