Нейросети научились прокачивать графику в играх — что дальше?

Ремастеринг и модификации игр нейронными сетями стали новым трендом. В то время как ремастеры уже вышли на один уровень с топовыми AAA-проектами, машинное обучение «осовременило» Doom, TES 3: Morrowind, Max Payne, Half-Life, Final Fantasy VIII и другие игры, благодаря чему они получили качественную графику и текстуры в высоком разрешении.

Не так давно в интернете появились гайды по использованию нейросетей на основе технологии GAN (Generative Adverserial Network) для улучшения качества фотографий и текстур в играх. GAN — технология, которая самостоятельно заменяет оригинальную текстуру на более качественную и детализированную. Получается это путем генерирования конечного изображения на основе множества схожих с оригиналом образцов.

Один из самых популярных вариантов этой технологии — нейросеть ESRGAN (Enhanced Super Resolution Generative Adverserial Network). Суть ее работы проста: она увеличивает исходное изображение в 2, 4, 8 или 16 раз, а затем на основе самообучения «дорисовывает» картинку и добавляет реалистичные детали.

Однако самообучение нейросетей не идеально и иногда дает сбой, приводя к несущественным багам. Так или иначе нейросети уже умеют повышать качество текстур, правильно «переводить» разрешение и соотношение сторон до FullHD, использовать современные технологии сглаживания.

Кроме того, алгоритм GAN избавляет моддеров от необходимости вручную заменять текстуры и сохраняет оригинальную стилистику игры, меняя качество, а не форму картинки.

Если использование алгоритмов нейросетей — операция косметическая, то ремастеринг — работа куда более серьезная.

За последние годы мы получили несколько отличных ремастеров по играм Call of Duty 4: Modern Warfare, Resident Evil 2, The Elder Scrolls V: Skyrim. В вышедшем недавно ремастере Resident Evil 2 разработчики потрудились над тем, чтобы адаптировать классическую игру под требования современных геймеров.

Capcom переработала оригинал графически: переписала игру на новом движке, использовала живых актеров и захват движений, сделала акцент на создании реалистичной крови и атмосферы мрачности при помощи работы с освещением. Кроме того, разработчики добавили вид от третьего лица, переработали «боевку», расширили локации, увеличили в два раза время прохождения игры.

В отличие от нейросетей, которые решают проблемы исключительно технического характера, подобные ремастеры — чистое творчество. Ремастер — это игра, которую от начала и до конца отполировали вручную: улучшили графику, звук, прокачали визуал, причем затратили на это немалые средства.

Оно и понятно: возможность сыграть на ностальгии геймеров, которые хотят запускать любимые продукты на современных платформах, подстегивает крупных разработчиков ремастерить игры — это с лихвой окупается. Причем речь идет не только о самой игре, но и о разнообразном мерче, который также охотно разбирают.

Продажи топовых ремастеров и широкий к ним интерес показывают, что люди готовы тратить на это деньги. Значит, отказываться от «воскрешения» старых игр компании явно не собираются.

Конечно, ни о какой конкуренции ремастеров и модов на основе нейросетей пока говорить не приходится. GAN-технология сегодня способна лишь повысить качество картинки и добавить деталей к графике. В корне изменить игру нейросети не способны.

Хотя графика после подобных модификаций выглядит симпатично, никуда не пропадает устаревшая физика или, например, «полигончики». С этим нейросети пока бороться не умеют.

Тем не менее интерес к нейросетям велик, ведь они уже доказали свою полезность. Вероятным здесь кажется сценарий, при котором крупные компании признают эту технологию и научатся включать ее при ремастеринге, ведь самообучающаяся система может избавить разработчиков от монотонной работы.

Об интересе к нейросетям уже объявила Nvidia, которая в 2017 году запустила бету своей программы GWMT (GameWorks: Materials & Textures) по совершенствованию графики на основе машинного обучения. Алгоритм утилиты схож с алгоритмами GAN: он увеличивает разрешение текстур и фотографий в 2 и 4 раза, генерирует на основе фото поверхности из реального мира текстуру в игре, берет текстуру или фотографию и выдает ее органическую вариацию.

Чтобы узнать, какие планы Nvidia имеет на программу GWMT и как в целом смотрит на возможность внедрения технологии машинного обучения в графический моддинг, мы обратились непосредственно к компании.

VGTimes: В 2017 году Nvidia выпустила бета-версию программы GWMT, которая основана на работе нейросетей. Как вы сегодня расцениваете потенциал этой утилиты? Сохраняете ли планы по полноценному запуску программы?

Nvidia: Разработка сервиса GWMT ведется в фоновом режиме, планы по релизу (переходу из стадии бета) пока не ясны. Более активно Nvidia сейчас развивает библиотеку NGX (частью которой является технология DLSS) для улучшения графики в играх и для других визуальных технологий.

VGTimes: Видите ли вы перспективы использования нейросетей для модификации графики в играх? Способно ли машинное обучение помочь превращать старые игры в современные ААА-проекты на том уровне, на каком это уже делают ремастеры?

Nvidia: Пока что рано говорить о полностью автоматическом ремастеринге, но нейронные сети точно послужат мощным инструментом для упрощения этого процесса и смогут автоматизировать отдельные его компоненты. Сюда относятся: повышение разрешения текстур, увеличение сложности полигональных моделей, наполнение виртуальных миров новыми деталями. Уровень качества такого AI-based ремастеринга со временем будет только расти.

Кроме того, в Nvidia рассказали об уже имеющемся опыте применения нейросетей при разработке игр. Совместно с Remedy Entertainment (Max Payne, Alan Wake, Quantum Break) Nvidia провела серию экспериментов по внедрению системы машинного обучения в процесс написания лицевых анимаций. Так, нейросеть взяла базу уже имеющихся анимаций, созданных в Remedy, и, анализируя видео с живым актером, буквально научилась его эмоциям и сгенерировала новые.

Применение этой технологии, таким образом, позволит разработчикам «оживлять» мир вокруг протагониста. Вместо того, чтобы часами работать с актерами и переносить их мимику в игру, разработчики с помощью нейросетей смогут на основе лишь аудиозаписей создавать лицевую анимацию для множества NPC в течение нескольких минут.

По заверениям программистов из Remedy, использование нейросетей поможет сократить на 80% время на создание лицевых анимаций — одного из самых трудоемких и дорогостоящих элементов при разработке игр.

Несмотря на то, что крупные компании стали обращать больше внимания на нейросети, полноценный переход к машинному обучению при разработке игр уже сегодня под вопросом. Однако пока идут эксперименты над нейросетью и мы видим, что они удачны, это позволяет говорить о том, что процесс внедрения машинного обучения идет и у него есть будущее.

Что же касается работы непосредственно с графикой, то пока моддеры улучшают картинку в современных играх без помощи всяких нейросетей. Удачные результаты моддинга игр нейронными сетями хотя и говорят о перспективах подобной технологии, но более убедительных и прорывных результатов пока нет.

Даже несмотря на заметное улучшение качества картинки, нейронные сети сейчас не могут реально поднять уровень графики в игре. Такие моды убирают размытие текстур, повышают четкость изображения, но модельки продолжают выглядеть угловато. Улучшенная таким образом игра походит просто на прокаченную версию исходника, а не на современный играбельный продукт.

То, что выдает в итоге ремастеринг, очевидно, отличается более глубокой прокачкой графики. Нейросети в этом отношении отстают, внося лишь поверхностные изменения текстур и не более. Тем не менее эксперименты, как те, что проделывали Nvidia и Remedy, демонстрируют большой потенциал технологии, позволяя оптимистично смотреть на ее возможности в будущем.

Выходит, что говорить о возможностях нейросетей, которые по щелчку мыши научатся превращать старую игру в сверхреалистичное чудо, пока преждевременно. Сегодня они могут прокачивать текстуры в старых играх, в то время как ремастеры продолжат выходить и приносить разработчикам деньги. Наиболее вероятный вариант в близкой перспективе состоит в том, что компании начнут прибегать к помощи машинного обучения, чтобы решать конкретные задачи при разработке игр, минимизируя затраты средств и человеческих усилий на создание того, что уже умеют делать нейронные сети или чему их научат.