Что известно про Genie 3 — нейросеть, которая может навсегда изменить игровую индустрию

На днях Google DeepMind представила новую версию Genie — модель генерации виртуальных миров в реальном времени, способную создавать полностью интерактивные трёхмерные пространства. Пользователь может перемещаться в виртуальном мире и влиять на него с помощью текстовых запросов — причём на протяжении нескольких минут, что в разы дольше, чем в случае с Genie 2. Главное — модель запоминает объекты и изменения в сцене, усиливая таким образом правдоподобность симуляции. Новая версия нейросети — пока что экспериментальная технология, доступная отдельным тестерам. Однако Genie 3 уже даёт неплохое представление о том, как будут разрабатывать игры через 10–20 лет, если не гораздо раньше.

Нейросеть Google относится к так называемым мировым моделям — ИИ-системам, которые могут использовать понимание мира для его симуляции. Genie 3 умеет предсказывать, как различные действия должны влиять на виртуальную среду, и в реальном времени осуществляет эти изменения.

В отличие от прошлой версии, новая Genie рендерит симуляцию уже в 720p, а не 360p; окно взаимодействия с миром длится несколько минут, а не 10–20 секунд; а на команды модель реагирует сразу же — что ещё недавно было невозможным.

Genie 3 может довольно правдоподобно моделировать освещение и отражения, а также другие физические свойства мира — по типу симуляции воды. Впечатляет, что нейросеть способна создавать целые экосистемы с реалистичными животными и растениями.

Причём одним реализмом дело не ограничивается: ИИ-модель также умеет генерировать мультяшные пространства со стилизованными несуществующими созданиями — по типу ящерицы из бумаги или зверя, похожего на покемона.

Но главный прогресс Genie 3 заключается в том, что нейросеть теперь обладает необходимой памятью, чтобы запоминать изменения, которые пользователь вносит в симуляцию. Он может, например, поменять погоду, добавить новые объекты или персонажей, затем отвернуться, уйти из сцены, а через какое-то время вернуться — и все его правки останутся на месте. Разумеется, в системе начинают накапливаться ошибки, однако, как уже упоминалось, стабильной она остаётся несколько минут — что является существенным улучшением.

Genie 3 умеет изменять виртуальный мир по текстовым подсказкам. Скажем, если написать команду «добавь дерево», то модель отреагирует на неё и внесёт правку. Однако на нынешнем этапе сам игровой персонаж, которым управляет пользователь — так называемый агент — может лишь ходить, прыгать и совершать базовые действия. От его лица посадить дерево не выйдет. Подобные более сложные команды — по типу смены погоды — происходят будто «по волшебству» по текстовой команде.

Исследователи Google также ломают голову над тем, как интегрировать более чем одного агента в симуляцию. Моделирование взаимодействий между несколькими управляемыми персонажами пока что остаётся чересчур сложной задачей.

Ещё Genie 3 на текущий момент не может воссоздавать реальные места с максимальной точностью и испытывает сложности с отображением текста.

Наконец, создатели Genie 3 продолжат активную работу над стабильностью системы, чтобы симуляции «жили» не по несколько минут, а по несколько часов. Хотя в этом плане новая версия совершила огромный прыжок в сравнении с прошлой, именно продолжительность окна взаимодействия с миром остаётся ключевым ограничением.

Это именно те недостатки, про которые заявляют сами инженеры DeepMind. Если же вы сами внимательно рассмотрите демки, опубликованные Google, то сможете разглядеть и другие изъяны Genie 3. Например, полностью статичные пальмы во время симуляции урагана или не самый качественный рендеринг водных поверхностей в дневных сценах. Также в демонстрациях — например, с лыжником — физическое поведение снега не всегда выглядит реалистично. В придачу почти в каждом ролике наблюдаются мелкие артефакты или несогласованные детали в картинке. И, конечно же, не стоит игнорировать тот факт, что Genie 3 пока что совсем не умеет генерировать аудио, а это негативно сказывается на эффекте погружения.

На самом деле фокусироваться на недостатках Genie 3 в определённой степени бессмысленно: через полгода–год многие из них уже не будут актуальны — настолько быстро развиваются нейросети. Пару лет назад все смеялись со сгенерированного видео, в котором Уилл Смит (Will Smith) уплетает спагетти, а сегодня многие люди в социальных сетях принимают за настоящий ролик про кенгуру, которого не пускают на борт пассажирского самолёта, созданный с помощью Veo 3.

Важно то, что Genie 3 уже сейчас позволяет лучше понять, какие инструментарии разработчики игр будут использовать в будущем для создания виртуальных приключений. То, над чем работает Google, называют нейросетевыми игровыми движками (neural game engines). Это — концепция игровых движков нового типа, где многие функции, такие как генерация уровней, симуляция физики, поведения NPC или даже графики, будут выполняться ИИ, а не традиционным образом — с помощью кода. Разработчики смогут, например, анимировать персонажей без необходимости заниматься процессом вручную, а геймеры получат RPG с по-настоящему нелинейными нарративами, в которых игра на лету подстраивается под действия игрока.

Правда, наиболее вероятно, что нейросетевые игровые движки не полностью заменят традиционные, а скорее интегрируются в них — станут частью платформ по типу Unity или Unreal. По крайней мере, на начальных этапах, а с годами они, возможно, разовьются в полноценные отдельные инструментарии.

Сегодня технологии по типу Genie 3 не на том уровне, чтобы начать на их основе делать игры. Тем не менее Джулиан Тогелиус (Julian Togelius), доцент кафедры компьютерных наук и инженерии Школы инженерии Тэндон Нью-Йоркского университета, полагает, что даже на текущем этапе от Genie 3 может быть польза для разработчиков. Он тестировал модель и написал в своём личном блоге следующую мысль:

***

Не исключено, что нейросетевые игровые движки — именно то, что нужно, чтобы решить текущую проблему разработки AAA-игр. Создавать дорогие виртуальные приключения становится всё менее целесообразно: бюджеты раздуваются до сотен миллионов долларов, а ждать крупные игры приходится в среднем больше шести лет. Дальше будет хуже. Если ничего не поменяется, то условную GTA 7 мы такими темпами увидим в 2040-х. И вот как раз ИИ-модели вроде Genie 3 в перспективе вполне могли бы разгрузить авторов, уменьшив объем технической работы.

А что думаете вы? Впечатляет разработка Google? Расскажите в комментариях.