Весной 2025 NVIDIA выпустила Project G-Assist — концепт виртуального помощника для геймеров, способного давать советы по ходу игры. Тогда многие восприняли это как остроумную первоапрельскую шутку, но сегодня компания вместе с исследователями из Стэнфорда представила NitroGen — открытую модель ИИ, которая не просто советует, а может самостоятельно играть более чем в тысячу видеоигр.
В основе NitroGen лежит не узкий алгоритм для одной игры, а попытка создать фундаментальную модель для действий — своеобразный «GPT для игрового мира». Обучение проходило нестандартным способом и вместо того чтобы писать сложные алгоритмы для каждой игры, модель училась, наблюдая за людьми. За основу были взяты стримы с YouTube и Twitch общей продолжительностью около 40 000 часов. Особую ценность представляли видео, где поверх игрового процесса выводилось изображение геймпада с нажимаемыми кнопками, что позволило преобразовать визуальную информацию в массив данных для обучения.
Процесс превращения видео в учебный материал оказался сложной инженерной задачей. Из-за разнообразия контроллеров, их прозрачности в стримах и артефактов сжатия видео, стандартные методы не подходили. Разработчики создали специальный конвейер: сначала система находила область с геймпадом на кадре, используя сравнение с шаблонами и алгоритмы поиска ключевых точек, а затем нейросеть-сегментатор определяла положение стиков и состояние кнопок.
Хотя демонстрация возможностей NitroGen связана с играми, разработчики видят в нём инструмент для развития робототехники. Видеоигры служат идеальным и безопасным полигоном для отработки навыков навигации в сложных и непредсказуемых средах. Опыт, полученный моделью в виртуальных мирах с разной физикой и механикой, может быть использован для обучения роботов, которым предстоит работать в изменчивых реальных условиях.
Пока NitroGen хорошо работает только с играми для геймпада, игры, требующие активного использования мыши и клавиатуры (например, стратегии или MOBA), пока остаются для неё сложной задачей. NVIDIA опубликовала все наработки по проекту, включая код, веса модели и датасет, в открытый доступ, что позволит энтузиастам и исследователям экспериментировать с моделью, адаптируя её не только для новых игр, но и для задач в области симуляций и робототехники.