NVIDIA открывает код AI-аниматора лиц Audio2Face для всех разработчиков

NVIDIA решила открыть исходный код своей разработки — технологии Audio2Face, что позволит студиям любого размера использовать продвинутую систему анимации лиц для создания более живых и правдоподобных персонажей, не прибегая к огромным тратам по захвату лицевой анимации.

Ранее инструменты были доступны в основном крупным игровым компаниям, теперь же даже небольшие независимые команды смогут легко интегрировать технологию в свои проекты, которая превращает обычную речь в реалистичную мимику в реальном времени и позволяет синхронизировать губы с речью и даже передавать эмоций персонажей — от радости до удивления.

В открытый доступ войдет не только основной SDK, но и плагины для популярных игровых движков, таких как Unreal Engine 5 и Unity, более того разработчики получат доступ к фреймворкам для обучения моделей и библиотекам с готовыми примерами. Отдельный интерес представляет компонент Audio2Emotion, который анализирует интонацию голоса и автоматически определяет эмоциональный окрас речи для его отражения на лице персонажа.

Среди первых студий, которые уже опробовал технологию, — студии Codemasters, GSC Game World и NetEase. Открытый доступ к таким решениям может ускорить появление игр, где взаимодействие с неигровыми персонажами станет гораздо более естественным, при этом исчезнут «каменные» лица и механические диалоги, а NPC будут реагировать на реплики игрока с живой, пусть и сгенерированной, мимикой.

Важный нюанс: технология является частью более масштабной платформы NVIDIA ACE, которая заточена под железо компании. Теоретически, аналогичные функции могут работать и на видеокартах других производителей, однако на практике NVIDIA, вероятно, будет оптимизировать свои решения именно для собственного оборудования. Открытие кода Audio2Face — это значимый шаг к тому, чтобы сложная AI-анимация стала стандартом для индустрии, а не эксклюзивной фичей для проектов с большими бюджетами.