NVIDIA представила Nemotron VoiceChat — открытый голосовой ассистент для разработчиков

NVIDIA представила Nemotron VoiceChat в открытом репозитории: это голосовой агент, который умеет вызывать инструменты по команде пользователя в реальном времени. Компания называет его «личным Джарвисом» для разработчиков, но за такой сценарий приходится платить требованиями к железу: согласно документации, для работы нужен NVIDIA GPU с 80 ГБ памяти или больше.

Ассистент, судя по описанию проекта, говорит без пауз, умеет передавать эмоции и позволяет перебить себя с задержкой всего 480 мс. Благодаря этому диалог должен быть ближе к живому разговору, а не к обычному голосовому меню. Nemotron VoiceChat умеет запускать инструменты прямо во время беседы. В списке возможностей указаны поиск в сети и календарь, а в репозитории отдельно говорится, что это 11-миллиардная модель для общения в реальном времени с полнодуплексным режимом.

Разработчики также называют её первой открытой полнодуплексной моделью с поддержкой открытия приложений во время обычного разговора. В опубликованном чекпойнте используется один фиксированный голос, поэтому клонирование голоса здесь не поддерживается, а на Hugging Face уже доступен сам чекпойнт. Ещё на прошедшей Computex, NVIDIA показала на ИИ, которому можно поручить работу за компьютером.

Проект поддерживает офлайн-инференс и интерактивный стриминг через контейнер NVIDIA. В документации упоминаются bidirectional WebSocket и function calling, то есть модель рассчитана не только на тесты, но и на живые голосовые сессии с низкой задержкой. При этом она обучена на 550 тысячах часов речи, что хорошо объясняет масштаб проекта. К слову ранее NVIDIA показала MotionBricks — технологию, которая в реальном времени генерирует анимацию движений.

[NVIDIA-NemotronLabs-VoiceChat-11B] звучит как сильный шаг к «голосовому ИИ для всех», но требование к 80 ГБ видеопамяти пока делает его доступным далеко не каждому. Сможет ли такой ассистент стать массовым, если для него нужен настолько мощный GPU?