YouTube запустил масштабное обновление платформы, которое автоматически создает дублированные аудиодорожки для роликов. Новая технология доступна для 30 языков, включая русский, и работает на основе нейросети Gemini. После загрузки видео система анализирует оригинальную речь и генерирует перевод, при этом алгоритм старается сохранить интонацию и эмоциональную окраску голоса автора.
Авторы могут проверять, редактировать или отключать автоматические переводы в Творческой студии, а зрители, в свою очередь, могут выбрать подходящую языковую дорожку в настройках видео. Для авторов это способ без лишних затрат выйти на международную аудиторию, ведь раньше для дубляжа приходилось обращаться в специализированные сервисы или нанимать дикторов.
По данным платформы, каналы, использующие многоязычное аудио, получают до 25% общего времени просмотров от зрителей, которые смотрят контент на неродном языке. Для зрителей в России и других странах это означает, что теперь гораздо проще смотреть зарубежные видео на родном языке, если конечно вы смогли обойти блокировку YouTube.
Увы пока система работает не идеально, но активно дорабатывается, в YouTube признают, что алгоритм может ошибаться в переводе идиом, имен или плохо справляться при наличии сильного фонового шума, при этом синхронизация движений губ, пока тоже оставляет желать лучшего. В течение ближайших недель функция станет доступной для миллионов авторов по всему миру. Параллельно YouTube тестирует и многоязычные миниатюры, которые показывают текст на языке зрителя.
В перспективе разработчики планируют в течение пяти лет сделать автоматический дубляж доступным для каждого видео на платформе, постоянно улучшая качество передачи голоса и эмоций создателя. Массовое внедрение автоматического дубляжа на YouTube знаменует собой важный шаг в эволюции видеоплатформы, делая YouTube первой по-настоящему многоязычной и мультикультурной видеоплатформой в мире.