Новая нейросеть создаёт движущиеся миры из статичных снимков

Китайский технологический гигант Tencent анонсировал любопытную разработку для создателей контента — модель искусственного интеллекта HunyuanWorld-Voyager — инструмент позволяет на основе всего одного статичного изображения сгенерировать короткое видео, создающее иллюзию движения камеры внутри сцены.

В отличие от стандартных видео-генераторов вроде Sora, которые просто рисуют последовательность правдоподобных кадров, Voyager фокусируется на сохранении пространственной согласованности, что значит, что при «движении» камеры вперед или в сторону объекты на изображении не плавают и не искажаются произвольно, а сохраняют свои пропорции и положение, как в настоящей трехмерной среде.

Пользователь загружает любое изображение — например, фотографию интерьера комнаты или пейзажа. Затем задает траекторию, по которой должна двигаться виртуальная камера, а система выдает на выходе 49 кадров (около 2 секунд видео), которые можно объединять в более длинные последовательности.

Ключевая особенность технологии — одновременная генерация не только цветного видео, но и данных о глубине сцены, что позволяет преобразовать результат в облако 3D-точек для последующего моделирования, что может быть крайне полезно в геймдеве. Однако модель не создает истинное 3D-пространство, а лишь искусно его имитирует, из-за этого на длинных сценах или при попытке сделать полный оборот на 360 градусов могут случаться ошибки.

Главным барьером для широкого использования технологии считаются аппаратные требования. так для работы даже в минимальном качестве (540p) модели требуется видеокарта как минимум с 60 ГБ оперативной памяти, а для стабильного результата рекомендованы карты с 80 ГБ — такие решения дороги и редки.

Доступ к модели формально открыт на платформе Hugging Face, но ее лицензия запрещает использование на территории Евросоюза, Великобритании и Южной Кореи. Крупным коммерческим компаниям с аудиторией свыше 100 млн пользователей также потребуется отдельное соглашение с Tencent.

Несмотря на существующие ограничения, Voyager интересен для узких задач, но пока это скорее любопытный инструмент для энтузиастов и профессионалов, чем массовый продукт. Эксперты отмечают, что подобные разработки — от Tencent, Google (Genie 3) и других стартапов позволят упростить вход в геймдев и по итогу создавать более качественные и детализированные миры.