Microsoft запустила в открытое тестирование необычную функцию Copilot 3D. Теперь любой желающий может попробовать превратить свои плоские фотографии в объемные 3D-модели прямо в веб-версии Copilot, без подписки Pro. Пользователю достаточно загрузить в Copilot 3D обычное 2D-изображение (JPG или PNG, до 10 МБ). Нейросеть сама проанализирует картинку и попытается создать на ее основе трехмерный объект. Текстовые подсказки не нужны.
По первым отзывам тестировщиков, включая журналистов The Verge, хороший результат получается при четком разделении объекта и фона (лучше однотонный фон) и при работе с изображениями неодушевленных предметов. Инструмент показал себя особенно хорошо с предметами мебели, простыми объектами вроде пляжного мяча или бананов. Даже сложные формы, как зонтик, при правильном исходнике можно получить почти идеально, хотя иногда нейросеть «захватывает» лишние детали вроде теней.
Превращение фото животных или людей в 3D пока вызывает сложности. Также Copilot 3D блокирует попытки создания моделей известных людей или, предположительно, защищенного контента (например, Марио), выдавая ошибку «Не могу генерировать контент». Система требует загружать только оригинальные изображения, на которые у пользователя есть права.
Созданные 3D-объекты хранятся у пользователя 28 дней. Их можно скачать в формате GLB, совместимом с многими 3D-редакторами, движками (Unity, Unreal Engine) и приложениями дополненной реальности (AR). При необходимости GLB можно конвертировать в STL для 3D-печати. Новую функцию можно протестировать в веб-версии Microsoft Copilot. Пока Copilot 3D демонстрирует впечатляющий потенциал для дизайна, прототипирования и AR, но его возможности по работе с живыми существами или сложными сценами требуют доработки.