Всё про технологию Motion Capture — с первого прототипа и до наших дней

Современные игры уже давно стали выглядеть как настоящие киноблокбастеры. Уровень графики позволяет не только воссоздать детальные миры, но и сделать естественную мимику и анимации. Киану Ривз (Keanu Charles Reeves), Идрис Эльба (Idrissa Akuna «Idris» Elba), Норман Ридус (Norman Mark Reedus) и многие другие актеры уже не просто принимают участие в проектах или дарят персонажам свои голоса, но и полноценно играют роли. Технология Motion Capture или проще говоря «мокап» достигла небывалых высот, но что она из себя представляет и как появилась? На эти вопросы ответим в статье.

Впервые прототип Motion Capture появился в начале прошлого века. Мультипликаторы активно искали способ упростить производство. Так появилось ротоскопирование, которое придумал и реализовал Макс Флейшер (Max Fleischer). Идея была проста и сложна одновременно. Сначала сцены снимали с живыми актерами и условными декорациями, а затем художник рисовал через специальные объективы новые кадры поверх пленки. Процесс хотя и был революционным, не отличался простотой. На создание одной минуты самого первого ролика потратили аж три года.

Спустя несколько лет технологию усовершенствовали, что позволило ускорить производство. Ротоскопирование получило популярность как в США, так и в Советском Союзе. Например, по этому методу создали «диснеевскую» «Золушку» (Cinderella) и «Алису в стране чудес» (Alice in Wonderland), а также отечественную «Снежную королеву» и некоторые другие проекты.

Время шло, и компьютеры постепенно захватывали все сферы жизни человека. В 1962 году была создана первая машина для полноценного захвата движений. Конечно, уровень качества сильно отличался от того, к чему привыкли современные зрители и геймеры, однако это все равно стало прорывом. Даже в телевизионных рекламах начали использовать технологию, что говорило о ее повсеместном распространении.

Следующим большим этапом в развитии мокапа стал светодиодный костюм. Это устройство с тех пор остается главным инструментом для переноса движений человека в компьютерный мир игр и кино, однако постоянно модернизируется. К тому же Motion Capture обзавелась рядом дополнительных технологий, которые позволили расширить и углубить те данные, которые получали камеры, фиксирующие метки на основных суставах актера. Но как именно это работает?

Условно захват движения строится на трех основных столпах — тот самый костюм с датчиками, камеры, считывающие движения, и программное обеспечение. Чем дороже оборудование, тем точнее будет сформирован скелет персонажа и четче зафиксировано каждое микродвижение.

Разница состоит еще и в том, какие именно датчики используются. Далеко не всегда это светодиоды. Иногда бывают и магниты, миниатюрные гироскопы и даже полноценный экзоскелет, однако самым распространенным стал вариант оптической фиксации. Дешевый и простой способ — пассивные метки, которые крепятся по всему телу человека и отражают свет, отправляемый множеством камер. У этого приема есть очевидные минусы, так как различные декорации или несколько актеров создают для аппаратуры путаницу. Метки начинают перемешиваться или теряться, но выход есть.

Активные светодиоды отличаются тем, что сами выступают источником света. Естественно их нужно к чему-то подключать, поэтому на костюм крепится множество аккумуляторов. К тому же каждая метка фиксируется под своим номером, что помогает камерам не путать данные и делать картинку более чистой. Декорации в данном случае также перестают быть проблемой, так как камеры запоминают номера диодов и быстро подстраиваются, если в объективе лишь часть тела. Конечно, этот метод значительно дороже, однако именно он все чаще используется в видеоиграх, когда актерам приходится отыгрывать экшен-сцены, быстро перемещаться и взаимодействовать друг с другом.

Несмотря на то, что основы мокапа остаются неизменными уже много лет, технология продолжает совершенствоваться. Долгое время одна из главных проблем состояла в том, что любые датчики крепятся к телу, а не костям. То есть воссоздать идеальный скелет не так-то просто. Но со временем и это удалось решить.

Иногда новые технологии приходили из совсем других сфер, не связанных с играми и кино. Например, сейчас популярны костюмы типа Xsens, которые изначально использовались для оценки биомеханики человеческого тела в процессе спортивной реабилитации. На сегодняшний день маркеры могут работать в неограниченном по площади пространстве и даже в воде, а программы «понимают», какие датчики отвечают за конкретную кость и способны самостоятельно достраивать уже готовое изображение в рамках игровых движков. Так актеры могут практически сразу оценить результат и лучше представить происходящее. Но все это было бы не так впечатляюще без главной фишки — анимации лица.

Впервые технология записи лицевой мимики была использована сравнительно недавно. Она получила название MotionScan. В основе все те же пассивные маркеры, но гораздо меньших размеров, которые крепили прямо на лицо. Чем больше маркеров, тем точнее картинка. Сейчас такие метки представляют собой лишь маленькие точки, которые никак не мешают актерам отыгрывать весь спектр эмоций, но на заре MotionScan система была немного другой. Человека сажали в закрытую комнату, наполненную множеством камер (чаще всего 32) и заставляли изображать лицом основные эмоции или зачитывать монолог. Все тщательно записывалось, а потом приклеивалось к скелету. Это порождало проблему, когда готовый персонаж выглядел неестественно. Оно и понятно — чтобы герой не делал на экране, актер-то в это время сидит на стуле.

В современных компьютерных играх и фильмах, как правило, совмещают обе технологии — Motion Capture и MotionScan. Это позволяет записывать эмоции и движения в реальном времени и создает невероятную по своей реалистичности картинку. В целом процесс получил общее название Performance Capture. Тем не менее индустрия развлечений прошла длинный путь. Рассмотрим его основные вехи.

Первым фильмом, где применили мокап, стал «Вспомнить все» (Total Recall). Там скелет Арнольда Шварценеггера (Arnold Schwarzenegger) сканировали датчиками и воссоздавали на экране. Качество, конечно, оставляло желать лучшего, поэтому конечности все равно пришлось дорисовывать руками. Немного позднее Джордж Лукас (George Lucas) совершил в «Звёздные войны: Эпизод 1 — Скрытая угроза» (Star Wars: Episode I — The Phantom Menace) новый прорыв, представив зрителям Джа-Джа Бинкса — полноценного цифрового персонажа, который занимал экранного времени также много, как и главные герои. Все движения и мимика были воссозданы на компьютере благодаря Motion Capture.

Модную фишку начали применять и в мультфильмах. Получалось, как правило, необычно. Из ярких примеров можно вспомнить «Последняя фантазия» (Final Fantasy: The Spirits Within) и «Полярный экспресс» (The Polar Express), в котором Том Хэнкс (Tom Hanks) сыграл аж пятерых персонажей. Были и другие работы, но гораздо менее значимые. Со временем индустрия мультиков отошла от мокапа в сторону компьютерной анимации и полноценной работы художников, но опыт все равно оказался показательным.

Однако главным триумфом Performance Capture, после которого технологию стали использовать повсеместно, был, конечно, Голлум в исполнении Энди Сёркиса (Andy Serkis). Персонаж появлялся во втором и третьем фильмах «Властелин колец» (The Lord of the Rings) и назвать его нереалистичным язык не повернется до сих пор. Могучую комплекцию актера не просто переработали, а буквально превратили Сёркиса в совершенно иное существо. При этом каждое движение он отыграл самостоятельно, включая голос и мимику.

Целая команда специалистов работала над Голлумом, и не зря. Его перфоманс показал всю мощь технологии и то, чего с ее помощью можно достичь. С этого момента наступил расцвет мокапа. Ни один фильм Marvel вообще не обходится без костюмов захвата движения, а сага «Планета обезьян» (Planet of the Apes), в которой сыграл все тот же Сёркис, на 90% состоит из подобных съемок. К сожалению, актеры, которые плотно работают с Performance Capture, до сих пор не имеют права получать «Оскар». Жюри почему-то считает, что в компьютерных моделях нельзя полноценно увидеть самих людей, что, конечно же, лишено всякого смысла. Сёркис стал одним из ярых противников данного запрета, но пока ощутимых подвижек не произошло.

Последней серьезной вехой в киноиндустрии стал «Аватар» (Avatar) Джеймса Кэмерона (James Cameron). Там Performance Capture достигла своего современного апогея, и даже спустя более 10 лет первый фильм выглядит невероятно.

А что же с играми? Там захват движения уже давно стоит в основе производства. Первыми проектами, которые использовали фишку, стали, как ни странно, файтинги и Prince of Persia. Джордан Мекнер (Jordan Mechner) в своей игре 1989 года прибегнул к ротоскопированию, чтобы отснять движения брата и подарить принцу более плавные анимации. Полноценный мокап появился в Soul Edge и Virtua Fighter 2. Позже технологию подхватила и Mortal Kombat.

Однако настоящим прорывом стали работы Quantic Dream. Именно эта студия изобрела жанр интерактивного кино, где игрок фактически управлял живыми людьми. Fahrenheit, Heavy Rain, Beyond: Two Souls и Detroit: Become Human показали, как можно и нужно работать с технологией, чтобы это выглядело красиво, естественно и эффектно.

Где-то неподалеку Rockstar Games выпускает свою L.A. Noire. Главной фишкой игры стали эмоции. Геймеры должны были следить за выражением лиц персонажей, чтобы понять, кто из них врет. Добиться этого можно было только благодаря MotionScan. Именно в этом проекте его впервые реализовали, а результат поразил абсолютно всех.

Интересно, что в нашумевшей дилогии The Last of Us технологию Performance Capture не использовали. Там применялся лишь захват движений, поэтому Элли и Джоэл совсем не похожи на свои реальные воплощения. А вот в Death Stranding Хидэо Кодзима (Hideo Kojima) напротив, использовал всю мощь современных подходов. Огромные по своей продолжительности катсцены, где именитым актерам приходилось играть своих персонажей как в полноценном фильме или сериале, впечатляют до сих пор.

Однако надо понимать, что Performance Capture все еще крайне затратная и трудоемкая технология. Ходят слухи, что Cyberpunk 2077 провалилась на старте именно из-за того, что Киану Ривз поздно согласился на участие. Его персонажа пришлось добавлять практически в каждую катсцену, из-за чего готовую игру кромсали в последний момент.

Quantic Dream тоже переживает не лучшие времена, так как сделать большой интерактивный фильм сегодня стоит непомерных денег, которых у студии попросту нет. Однако есть и позитивные примеры. Дилогия Star Wars Jedi, в которой роль молодого джедая Кэла Кестиса сыграл Камерон Монахан (Cameron Riley Monaghan), продемонстрировала отличную графику, где главный герой не просто похож на реального человека, а буквально выглядит один в один. Также стоит отметить серию игр The Dark Pictures Anthology. Они, конечно, гораздо проще и короче тех, что делали Quantic Dream, но постоянно совершенствуют как анимацию, так и мимику актеров.

***

Сложно представить современное кино и игры без технологии Motion Capture. Благодаря ей грани между двумя сферами все больше стираются и нет сомнений, что в дальнейшем мы будем видеть все больше известных актеров в игровых проектах. Захват движения прошел длинный путь развития и по праву занимает одну из лидирующих позиций среди современных способов визуализации. С интересом ждем нового витка прогресса, о котором обязательно расскажем в будущих статьях.