Олег Смирнов, продюсер, соучредитель PlayProduction, выступил с докладом «Virtual Production. Путь от Кино до TV через Event» на Online круглом столе «Broadcasting/Pro AV 2022. Премьеры NAB Show».
Мероприятие состоялось 24 мая 2022 года на платформе zoom. Модератор – Гоча Кумсиашвили, директор по производству и технической поддержке Общественного телевидения Грузии.
Олег Смирнов: Я являюсь продюсером и соучредителем студии виртуального продакшн ToyProduction. Сегодня мы поговорим о контенте, который возможно создавать с применением технологий Virtual Production, и немного коснёмся технической составляющей именно того момента, чем это может быть интересно для телеканалов и телестудий.
Для начала расскажу немного о нашей компании.
Мы являемся поставщиками технологий виртуального продакшн для съёмок эпизодов кино, сериалов, рекламной продукции. Также как отдельное направление нашей деятельности у нас идет ивент-индустрия – это различные онлайн-концерты, презентации и прочие мероприятия. У нас свой павильон в Санкт-Петербурге. Мы базируемся на киностудии «Кинополис». Павильон оборудован светодиодными экранами, системой трекинга камеры, серверными мощностями. Наша команда объединяет специалистов из киноиндустрии, технических специалистов из ивент-индустрии, а также у нас свой штат дизайнеров, которые создают трёхмерные и виртуальные сцены для наших проектов.
Тема моего доклада «Virtual Production. Путь от Кино до TV через Event». Звучит она, наверно, немного странно, но, на наш взгляд, будет удобно на примере нашей компании проиллюстрировать тот путь, который технология преодолевает на данный момент. Зародилось всё с кино, и толчком послужил выход сериала «Мандалорец». Как раз в тот момент, когда вышло техническое описание той технологии, которая применялась при съёмках этого сериала, грянула пандемия. Это послужило мощнейшим толчком для развития, так как освободились специалисты и оборудование. У нашей компании, которая 15 лет занимается арендой светодиодных экранов, ивент встал, работа отвалилась, но появилось свободное время. Тогда мы увидели такую интересную технологию и начали её развивать.
На сегодня эта технология уже прочно закрепилась в кино. Если год назад это была какая-то диковинка, и многие опасались применять её в своих проектах, то сейчас уже многие режиссеры, продюсеры, операторы успели с ней поработать, понять ее возможности, ограничения, преимущества.
Где применяется Virtual Production в кино? Наверно, самое популярное направление – это проезды, это съёмка фрагментов различных кинокартин, где действие происходит в автомобиле (диалоги и так далее). Для съёмок проездов автомобиль загоняется в павильон, который оборудован светодиодными экранами. На экраны выводится отснятый заранее видеоконтент в формате 360, и таким образом можно получить все отражения на автомобиле, правильное освещение и за одну смену отснять эпизоды с проездом для всей картины.
Эта же технология применяется для съёмки эпизодов с опасными моментами. Можно проиллюстрировать одну из наших работ. Для кинокартины мы снимали эпизоды, где действие происходит на маяке. Это реальный маяк в Ладожском озере. Те фрагменты, где актерская группа непосредственно взаимодействовала с маяком, снимались у нас в павильоне. За счет того, что декоративно был воссоздан именно тот маяк, который был отснят на живой съёмке, получился очень хороший результат.
Также можно проиллюстрировать преимущество технологии в случаях, когда нам необходимо отснять одну и ту же локацию, например, в разные времена года. У нас был проект, где мы снимали рекламу. За одну смену за счёт того, что мы меняли декорации и виртуальные декорации, мы смогли снять три разных сезона. В реальной жизни это было бы намного дольше и сложнее. Изначально, когда мы начинали развивать Virtual Production, все примеры её применения были связаны только с кино, и применение в ивенте и тем более на телевидении было совершенно неочевидно. Почему? Потому что на тот момент ивент и событийная индустрия вообще жила по старым законам. Она была офлайновая, очная, и по большому счёту применение технологий виртуального производства для неё было совсем неявным.
Мы начали развивать технологию в кино, но понимали, что, возможно, в ивенте тоже найдется некое применение, и начали предлагать своим клиентам интегрировать технологию в их проекты. Отклик пришёл не сразу, но уже в декабре 2020 года мы реализовали очень масштабный проект – онлайн-концерт МТС Live XR. Это шестичасовой онлайн-концерт, где было пять исполнителей. Для каждого из них был создан свой виртуальный мир. Артисты располагались на сцене – сетапе из светодиодных экранов. Экраны установили по заднику, экраном был светодиодный пол. Мы использовали две системы трекинга камеры: Mo-Sys и VIVE. Всё это мы снимали на кинокамеры, потому что у нас была задача добиться именно кинематографичной картинки. Погружение артиста достигалось за счёт движения камеры, за счёт эффекта параллакс.
Также можно отметить, что трёхмерные сцены – это не видеофрагменты, которые заранее отрендерены. Они рендерятся в режиме реального времени, и есть возможность управлять различными анимационными эффектами, например, поменять положение солнца. В таком случае не только шарик будет перемещаться где-то на видео, а будет меняться направление теней, освещение всех объектов, то есть всё будет работать по законам природы. Также можно отметить, что зрители могли влиять на трёхмерную среду в режиме реального времени, проявляя активность в социальных сетях. Запускались различные визуальные эффекты – аватарки тех пользователей, которые лайкали трансляцию, могли появляться в виртуальном мире. Концерт набрал 14 миллионов просмотров только за сутки и только во ВКонтакте, хотя он транслировался и на другие платформы.
На этом концерте мы впервые столкнулись с проблемой необходимости синхронизировать вещательный тракт и серверы, соответственно, вывод картинки на экраны. Дело в том, что при наличии нескольких камер мы получаем верную перспективу в момент включения камеры в эфир. То есть у нас картинка на экране должна перестроиться под положение камеры, которая идет в эфире. Мы заранее подготовили теоретическую базу, но с учётом малого времени подготовки к концерту не всё получилось реализовать по максимуму. При переключении с камеры на камеру на экране были видны небольшие кадры перехода.
В целом мы довольны результатом. Это был большой эксперимент, который вскрыл некоторые проблемы, которые нам предстояло решать в дальнейшем. Мы принялись за эксперименты, то есть это стало некоторым вызовом для нас. Мы варьировали разные части вещательного тракта, закупали оборудование, и в апреле 2021 года мы решили проблему бесподрывного переключения камер при съёмках в формате XR.
Решение этой проблемы, наверно, послужило толчком к размышлению о том, что технология Virtual Production может идти в телевидении. Мы получаем стандартную ПТС – то есть работа режиссёрской группы, операторской группы остаётся такой же как прежде. Получается, у нас есть просто ПТС, есть камеры, и операторы и режиссёры трансляции опираются на картинку, которую видят у себя на превью. Соответственно, технология Virtual Production не ограничивает их творчество.
Уже в сентябре 2021 года мы провели ещё один онлайн-концерт «Будь с городом», на котором мы откатали эту технологию. Это также шестичасовой концерт. У нас было три исполнителя, для них создали свои виртуальные сцены. При съёмке концерта мы также пытались добиться кинематографичности картинки. У нас были камеры Blackmagic URSA, так как они показали себя наиболее оптимальными по нашим тестам в случае бесподрывного переключения камер за счет быстрого роллинг шаттера. Но свет, операторская группа и оператор-постановщик пришли к нам из кино. То есть мы начали заниматься кино в Virtual Production, и все эти навыки и наработки перенесли в ивент.
Мы продолжили развивать эту технологию для ивента, и результатом стал более минималистичный формат. До этого мы приводили примеры, где действие происходило на громадных экранах. Мы понимаем, что в условиях небольших киностудий внедрить этот формат достаточно сложно, поэтому мы перешли к формату MR (Mixedreality), то есть совмещаем реальный и виртуальный мир. Например, мы провели несколько деловых мероприятий, где ведущие стояли на сцене, а за ними располагался светодиодный экран, который показывал соответствующую часть виртуального мира. То есть все остальное достраивалось в режиме реального времени. Физическая камера располагалась статично, а движение обеспечивалось за счёт виртуальных камер, которые программируются заранее. Режиссёр трансляции видит у себя на превью все возможные камеры, соответственно, может между ними переключаться. Этот сетап удобен тем, что он не занимает много места, может быть внедрен в любую студию. Мы можем использовать динамический свет, а это преимущество перед хромакеем. За счет компактности, гибкости и мобильности он перемещается достаточно легко и быстро. Точно также в виртуальной среде мы можем управлять различной анимацией, различными визуальными эффектами, инфографикой и, в принципе, всем, чем угодно.
Тот формат MR, о котором я сейчас сказал, не предполагает трекинга камеры, это простая промежуточная версия. Сейчас у нас подходит к концу разработка расширенной версии MR. Она будет представлять собой сетап также из небольшого экрана, который, по большому счету, ограничивается только размером бюджета и размера помещения, пол у нас будет также светодиодный, и все окружение будет достраиваться также в виртуальной среде. Но, в отличие от обычного MR, мы будем применять полноценный трекинг на любые подвижные операторские экраны, стедикам и так далее для получения объёмной картинки.
Как это видится в телевидении? По большому счету, нет предела фантазии. Получается, что ведущий может располагаться в разных по смыслу локациях, соответствующих тому или иному выпуску. Все эффекты, такие как дополненная реальность, этот формат в себя включает, то есть он идёт как пакетное решение в данном случае, так как у нас присутствуют трекинг-камеры, калибровка объектива и так далее.
Виртуальный продакшн в нашей стране появился всего лишь полтора года назад, но он уже успел завоевать признание в кинопроизводстве. Понятно, что это не решает все проблемы, но он закрепился и в ивент. Мы в ивенте откатали те технические моменты, которые в будущем так или иначе будут решаться на телевидении. Основной технической сложностью для нас было переключение камер. Нам видится, что это придёт на телевидение в каком-то обозримом будущем.
Гоча Кумсиашвили: Какой движок вы используете в MR?
Олег Смирнов: Это Unreal Engine, на нём работает весь мир. Тут есть еще вариации по Unity, но, по-моему, никто из серьёзных проектов его не применяет, поэтому только Unreal Engine.
Гоча Кумсиашвили: Каким образом происходит вырезание изображения без хромакея?
Олег Смирнов: У нас камера снимает ведущих, за которыми располагается светодиодный экран. На экран выводится изображение, но это изображение не статично, оно генерируется за счёт виртуальной камеры, которая прописана в движке Unreal Engine. Именно тот кусочек, который соответствует тому, что должно отображаться на экран, выводится на этот экран. То есть кеинга там нет. Мы вписываем в поток, в котором формируется всё окружение, реальный сигнал с камеры, и при движении виртуальной камеры на экран выводим ту картинку, которая соответствовала бы тому, что выводится на этом месте при движении реальной камеры. Получается, что создается виртуальный мир, он может быть сколь угодно большим, и в него мы погружаем сигнал с видеокамеры через карту захвата. Дальше мы получаем ту среду, которая у нас в движке Unreal Engine, где летают виртуальные камеры. Именно этот сигнал мы и выводим в эфир. Это промежуточный этап развития нашей технологии. Сейчас мы движемся к тому, чтобы перейти на полноценную технологию с трекингом, и тогда это будет намного более зрелищно.
Гоча Кумсиашвили: Какие трекинги вы рассматриваете?
Олег Смирнов: Мы используем Mo-Sys. Это британская компания, одна из передовых поставщиков трекинг-систем. Для вопроса с переключением камер, о котором я говорил, они недавно анонсировали не аппаратное решение, выводящее на стандартную ПТС для режиссера трансляции, а программное решение, когда всё идет через карту захвата, через компьютер. То есть мы эту проблему решили год назад, а они совсем недавно. Вообще при решении задачи мы очень долго искали какие-то примеры, потому что это абсолютно новая техническая область. Но до сих пор мы не встречали даже каких-то подтверждающих примеров, чтобы кто-то так делал без монтажа. Только сейчас начали появляться пакетные решения от мощных мировых компаний, которые уже их предлагают.
Гоча Кумсиашвили: Почему эта проблема возникает? Потому что вы используете один движок рендера и на этом движке переходите с одной камеры на другую?
Олег Смирнов: Нет. Если говорить о переключении реальных камер, проблема там в том, что весь тракт и серверные мощности должны быть очень жестко синхронизированы. Если мы представляем себе большую трехмерную сцену, созданную в Unreal Engine, то перейти за один кадр от одного ракурса к другому не под силу даже самым мощным рендер-машинам, которые у нас и есть.У нас все укомплектовано на последних видеокартах Nvidia A6000. Поэтому требуется, во-первых, всё жестко засинхронизировать, выставить ту задержку, которая необходима движку, чтобы ему, условно, собраться с мыслями и поменять перспективу. Также нужно залезть в ПТС, что мы и сделали. Соответственно, управление ПТС идёт не в прямом виде, а через отдельную консоль. То есть существует очень много составных частей этой проблемы.
Вопрос: Почему за последние полтора года эта технология стала настолько востребована? Чем лучше ваша разработка и внедрение именно экранов в студию в плане 3d-рендеринга?
Олег Смирнов: Я вижу, что эта технология получила спрос пока в киноиндустрии, потому что, во-первых, сначала всем было интересно попробовать, а во-вторых, здесь играет роль экономия бюджета. Представьте, что за всю картину у вас есть сколько-то эпизодов с проездами, есть дорогостоящий актер, у вас есть дневные сцены, ночные сцены, есть одна локация, есть другая локация, и вам нужно актера и всю съёмочную группу оплачивать, условно, пять смен. С нашей технологией можно прийти в павильон и в комфортных условиях снять всё это за одну смену. То есть дело в экономии. Если говорить о пакетных решениях дополненной реальности, то мы можем использовать динамический свет, а все студии, которые созданы на хромакее, выглядят немножко пластмассово. Если мы не можем менять динамический свет, то нет погружения. К тому же мы сможем применять нашу технологию более разнопланово. Это не будет статичная студия, мы сможем менять все окружение и понимаем, что освещение персонажа должно меняться вместе с ним. При хромакее у нас выставляется свет, все засвечивается статично, и объект съёмки не может быть подвержен изменению освещения. Это одно из наших главных преимуществ.
Гоча Кумсиашвили: То есть вы можете получать информацию и управлять светом в студии?
Олег Смирнов: Да, конечно. Например, на онлайн-концерте «Будь с городом» на пульты художника по свету были заведены различные эффекты: положение солнца, количество облаков, скорость ветра, общая экспозиция и так далее. То есть этим не только можно управлять, это можно отдавать не только в наши руки, но и в чьи-то другие, некоего художника, который отвечает за общую концепцию. То есть все трехмерные сцены позволяют варьировать практически всеми параметрами, которые есть. Соответственно, мы можем синхронизировать изменение освещения в трехмерной среде и реальный свет, который установлен в студии, и это можно делать с одного и того же светового пульта.
Андрей Цихонь, технический директор «МедиаПроекта»: Вы используете DMX или JPI для управления?
Олег Смирнов: DMX.
Андрей Цихонь: В чём была сложность поднять две рендер-машины, на одну считать текущую виртуальную камеру, на вторую считать следующую виртуальную камеру, на которой будет переход, и делать переход с одной рендер-машины на другую?
Олег Смирнов: Всё, что выводится на экран, читается на одной машине. Если мы будем иметь какой-то супер-гигантский экран, то мы будем вынуждены ставить несколько рендер-машин и их синхронизировать между собой. Мы не можем считать одну перспективу на одной машине, а другу перспективу на другой. А если у нас три камеры, четыре, пять? Так это не работает. То есть мы имеем одну машину, которая рендерит картинку на экран, имеем какое-то количество камер, и не рендерим заранее то, что будет выведено. По нажатию на кнопку на режиссёрском пульте, при условии, что всё синхронизировано очень точно, у нас камера переключается на несколько кадров позже, как раз на то количество кадров, которое необходимо рендер-машине, чтобы поменять перспективу. В итоге переключение камеры и перспектива на экране происходит за 20 м/с.
Андрей Цихонь: Когда вы делали большие концерты, вы пользовались каким-то софтом для автоматизации именно концерта? Была ли какая-то ведущая машина, которая имела тайм-код, и ей пользовались и графика, и звук, и свет?
Олег Смирнов: Нет, в данном случае тайм-кодов не было. Тайм-коды применяются в основном на каких-то сольных постановочных концертах, когда шоу заранее продумано, отрежиссирована вся работа по свету и так далее. Здесь это был абсолютный Live, не было постановочных номеров. В целом это тоже возможно, не вижу проблем. Но в данном случае всё проводилось вживую, единственное, что был режиссёрский пульт, который позволял управлять элементами в трёхмерной сцене, то есть некоторыми графическими эффектами, эффектами видео. В творческом плане управление трёхмерной сценой может быть вынесено за отдельную машину, и режиссёр может управлять всеми этими вещами. Синхронизировать это со светом и другими эффектами тоже можно по тому же протоколу DMX.
