Тема ежемесячного круглого стола TKT1957 Visionaries 2023 – «XR/VR: The future technology is here». Специальные гости поделились своими знаниями по теме расширенной (Extended Reality / XR) и виртуальной реальности (Virtual Reality, VR).
Филип: Я хотел бы задать свой первый вопрос Вам, Эдди. В чем разница между XR и VR? Эти термины часто используются, но как объяснить это непрофессионалу?
Эдди Гани, disguise: XR — это расширенная реальность, а VR, мы любим называть это VP, виртуальное производство. Как правило, эти две вещи могут подпадать под один и тот же зонтик, и это сбивает с толку.
Расширенная реальность – термин, который относится ко всем реальным и виртуальным средам: таким, как VR, AR и MR, объединенным вместе. XR создает эффект полного погружения для пользователя, помогая ему ощутить максимальное присутствие в искусственно созданных мирах.
Особенности технологии: съёмка реальных объектов в виртуальном пространстве производится на фоне LED-экранов высокого разрешения вместо хромакея. Благодаря системе трекинга фон подстраивается под положение камер, обеспечивая эффект полного присутствия в виртуальной среде.
VP ориентировано больше на кинопроизводство, тогда как XR – на съёмку музыкальных концертов, трансляции зрелищных событий в реальном времени.
Главная «изюминка» XR-технологии, отличающая её от использования зеленого экрана, – параллакс-эффект, изменение видимого расположения объектов заднего плана относительно друг друга в зависимости от нахождения наблюдателя.
Филипп: Джастин, что Вы добавите к этому?
Джастин Уайли, Arc Studios: Термины должны быть стандартизированы. Мы в основном используем много одних и тех же инструментов для управления трансляциями мероприятий или для создания фильмов, но разница заключается в конечном продукте.
Филипп: Хорошо. Анатолий, как Вы разделяете понятия XR/VR?
Анатолий Горонеско, VRCast: Концепция «новых медиа» включает гораздо больше, чем XR, VR и AR. Обычное вещание мигрирует и, возможно, эволюционирует в новые медиа, где интернет и взаимодействие, такое как конференции, например, станут новым языком общения с аудиторией. Все дело в интерактивном опыте, который вы можете применить к некоторым объектам, будь то виртуальная или смешанная реальность. В настоящее время мы работаем над концепцией отсутствия интернета, при которой вам не нужно устанавливать какие-либо дополнительные приложения.
Филип: Джастин, Вы принимали участие в создании таких сетапов?
Джастин: Думаю, да. Поскольку мы изучаем множество новых инструментов, то находим способы делать привычные вещи лучше. Это цветокоррекция, конвейер и рабочие процессы. Они станут более эффективными, когда изображение на вашем ноутбуке при создании сцены будет полностью соответствовать тому, что вы увидите в конце, по результатам постпродакшен.
Филип: Эдди, что делает disguise? И как Вы удовлетворяете потребности таких людей, как Джастин, которые используют виртуальное производство?
Эдди: disguise создаёт технологию, которая поддерживает все этапы виртуального производства или XR. Мы делаем высокопроизводительные серверы; специальное программное обеспечение, которое работает на этих серверах. Затем мы осуществляем технологические интеграции, в том числе выпускаем плагины, которые позволяют объединять решения.
Кроме того, disguise не только создаёт технологию, но и помогает в обучении. Мы поддерживаем вас на протяжении всего этого процесса. И теперь с Meptik мы можем предложить услугу по созданию сетапов или, возможно, созданию контента.
Филип: Анатолий, как технологии, на которых Вы специализируетесь, применяются в Европе?
Анатолий: Я вижу большой потенциал в применении алгоритмов искусственного интеллекта, которые одновременно управляют и полностью заменяют операторов инструментами машинного зрения. Они позволяют использовать панорамные камеры. ИИ-режиссер может поворачивать и наклонять изображение внутри панорамы. Мы используем концепцию точек присутствия на мероприятии, чтобы вы могли распределить несколько мини-камер для виртуальной реальности с полными сферическими изображениями, а затем создать виртуальный двойник локации в смешанной реальности. Например, для создания 3D-сцен со специальными точками присутствия.
Вы можете отправлять своих клиентов для просмотра контента из определённых мест без участия генерального директора или кого-то, кто решает, что интересно, а что нет. Вы просто получаете ощущение полноценного присутствия на мероприятии, например, за воротами, в раздевалках, при прибытии команд.
Как это работает? Мы просто присоединяемся к комнате и в то же время вещаем в прямом эфире в 4K. Это реализовано на базе браузера. Наша идея состоит в том, чтобы распространять технологию на несколько локаций в разных странах.
Филип: Эдди, а кто основные производители систем слежения?
Эдди: В основном существует два разных типа технологий отслеживания камеры: отслеживание снаружи внутрь и отслеживание изнутри наружу.
Итак, у вас есть камера, которая смотрит вверх на шесть маркеров. Что касается внешнего мира, то обычные системы захвата движения World Optical, такие как Vicon и Optitrack, могут отслеживать человеческие тела и камеру.
С другой стороны, есть N-cam, объединяющий две технологии в этом пространстве. Кроме того, есть Mo-sys, который поддерживает все эти продукты. Мы даже заходим так далеко, что поддерживаем HTC Vive и всё на потребительском уровне.
Филип: Недавно я видел пост, где компания говорила о возможности заменить мокап-костюмы искусственным интеллектом. Считаете ли вы, что ИИ всё чаще входит в мир слежения за камерами или он всё ещё слишком сложен?
Эдди: Нет. Я думаю, что в какой-то момент системы ИИ смогут отслеживать камеры. Система, о которой вы говорите, — это move.ai, технология захвата движений без датчиков, которую мы только что интегрировали с disguise, объявив об этом на NAB. Она позволяет отслеживать любого на съёмочной площадке по светодиодным экранам без традиционных маркеров, костюмов и камер, которые интегрируются в мокап-костюмы.
Филип: Хорошо. Джастин, какие есть системы для создания фонов? Как вы подходите к управлению этим фоном?
Джастин: Я думаю, всё дело в вариантах использования и выяснении масштабов проекта.
Unreal невероятно функционален и очень сложен. Вы можете использовать его для создания полных 3D-сред, 2D-рендеринга и выходных данных. Получается несколько разных категорий. Одна из них будет похожа на 2D-слои, поэтому у вас будет либо воспроизведение видео, либо неподвижные фотографии, и это просто фон, который вы хотите использовать. Это может быть так же просто, как сфотографировать свой задник, а затем использовать его для создания полностью настраиваемых 3D-сред, подобных тем, которые вы создаете для видеоигры, в которой можно будет перемещать камеру.
Unity – ещё одна система, которая используется для создания видеоигр. Она позволяет проектировать для съёмок высокодетализированные, эффективные среды и декорации. Так же как традиционная бригада дизайнеров собирает декорации в студии. Это бесконечная гибкость, обеспечивающая возможности масштабирования.
Филип: Анатолий, что будет движущей силой – Unreal или Unity? Видите ли вы Unity на европейском рынке?
Анатолий: Unreal Engine больше ориентирован на видеореалистичный рендеринг. Эта технология умопомрачительна с точки зрения совместной работы с новыми медиа.
Unity – это инструмент начального уровня. Тем не менее, мы больше думаем о смешанной реальности и концепции просмотра веб-страниц, и ждём крупного обновления от Google, которое позволит увидеть важную веху поддержки веб-рендеринга GPU, создающую 3D-сцены в браузере. Это, вероятно, будет в 10 раз мощнее по сравнению с текущими решениями. Просмотр веб-страниц, технология без использования интернета с криптографией – это будущее.
Филип: Эдди, по мере того, как disguise разрабатывает свое программное обеспечение для интеграции и упрощения процесса, Вы видите, что больше корпоративных клиентов присоединяются или запрашивают системы?
Эдди: Да. 100 процентов. На самом деле мы только что представили производственный сервер, специально предназначенный для этого рынка, под названием EX3. Его цена намного доступнее, и вы по-прежнему получаете те же преимущества, как при съёмках кино или высококачественных трансляциях.
Филип: Анатолий, каков спрос в Европе?
Анатолий: Мы видим интерес с обеих сторон. От клиентов b2c, которые являются блогерами и влиятельными лицами, заинтересованными в новом языке для общения с аудиторией, до брендов, которые ищут новые методы коммуникации. Хотя, мне кажется, здесь больше корпоративные интересы. Также малые компании более гибки по части внедрения некоторых инноваций.
Филип: Джастин, как Вы думаете, что удерживает более мелких клиентов от использования XR и VR?
Джастин: На самом деле, технология становится намного более доступной для многих людей. На телефоне, кстати, уже сейчас можно снять виртуальную студию: есть приложения, которые позволяют подключить iPhone к движку, получить трекинговые данные и сделать видео.
Вы можете делать что-то простое, размещать контент, снимать на телефон, использовать зеленые экраны и компоновать на своем ноутбуке с помощью Unreal Engine. Есть много очень простых и доступных способов сделать это. Мне нравится наблюдать, как многие ютуберы говорят: «Просто дайте мне войти и разобраться, чтобы увидеть, смогу ли я на самом деле справиться». Это действительно круто.
Таким образом, чем более образованными становятся люди, тем менее вероятно, что они увидят в этом пугающее технологическое препятствие. Мы находим способы помочь людям понять технологию, то, как она работает. И понять, что это уже далеко не просто “игрушка” режиссёров «Звёздных войн» и «Звёздного пути». Что виртуальное производство доступно гораздо большему кругу людей.
Джастин Уайли: Виртуальное производство доступно гораздо большему кругу людей
Филип: Эдди, наблюдаете ли Вы более широкое внедрение или усиление поддержки 3D VR и продуктов, поддерживающих гарнитуры VR?
Эдди: Да. Я пришел из мира VR/AR, а теперь, перейдя к виртуальному производству и XR, я определённо должен сказать, что это две разные вещи. На данный момент я не вижу стереоскопического использования сцен VP.
Филип: Есть ли техническая проблема при создании усечённого конуса?
Эдди: По сути, нужно визуализировать две камеры одновременно с правильным межокулярным расстоянием. Тогда пришлось бы использовать такую технологию, как GhostFrame, например, для захвата двух перспектив одновременно. Это возможно. И я уверен, что кто-то так делает, но это не то, что является мейнстримом.
Филип: Анатолий, что Вы можете добавить о трёхмерных стереоскопических изображениях?
Анатолий: Большинство людей, которых я встретил в США в прошлом году, имели толстый слой пыли на своем окулусе. Обычному человеку слишком сложно поддерживать постоянные обновления виртуальной гарнитуры. Для работы требуется много усилий, и поэтому мы сосредоточились на веб-браузерах, моноскопических 360-градусных изображениях, где вы можете панорамировать и наклонять, увеличивать и уменьшать масштаб. Наш алгоритм позволяет наблюдать за игрой, не глядя на шайбу. По сути, мы читаем контекст игры, анализируем скелетные модели игроков и можем предсказать ход игры.
Филип: Мы все слышали о планах Apple производить очки дополненной или виртуальной реальности. Джастин, как это повлияет на то, что Вы будете делать в будущем, если вдруг у всех появятся очки AR/VR?
Джастин: Я думаю, что один из самых привлекательных вариантов использования заинтересует режиссёров. Благодаря им можно исследовать локации, созданные в Unreal, в гарнитуре – я могу быть в Нэшвилле, мой коллега в Атланте, еще один сотрудник – в Лос-Анджелесе. И мы все можем участвовать в одном и том же сеансе, в одной и той же среде. Или в сценарии, когда мне нужно ждать конференц-колла с тремя людьми, а так мы можем просто сотрудничать в режиме реального времени.
Филип: Эдди, ответьте, как неофициальный евангелист Unreal, это действительно произойдет в гарнитурах XR, VR и AR?
Эдди: Да. Абсолютно. Гарнитура — это аппаратное обеспечение, но вам понадобится контент, чтобы продвигать это оборудование. Откуда будет браться весь этот контент? Он будет исходить от игровых движков в реальном времени. Unreal по-прежнему представляет собой очень маленькое сообщество создателей и художников, но что-то подобное поможет расширить это сообщество, поэтому мы будем видеть всё больше и больше креативщиков и людей, которые смогут реализовать визуализацию.
Филип: Создаются ли сцены в Unreal с нуля или вы используете готовые сеты? Как Unreal взаимодействует, скажем, с другими существующими 3D-приложениями?
Эдди: Для приложений самого высокого уровня, для эффектов BF и для художественных фильмов высокого класса в Unreal нет ничего встроенного. Всё это импортировано. Но для применения VR на профессиональном и любительском уровне вы, безусловно, можете получить множество ресурсов от Epic Games, Quixel, megascans или даже Turbo Squid. Существуют онлайн-магазины приложений, которые вы можете просто купить, а затем зайти в свою сцену.
Филип: У нас есть вопрос к Аммару Хина (Ammar Hina), директору по телерадиовещанию UAE Pro League, который занимался большим спортивным проектом в Саудовской Аравии в Объединенных Арабских Эмиратах. Не могли бы Вы немного рассказать о своем опыте XR/VR?
Амар: Мы сделали пару проектов с XR/VR, но не связанных со спортом. Я не думаю, что это то, с чем мы будем работать в мире спорта, но это, безусловно, полезно в области вещания и производства. Будущее за виртуальными сетапами, смешанными с VR / XR, но в основном с элементами дополненной реальности.
Амар Хина: Будущее за виртуальными сетапами, смешанными с VR / XR
Интеграция между статистикой данных и телевизионным эфиром очень интересна.
Есть несколько других областей, на которых следует сосредоточиться в будущем, — это специальные камеры. Мы делали такие проекты, смешивая элементы дополненной реальности со камерами, такими как дроны, камеры Sky и движущиеся камеры. Результат получился впечатляющим.
Филип: Джастин, Вы собираетесь создавать полностью иммерсивную среду?
Джастин: Не для каждого сценария лучше всего использовать только светодиодные стены. Я хочу, чтобы зрители увидели или услышали историю, которую мы пытаемся рассказать. Поэтому речь идёт о формировании образа и поиске наилучшего способа сделать это. Мы в поисках золотой середины. Важно рассказать хорошую историю, используя инструменты для того, для чего они должны использоваться, а не просто задействовать техническое решение с широчайшим функционалом. В большинстве случаев это дорого и сложно.
Филип: Эдди, над чем Вы работаете?
Эдди: Работаем над созданием полноценных экосистем. Важным шагом для нас является всеобъемлющая облачная инфраструктура, которая управляет всем вашим контентом: 3D- и 2D-версии контролируют его, и поэтому управление активами в целом упрощается.
Филип: Анатолий, каковы перспективы вашего развития?
Анатолий: Наш горизонт охватывает 15 лет. Мы приближаемся к совершенно новому миру, где люди живут в экономике развлечений, а самая ценная валюта — время.
Мы создаем систему токенизации на основе времени, чтобы соотнести продолжительность и фактический просмотр содержимого. Мы верим, что контент, созданный непрофессиональными пользователями — это следующая важная веха, из-за феномена, когда два блогера с iPhone могут привлечь гораздо больше внимания, чем обычная команда ПТС. Мы видим, что реклама и бюджеты становятся персонализированными. Именно поэтому мы сосредоточились на нашей системе телеприсутствия, которая позволяет погрузиться в виртуальную реальность с нулевой задержкой, что на самом деле является телепортацией. Это может привести к идеям оцифровки реального мира в кинематографическом качестве в режиме реального времени.
Анатолий Горонеско: два блогера с iPhone могут привлечь гораздо больше внимания, чем обычная команда ПТС
Филип: Вопрос к Мохаммаду Али Аббаспуру (Mohammad Ali Abbaspour, основатель и директор Sponix) – что Вы видите в качестве следующей знаковой вехи в мире XR/VR?
Мохаммад: Мы занимаемся XR и AR, иммерсивным опытом, а также виртуальным наложением для отрасли. Нашей главной целью сейчас является персонализация каналов и контента для фанатов в режиме реального времени, и я верю, что с мощью AR / XR, ИИ и машинного обучения мы можем этого достичь. Нужно больше внимания уделять коммерциализации контента, чтобы она была доступна для фанатов и для правообладателей.
Филипп: Аммар, каковы Ваши планы, над чем Вы работаете?
Аммар: В настоящее время я больше сосредотачиваюсь на технических аспектах спортивного вещания, которые, к сожалению, сдерживаются временем самих матчей. Например, в футболе за 90 минут вы должны интегрировать все способы вовлечения аудитории, постоянно добавляя дополнительные элементы, используя данные и статистику, и в то же время создавая больше коммерческих передач, как только что упомянул Мохаммад. Для меня приоритетна коммерческая составляющая вещания, чтобы постоянно поддерживать бизнес, и я верю, как сказал наш коллега, что фанаты — это будущее. Но как привлечь их? Я считаю, что отображение большего количества выходных данных на мобильных устройствах может стать новой платформой. И мы должны задействовать для этого все каналы связи и необходимые данные.
Филип: Джастин, какие прорывные технологии в отрасли, по Вашему мнению, появятся в ближайшие 1,5 года?
Джастин: Мы уже успешно используем многие из обсуждаемых инструментов. И видим, что не только фильмы и телешоу используют VP для создания крутой картинки. Мы надеемся стать более эффективными и рассказывать больше историй с разных точек зрения, потому что по-прежнему ощущаем дефицит контента: все хотят увидеть новое, и в потрясающем качестве!
Филипп: Фантастика! Во-первых, позвольте мне поблагодарить всех за участие во втором онлайн круглом столе Visionaries. Мы действительно движемся вперёд, и я уверен, что зрители многому научились!
Организатор – TKT1957 LLC.
Модератор: Филип Гроссман (Philip Grossman), независимый консультант в сфере кино и ТВ (США).
Джастин Уайли (Justin Wylie): является техническим директором Arc Studios и имеет за плечами более десяти лет опыта работы в киноиндустрии как в качестве оператора, так и продюсера, обладает обширными знаниями в качестве технического директора Gear Seven, Shift Dynamics и Arc Studios. Он курирует закупку и внедрение передовых инструментов и приложений для кинематографии, которые Gear Seven и её партнёрские бренды используют для достижения результатов в видеопроизводстве.
Эдди Гани (Addy Ghani): вице-президент по виртуальному производству компании disguise. Эдди хорошо знаком с рабочими процессами Studio и отраслевыми стандартами визуализации в реальном времени для кино и телевидения, разрабатывая стратегии, которые будут способствовать распространению виртуального производства. До прихода в disguise Эдди проектировал и строил сцены мирового класса для DreamWorks Verizon Media и NBC Universal, чтобы помочь творческим людям визуализировать свои мечты. Он также научный сотрудник Unreal Engine.
Анатолий Горонеско: начав первые независимые опыты с VR-трансляцией в 2015 году, сейчас Анатолий Горонеско и его команда полностью освоили весь спектр решений, связанных с VR. Его компания VRCast специализируется на спецпроектах по трансляциям в формате VR без задержки в разрешении 4K, а концепция VR Sphera объединяет виртуальные миры в формате метавселенных. Сейчас сфера интересов VR Cast – это VR-telepresence, то есть телеприсутствие в виртуальной реальности. Абсолютно новая, зарождающаяся индустрия метавселенных, развитием которых будут заниматься IT-корпорации уровня Facebook, Apple, Nvidia. Анатолий работал на Олимпийских играх, где курировал иммерсивные технологии и лицензирование между оргкомитетом, службами Олимпийского вещания и Intel, которая была их поставщиком.
