Олег Березин: NAB over IP

Олег Березин, член общества инженеров кино и телевидения SMPTE, председатель секции SMPTE (suspended since 02/2022), генеральный директор АО «Невафильм», член совета директоров Европейского форума цифрового кино, учредитель Высшей школы киноинженеров (Школа инженеров телевидения), куратор проекта TKT Education, на гибридной конференции Broadcasting / Cinema 2023. Post-NAB с докладом «NAB over IP».

Олег Березин: Я неспроста назвал свой доклад «NAB over IP». Во-первых, тема передачи мультимедийных данных по IP-сетям — это сфера моих профессиональных и академических интересов. Во-вторых, несмотря на то, что лично я не смог присутствовать на конференции NAB, мне удалось принять в ней участие виртуально, именно «over IP». И я готов поделиться самыми интересными, на мой взгляд, материалами конвенции с участниками Post-NAB 2023.

Меня зовут Олег Березин. До приостановки работы российской секции в марте 2022 года я возглавлял российское отделение общества инженеров кино и телевидения SMPTE. Но, несмотря на все трагические события, мы всё равно остаемся членами общества SMPTE и продолжаем активно участвовать в его жизни как индивидуальные члены.

SMPTE — это всемирное общество инженеров, объединяющее более 8 000 специалистов из 62 стран мира. SMPTE известно, прежде всего, как издатель стандартов. На данный момент принято более 800 стандартов в области аудиовизуальных технологий, которые сегодня SMPTE разрабатывает и в качестве международных стандартов ISO.

В настоящее время, несмотря на приостановку деятельности, мы обсуждаем возможность объединение российских инженеров по всему миру. Многим коллегам хочется создать некое неформальное сообщество российских инженеров кино и телевидения, чтобы наши дискуссии, встречи и обсуждения не останавливались.

На сегодняшний день основная задача SMPTE заключается в поддержании творческих контактов, разработке стандартов и повышении уровня обучения и квалификации в аудиовизуальной индустрии. В рамках данной задачи организуется множество конференций, семинаров и веб-курсов, нацеленных на всеобъемлющее повышение квалификации и уровня образования всех участников процесса телекоммуникаций.

Конференция SMPTE’s Future of Cinema

Ключевым, на мой взгляд, мероприятием NAB-2023 являлась конференция SMPTE’s Future of Cinema.

Драйверами конференции стали три лидера нашего общества – легендарная личность – президент SMPTE Ренард Дженкинс (Renard Jenkins), вице-президент по образованию Майкл Зинк (Michael Zink) и исполнительный директор Дэвид Гриндл (David Grindle).

Основными топиками конференции SMPTE’s Future of Cinema стали:

• HDR в кинотеатральном показе
• иммерсивные медиа и большеэкранные системы
• технологии искусственного интеллекта в медиаиндустрии
• технологии виртуальной (VR) и смешанной (XR) реальности и т.д.

 LED-киноэкраны и технологии HDR

Открыла конференцию SMPTE’s Future of Cinema дискуссия о двух спецификациях консорциума DCI – Digital Cinema Initiative, созданного ровно 10 лет назад шестью голливудскими киностудиями – Walt Disney Company, XX Century Fox, Universal, Warner Brothers, Paramount и Sony Pictures.

NAB over IP

Очевидно, что DCI представляет интересы продюсеров и владельцев самого дорогого на планете на сегодняшний день контента. Именно спецификации DCI легли в основу всех международных стандартов, в том числе и стандартов SMPTE в области Digital Cinema. Новые спецификации на самом деле являются приложениями к основной спецификации Digital Cinema «DCI System Requirements And Specifications For Digital Cinema».

Первый документ «Direct View Display D-Cinema Addendum» – определяет требования DCI к воспроизведению (предъявлению) кинофильмов на LED-киноэкранах кинотеатров.

Традиционно, спецификации DCI в первую очередь охватывают две области:

• первая – качество воспроизведения изображения и звука
• вторая, порой даже более важная для продюсеров и киностудий – вопросы обеспечения безопасности контента.

Количество производителей LED-киноэкранов растёт, в первую очередь за счёт китайских компаний. Количество кинозалов с LED-экранами, которые заменяют традиционные проекционные системы, так же увеличивается. Даже получил распространение новый термин, отражающий принципиально иную от проекции природу формирования изображения – излучающие экраны.

Второй документ DCI «High Dynamic Range D-Cinema Addendum» напрямую не связан с LED-киноэкранами. Он посвящён вопросам воспроизведения киноизображения в кинотеатре с высоким динамическим диапазоном. Тем не менее, очевидно, что, несмотря на представленные в последнее время несколько разработок HDR-систем на основе лазерных проекционных технологий (Dolby Cinema, IMAX и т.д.), большинство специалистов будущее HDR в первую очередь связывают именно с развитием рынка LED-киноэкранов.

В ходе обсуждения разработчики приложений к спецификации DCI поделились информацией о том, как определялись требуемые границы диапазона HDR-изображения для кинозалов, и какие дискуссии стояли за окончательным решением.

В итоге члены DCI пришли к компромиссу по параметрам диапазона HDR для кинотеатров (не зависимо от того, какая технология формирования изображения используется – проекция либо излучающие экраны). Спецификация DCI сегодня определяет, что яркость уровня чёрного должен быть не более 5 миллинитили 0,005 нт (кд/м²), а уровень яркости белого – не менее 300 нт (кд/м²). Этот диапазон теперь станет ориентиром как для студий postproduction, так и для производителей проекционного оборудования и LED-киноэкранов как тот диапазон, в котором на сегодняшний день рекомендовано использовать HDR в кинотеатрах.

Воспроизведение звука для LED-киноэкранов

Особый интерес вызвали вопросы воспроизведения звука при использовании LED-экранов в кинозалах. Как известно, при использовании фронтальных громкоговорителей в кинотеатре, расположенных за перфорированными экранами, возникают определённые трудности с воспроизведением высоких частот фонограммы, которые компенсируются соответствующей эквализацией сигнала, определённым расположением громкоговорителей за экраном, конструктивными решениями излучателей, акустическим оформлением заэкранного пространства и т.д.

Но все эти ухищрения того стоят, и воспроизведение фонограммы заэкранными громкоговорителями сквозь киноэкран сегодня обеспечивает и высокое качество самого воспроизведения и требуемое равномерное распределение звуковой энергии по всей площади кинозала, чтобы зрители практически на любом месте в кинозале получали максимальное качество звуковоспроизведения. Однако когда речь идёт о LED-экранах, возникают новые, более сложные вопросы. Очевидно, что разместить фронтальные громкоговорители за LED-экраном невозможно, так как мы ещё не научились делать акустически прозрачные LED-экраны. Поэтому инженеры ищут различные пути решения проблемы качественно воспроизведения звука в больших кинозалах.

На конференции обсуждалось несколько предложений в этой области. Например, решение компании Harman International Industries, которая входит в корпорацию Samsung. Инженеры Harman предлагают установку фронтальных громкоговорителей над и под LED-экраном и соответствующую настройку звука в зале. При этом важно решить задачу создания множества одинаковых точек, в которых звук и изображение будут восприниматься одинаково, что представляет собой большую проблему в кинотеатрах.

Второе, весьма интересное решение предложила компания Meyer Sound. Используя очевидный факт, что LED-экран представляет собой неплохую отражающую поверхность, они предложили поставить фронтальные громкоговорители перед LED-экраном со стороны зрителей и направить громкоговорители на экран с таким расчётом, чтобы зрители воспринимали уже отражённый от LED-экрана звук. В таком решении тоже немало подводных камней – это и устранение влияния прямого звука громкоговорителей – нам нужно как раз подавить прямой звук громкоговорителей и слышать только отраженный от экрана; необходимо разместить громкоговорители под потолком кинозала таким образом, что бы они не только не мешали просмотру изображения на LED-экране, но, например, даже не бликовали от яркого света LED-экрана и не отвлекали зрителя. Тем не менее, сегодня эта система уже применяется в кинотеатрах.

Особый интерес участников конференции SMPTE’s Future of Cinema вызвали два доклада, посвященных технологиям, примененным в пожалуй самом амбициозном медиапроекте последних лет – гигантской аудиовизуальной медиа-арене, получившей название Sphere at The Venetian Resort. Открытие арены, построенной в форме купольного кинотеатра, запланировано на 29 сентября 2023 года как раз недалеко от Las Vegas Convention Centre, в котором традиционно и проходят все мероприятия NAB.

Чтобы представить насколько это амбициозный и уникальные проект, приведу несколько параметров этой медиа-арены:

• вместимость арены от 17,5 до 20 тысяч зрителей
• сферический LED-экран площадью 15.000 м² с суммарным разрешением 16К – самый большой в мире экран!
• программируемый внешний экран площадью 54000 м²
• звук: 164 тысячи звуковых излучателей, использующих технологию формирования звуковой волны
• Размеры «шара»: высота112 и диаметр 157 метров.

Инициатором проекта является компания MSG Ventures – 100% дочерняя компания Madison Square Garden Entertainment Corp.

Интересен еще факт, что для производства контента для такой аудиовизуальной медиа-арены, MSG открыла в Лос-Анджелесе собственную production-студию.

В шоу задействованы также видео/аудио возможности мобильных телефонов зрителей.

Очевидно, что реализация такого проекта невозможна без применения целого набора передовых технологий, которые во многом отражают современные тенденции в области большеэкранных систем. Обеспечение качественного звука и проекции на таких экранах является серьёзной технической задачей. Арена предназначена не только для показа кинопроектов, но также для концертов, представлений и других шоу. Проект дорогостоящий (скорректированный на сегодня бюджет составляет 2,3 млрд долларов – это самый дорогой проект сферы развлечений в Лас-Вегасе). Аналогичный проект сейчас реализуется в Лондоне. Если такие концепции докажут свою экономическую целесообразность, то возможно появление подобных проектов в меньшем масштабе по всему миру. Это уникальный симбиоз технологий, шоу, киноконтента, LED-экранов, звука. С точки зрения инженера за этим очень интересно наблюдать.

Две интересные презентации касались технологий, используемых в проекте. Особый интерес вызвал метод синтеза звуковой волны. В его основе лежит использование множества маленьких громкоговорителей для формирования определённой звуковой волны. В целом, сама идеология этой технологии известна давно – около 15 лет тому назад практическую реализацию такой технологии для кинозалов разработал институт Фраунгофера (Германия). Но в данном проекте используются локальные излучатели, состоящие из сотен громкоговорителей с различными характеристиками, которые создают фокусированный звук. Такой подход позволяет передавать звук в определённых точках пространства, например, в музеях для представлений или выставок. Это действительно очень увлекательная технология.

Вторая презентация затронула тему генерации изображений для большеэкранных систем. Размер экрана, составляющий 17 000 квадратных метров, представляет огромные объёмы данных. Подготовка этих данных для транспортировки может занять значительное время. Однако разработчики нашли интересное решение –использовать генеративные медиа на базе Unreal Engine.

Технология позволяет генерировать изображение в реальном времени во время шоу, включая периферийную часть киноэкрана, которая создает определённый визуальный фон изображения. Основные объекты изображения как object based media, добавляются на экран во время шоу в реальном времени. Это решение сокращает время подготовки данных и обеспечивает высокое качество изображения на больших экранах.

Данная технология уже протестирована на экране медиа-арены. Учитывая сложности передачи аудио и видеосигналов на такое большое количество излучателей с помощью традиционных HDMI и SDI, в данной системе используется стандарт 2110 для передачи медиаданных по IP-сетям, а также для контроля и управления устройствами. Это интересный пример использования стандарта SMPTE ST2110 в большеэкранных системах.

SMPTE Rapid Industry Solution

В рамках конференции несколько докладов были посвящены технологиям съёмки на LED-фонах с использованием технологий Virtual Production и инициативе SMPTE Rapid Industry Solution, объединившей десятки ведущих компаний производителей технологий и контента, разработчиков программного обеспечения и аппаратных решений, а также пользователей таких технологий.

Цель RIS – создание портфолио решений, включая совместное разрешение основных проблем внедрения технологий виртуального производства; обеспечение совместимости составляющих решений; доступности ресурсов, как аппаратных, так и программных; а также обучение и тренинги технического персонала.

Сегодня многие профессиональные сообщества стремятся к использованию открытых решений вместо закрытых проприетарных, чтобы они были доступны инженерам со всего мира, включая российских.

SMPTE подготовила дорожную карту Rapid Industry Solution, в которой собрана вся актуальная информация об используемых технологиях и протоколах, возможностях постпродакшна и возможностях мест съёмки. Организация активно работает над объединением этих знаний. В ней участвуют многочисленные компании, в том числе классические телекомпании, разработчики решений, Unity, Unreal, Sony, Европейский вещательный союз и т.д. Хотя в настоящее время существует только первая версия базы данных, тема быстро развивается и стала важным предметом обсуждения на конференции.

Часть докладов была посвящена и вопросам виртуализации архитектуры медиапроизводства – стандартам, совместимости, бесшовной архитектуре, управлению сетями, конвергенции медиапроцессов и оборудования, поддержке особенностей LAN и WAN сетей, а также сервисам за периметром медиапроизводства.

Практическое применение технологии IMF

Принимая во внимание скорость, с которой мир движется к облачным технологиям, на NAB проводилась отдельная конференция SMPTE и HPA (Hollywood Professional Association), в которой приняли участие инженеры и создатели контента. Практическое применение технологии IMF в облачных сервисах представили несколько компаний, которые вместе работали над обеспечением бесшовной передачи контента с помощью IMF в облачный сервис.

Компании-участники смогли объединить свои разработки для создания реального рабочего процесса с использованием IMF на основе спецификации BBC для использования приложения IMF DDP в качестве основы для передачи файлов ProRes. Хотя вокруг стандартов и интерфейсов между облачными сервисами возникает много вопросов и дискуссий, эта демонстрация показала, как существующие решения от разных компаний можно объединить в один рабочий процесс для передачи материалов через облачные сервисы с использованием формата IMF.

Тема IMF с каждым годом становится всё более важной. Поэтому мой следующий обучающий курс посвящён как раз вопросам применения IMF.

IMF стал универсальным форматом обмена медиа между телеканалами, разными продюсерскими компаниями и локальными студиями, собирающими материал для онлайн-сервисов.

Например, компания Netflix одной из первых применила данный формат для создания мультиязычных и мультиформатных версий своего контента и сейчас активно его использует. Это связано с тем, что управлять традиционными способами разными версиями фильма или сериала на разных языках, с разными субтитрами, надписями и ограничениями цензуры достаточно сложно, а IMF позволяет многократно упростить такое управление и существенно снизить объём обрабатываемых данных контента.

IP Showcase

Самая привлекательное для меня и, безусловно, одно из самых интересных событий программы конференций NAB – это конференция IP Showcase. Мероприятие, организатором которого традиционно совместно выступают Video Services Forum (VSF), European Broadcasting Union (EBU), Audio Engineering Society (AES), Alliance for IP Media Solutions (AIMS), Advanced Media Workflow Association (AMWA), и, конечно, SMPTE, проходит как минимум два раза в год на площадках NAB и IBC.

IP Showcase охватывает широкий круг тем, связанных с передачей мультимедийных данных в IP-сетях. В ходе конференции IP Showcase на NAB 2023 демонстрировались не только готовые решения, но и множество стартапов и экспериментальных предложений. Хотя не все предложения возможно окажутся жизнеспособны, но каждый раз интересно наблюдать, как развивается эта область. И ещё интереснее участвовать в дискуссиях и спорах. Материалы конференции IP Showcase требует достаточно много времени, чтобы во всем полностью разобраться и вникнуть, но оно того стоит!

IPMX

В рамках IP Showcase обсуждалась и тема нового стандарта IPMX, который нацелен на передачу сжатых и несжатых аудио-, видео- и вспомогательных данных по IP-сетям для индустрии ProAV. В основе IPMX лежит логика стандартов семейства SMPTE ST 2110 и спецификаций интерфейсов NMOS, но, естественно, с учетом особенностей, например, в вопросах синхронизации и работы с несинхронными источниками индустрии ProAV, которая включает в себя медиафасады, цифровую наружную рекламу, дисплеи, мероприятия, концерты и выступления — практически любое место, где используются аудиовизуальные данные.

Цель IPMX — удовлетворить потребности этой отрасли за счет использования преимуществ и достижений стандартов ST2110, спецификаций NMOS и создания нового набора открытых стандартов. Это имеет решающее значение, поскольку в настоящее время в индустрии ProAV всё базируется на проприетарных стандартах, и движение к открытым общим стандартам важно для того, чтобы индустрия могла работать на универсальной платформе.

На IP Showcase разговор также коснулся использования ST2110 в глобальных сетях. Часто возникает путаница относительно того, что лучше следует ли использовать для передачи медиаданных SRT или 2110. Однако важно отметить, что 2110 изначально был разработан для использования внутри студии и по сути является заменой интерфейса SDI. Его расширение на глобальные сети, стало следствием изящной реализации многих аспектов передачи медиаданных по IP-сетям и, в первую очередь, предназначено для обеспечения управления всеми конечными устройствами, задействованными в производственном процессе, в том числе в удалённых студиях, ПТС или на стадионах без ущерба для безопасности медиапроизводства и защиты контента. Передать медиаданные можно и с использованием протокола SRT, или, например, RIST, но это только один аспект более крупной задачи. Наиболее важным соображением является то, как управлять и контролировать IP-устройствами–камерами, микрофонами, мониторами, коммутаторами, аудиосистемами, хранилищами и устройствами воспроизведения, – находясь в центральной студии. Эти вопросы и стали ещё одной интересной темой для обсуждения на конференции.

В заключении хочу лишь напомнить, что в октябре, традиционно в Лос-Анджелесе пройдет очередной ежегодный саммит по медиатехнологиям SMPTE. Конференция состоится в культовом месте – в Dolby Theatre, где, в том числе, проходит церемония вручения премии «Оскар». Приглашаю всех принять участие в увлекательных дискуссиях на различные темы на просторах Голливуда, ну, и конечно, надо будет заодно отправиться в Лас-Вегас и посетить шоу группы U2 на открытии новой медиа-арены Sphere at The Venetian Resort!

Конференция Broadcasting / Cinema 2023. Post-NAB состоялась 23-24 мая 2023 года в отеле Paragraph Resort & Spa Shekvetili, Батуми, Грузия.

Организатор – TKT1957 LLC.

Генеральный партнёр – Qualitron LTD.

Партнёры: BroadView, SMPTE.

Следующая конференция Broadcasting / Cinema 2023 с участием Олега Березина пройдёт осенью этого года в Казахстане.