С докладом «IT-платформа хранения и обработки цифровых данных Nordbox» на Международной гибридной выставке-конференции Broadcasting / Cinema / Pro AV 2024 Kazakhstan (26-27 марта 2024, Алматы, Казахстан) выступил генеральный директор НПФ «Сфера-Видео» Игорь Калинин.
Игорь Калинин: Наша компания — это системный интегратор для кино и видеопроизводства, а также сервис-провайдер для многих брендов оборудования. Темой сегодняшнего моего выступления стала модульная платформа хранения и обработки цифровых данных.
Я должен сказать несколько вступительных слов, то есть объяснить, как появилось это решение.
Наша компания работает на рынке кино и медиаиндустрии уже 28 лет. Мы непрерывно наблюдаем эволюционный процесс изменения типов оборудования и видов обрабатываемых им данных. И те проблемы, с которыми мы столкнулись, создавая наши проекты, связаны с тем, что по мере увеличения объёма решаемых задач, расширения комплексов оборудования, увеличения объёмов данных возникает ситуация, когда в рамках одной компании люди сталкиваются с невозможностью отслеживать все параллельно происходящие технологические процессы. То есть специалисты по эксплуатации и руководители подразделений перестают понимать друг друга. Они вынуждены получать дополнительные разъяснения друг от друга о том, что происходит с производимыми ими файлами, полями баз данных, алгоритмами их обработки и т. п.
Такого рода менеджмент становится проблемой не столько даже организационной, сколько технической, потому что большинство вендоров иногда не совсем думает об особенностях рабочих процессов клиента, переходя на новую программно-аппаратную платформу. А о поддержке старой просто забывает, а у клиента возникают непредвиденные трудности в работе.
Возникает вопрос: как эти проблемы урегулировать?
В качестве маленькой иллюстрации: наша компания поставляла оборудование различных брендов, например, три модели фильм-сканеров, которые генерируют самые тяжёлые файлы данных, – DPX-последовательности, в которых один кадр 8К весит порядка 6,8 терабайт. Если вы перемножите эту величину на число кадров в одной части кинофильма, то получите объём, который вы на большинстве обычных компьютерных рабочих мест обработки данных даже не сможете просмотреть в реальном масштабе времени. Ведь здесь речь идёт о просмотре этой секвенции с частотой кадров не ниже 24 к/сек. А это надо ещё и хранить и с этим надо работать.
То же самое, если мы говорим про серверы онлайн. Приведу пример многократно инсталлированных нами серверов оперативного хранения компании Rohde&Schwarz, самый их последний вариант – это SpicerNode 2.
Один сервер имеет ёмкость дискового пространства до 1,2 петабайт, что позволяет обрабатывать практически все данные в пределах одного сервера, который физически обеспечивает одновременную работу с многочисленными потоками данных очень высокого разрешения.
Например, если мы говорим о потоках 4К, что сейчас является де-факто стандартом для современного кинопроизводства, то обеспечение шести одновременных потоков DPX-файлов не является уже чем-то необычным в случае использования SSD-дисков. То есть одновременно могут работать шесть станций цветокоррекции, компоузинга, VFX, мастеринга и т. п.
Но за этим всем нужно следить – есть ли переполнение массива, есть ли потеря данных, в общем, если это поручить одному сисадмину, он просто не справится и скажет: «Извините, ребята, у меня другие обязанности, я их выполняю, остальное уже не ко мне, пусть каждый специалист на своём рабочем месте сам следит, что у него нормально, что ненормально».
Стоит отметить разнообразие технических параметров таких серверов. Все они относятся к верхнему уровню производительности медиасерверов, которые работают с данными в реальном времени и высоком разрешении.
Сейчас всё больше и больше востребованы DIT-специалисты, которые в процессе съёмок должны архивировать, перекодировать, делать предварительный монтаж или создавать луты для тех многочисленных цифровых данных, которые выдают современные цифровые кинокамеры. Неважно, кто их производитель, например, киноконцерн «Мосфильм» производит съёмки на многие типы камер одновременно.
Для архивирования и преобразования цифровых съёмочных материалов используется оборудование Codex Mediavolt совместно с мобильным дисковым массивом объёмом 72 терабайта для того, чтобы обмениваться материалами с центральным аппаратным комплексом киностудии. Это существенно сокращает время работы с данными, поскольку без этого только процесс пересылки и копирования данных занимал бы времени больше, чем даже при классическом алгоритме работы с киноплёнкой. Количество копий цифровых данных резко возрастает, если не использовать централизованные методы хранения и обработки. Особенно когда режиссёр просит переснять уже готовые дубли, всё это копится и разобраться что и где в какой-то момент становится довольно проблематично.
На главной студии финальные копии сохраняются в библиотеку. В случае киноконцерна «Мосфильм» это дисковая цифровая библиотека ALTO третьей версии, где хранятся все копии, которые могут быть использованы или храниться неограниченное время.
Госфильмофонд
На Госфильмофонде был инсталлирован примерно тот же тип оборудования: сканеры, серверы, библиотеки, рабочие места, как на киноконцерне «Мосфильм», но гораздо в большем объёме.
Возникает вопрос, как всем этим управлять, как создать и настроить рабочий процесс, чтобы оптимизировать время, качество, исключить потери и несанкционированное использование данных.
Именно этому и посвящена наша программная среда, которая была разработана триумвиратом компаний. Это компании Netfilm, НПФ «Сфера-Видео» и Disk Archive Corporation (Великобритания).
В настоящее время это решение реализовано у многих наших заказчиков, и среда, которая технически управляет потоками и размещением цифровых данных, называется Nordbox. Это зарегистрированный бренд, который мы сейчас развиваем и продвигаем, и надеемся, что он получит признание на рынке.
Что такое Nordbox?
Это, по сути, программно-аппаратный комплекс, который включает в себя как программные модули, так и аппаратные, и создаёт инфраструктуру хранения, управления цифровыми данными при работе компании. Причём он включает в себя абсолютно разнородное оборудование. Он гибко настраиваемый, может работать с онлайн-серверами, с обычными серверами, с iCloud, с серверами холодного хранения, с библиотеками, с чем угодно.
Неизбежно мы вынуждены генерировать базы данных, которые фиксируют и регистрируют эти данные и регистрируют их пути. В качестве рабочих отделов, которые подключены к Nordbox, могут выступать любые производственные комплексы, операторские, компьютерная графика, визуальные эффекты, кодирование, мастеринг, всё что угодно.
Что собой представляет модульная платформа Nordbox?
Это вариант интерфейса, который настраивается по конкретному требованию заказчика. Вы можете вывести всю базовую информацию, которую вы должны увидеть с первого взгляда для себя, причём это для каждого пользователя может быть настроено индивидуально в зависимости от его прав доступа и решаемых им задач.
Я хочу сказать, что система использует веб-технологии и собирает географически распределённые хранилища под управлением единого интерфейса. В данном случае мы можем видеть одновременно архивы Казани, Госфильмофонда в едином интерфейсе. Это дает понимание, как мы можем работать с этими архивами в зависимости от прав доступа: можем кому-то их отдать, отправить на мастеринг, для показа в кинотеатре и тому подобное.
Сама эта среда создаёт виртуальную сеть. Простой пример. Вы видите encoder 1, encoder 2, encoder 3. Это три сервера, которые используются для кодирования контента, для его загрузки и выгрузки в библиотеку. Количество серверов и типов не ограничено, их может быть сколько угодно в зависимости от настройки среды.
В качестве примера я могу показать вариант модуля управления медиаресурсами, который включает в себя распределённое хранилище. Здесь есть разные типы материалов. Единый интерфейс при этом автоматически генерируют прокси-файлы низкого разрешения, и вы можете просмотреть, что именно там находится. При этом прокси-файлы хранятся в базе данных, а в самой библиотеке хранятся файлы высокого разрешения – это могут быть DCI-копии, DPX-секвенции, съёмочные материалы и т. д. Выбрав необходимое, вы формируете запрос, получаете те материалы, которые вам требуются.
Организован поиск, есть возможность выделения фрагментов. И по этим фрагментам вы можете скачать те же файлы, но высокого разрешения.
Кроме того, в системе управления хранилищами вы можете перейти на другой слой. Это набор папок, которые хранят разный медиаконтент с возможностью отображения прокси и возможностью всех видов поиска, анализа длительности, анализа объёма, разрешения. Вы можете посмотреть, в каком разрешении хранится материал, сколько копий существует, кто автор, можно сюда подтянуть и редактировать метаданые.
Как я уже говорил, в случае библиотек холодного хранения мы используем дуплицированные файлы, то есть две копии на разных физически разделённых серверах. В случае потери одного из них система его восстанавливает из существующей реплики.
Почему структура называется модульной?
Потому что она состоит из набора программных модулей, которые реализуют различные задачи в соответствии с требованиями той организации, которая это себе заказала и инсталлировала. В данном случае иллюстративно приведены несколько пунктов.
Управление медиаконтентом — это модуль, обеспечивающий:
- миграцию данных
- настройку миграции
- управление файловыми хранилищами через единый интерфейс
- интеграцию с системами хранения различных производителей.
Это обеспечивает тот самый рабочий процесс, который требуется для конкретно взятой организации. Решение реализуется на базе масштабируемых файловых хранилищ. То есть вы можете работать на уровне файлов, не думая о том, на каком носителе они хранятся, потому что это настраивается в самой среде предварительно.
Например, для отделов цветокоррекции или реставрации локация материалов настраивается для области быстрых хранилищ, а выгрузка готовых результатов – в библиотеку «холодного» хранения. То есть для долговременного хранения различных типов копий – это хранилища «холодного хранения» – библиотека ALTO.
Подобные решения с нашей системой Nordbox мы реализовали для Госфильмофонда, киноконцерна «Мосфильм», ВГИК, Роскосмос и Казанского государственного архива кинофотодокументов.
Ключевой момент состоит в том, что огромное количество хранимых данных проверить вручную невозможно. Если один медиасервер может иметь 1-2 петабайта, то в Госфильмофонд у нас инсталлирована библиотека на 52 петабайта. Должны быть реализованы проверочные алгоритмы либо в автоматическом, либо в автоматизированном режиме.
Нами разработан модуль, который обеспечивает мониторинг всех физических устройств и определения всех документированных возможных проблем.
Программные модули, из которых состоит Nordbox
Система управления серверами
Система управления серверами – это базовая логическая среда, которая обеспечивает объединение серверов различного типа в одну виртуальную сеть. Несколько технологических сетей внутри организации – неважно, 1 гигабит или 100 гигабит – объединены логической виртуальной сетью. Также сюда входят элементы управления контентом МАМ. То есть мы можем автоматически сгенерировать прокси, вырезать из него требуемую часть и выгрузить соответствующие этой части материалы высокого разрешения. Также мы управляем файловыми хранилищами данных, задаём миграцию и размещение. Алгоритмы создают удобство работы через стандартизацию при работе с контентом.
Модуль мониторинга сохранности данных
Модуль мониторинга сохранности данных – в процессе всех миграций рассчитываются HASH-суммы, которые должны оставаться неизменными для исходного и загруженного материалов.
Модуль обеспечения энергосберегающего режима хранения
Модуль обеспечения энергосберегающего режима хранения – система умеет останавливать неиспользуемые диски в библиотеке, и они не потребляют энергию. Блоки питания, конечно, потребляют, но существенно меньше по сравнению с серверами со всеми вращающимися дисками, как в онлайн-серверах.
Модуль семантического анализа фото и видеофайлов
Модуль семантического анализа фото и видеофайлов – создан на базе разработок НИКФИ (Института кинематографии) и реализовывает на базе искусственного интеллекта режим распознавания надписей и лиц. То есть, в принципе, можно запустить интеллектуальный поиск, который будет находить контент по заданному образцу, который требуется заказчику.
Модуль определения групп резервирования
Модуль определения групп резервирования – определяет группы резервирования, показывает, сколько копий у файла существует в данный момент. Вы можете сделать две-три копии, хранить одну в Астане, другую в Алматы, а третью, например, в Турции. Всё у вас будет доступно и видно из единого интерфейса.
Модуль аналитики выполнения задач
Модуль аналитики выполнения задач – анализирует состояние файлов по его положению: скопировался, застрял, дошёл к вам, не дошёл.
Вы можете проконтролировать процесс из дома с планшета, что удобно для удалённо работающих сотрудников. Этот модуль сообщает текущее состояние работы, и какие задачи завершены: закончился ли импорт файлов, сколько их импортировано, какой объём. Для этого можно использовать подходящий МАМ. Он может посчитать деньги, но в данном случае мы не ставили такую задачу.
Мониторинг состояния всей системы
Важной частью системы является мониторинг состояния всей системы. В данном случае приведён экран по состоянию дисков. Вы можете выбрать любой диск, неважно, онлайн-диск или спящий диск, и на основании различного типа метрик определить его состояние: перегревался ли он, не перегревался, насколько он заполнен, какая у него наработка.
Важная ситуация, потому что по мере увеличения объёма хранения может возникнуть ситуация, что вы потеряете контроль и просто не поймёте, когда у вас диски уже изношены и отработали свой ресурс. У вас начнётся массовое падение данных. Но желательно об этом знать чуть-чуть пораньше, чем это произойдёт, особенно в случае государственных организаций, чтобы объявить конкурс на закупку дополнительных дисков или серверов.
Существует набор журналов, которые описывают состояние системы. В данном случае в качестве примера я привёл журнал зарегистрированных дисков, который покажет диски с их конкретным именем и расположением системы. Зелёная полоса указывает, что они все «здоровы» и не требуют каких-то действий.
Если диск будет «полуздоров», он станет жёлтым. Если будет неработоспособен, то станет красным. Соответственно, технический директор должен принять решение, что ему делать в такой ситуации.
Существуют поиски, возможности сортировки, группировки. Телекомпании с новостями могут объединить новостные сервера в одну группу и следить за ними.
Для целей мониторинга состояния системы диски имеют множество дополнительных функций, а именно формируют таблицы параметров SMART.
SSD-диски скажут, сколько было сессий перезаписи, сколько их ещё осталось, сколько уже резервных зон было задействовано при операциях считывания и записи.
Система анализирует все, и вы можете выбрать в данном случае любые параметры SMART, которые вам интересны. Могу сказать, что задача весьма творческая, потому что производители не всегда говорят, для чего это реально нужно. Опыт показывает, что есть критические параметры, которые дадут вам те данные, чтобы предсказать срок жизни конкретного носителя.
Как это сделать?
Это можно сконфигурировать с помощью модуля настройки SMART- параметров, выбирая те параметры, задавая то сообщение, которое будет выдаваться в случае выхода этих параметров за допустимые пределы.
Также предусмотрена система SNMP-мониторинга, которая определяет загрузку системы, состояние кэша, лог-файлов, заполненности.
Для удобства работы с журналами модуль аналитики предусматривает графическую выдачу информации как по процессам, так и по данным в виде гистограммы успешных или неуспешных процессов копирования данных. Их может быть на экране неограниченное количество. То же самое можно выдать в виде графиков, которые покажут степень почасовой наработки систем либо количество загрузок.
Если у вас установлены программы сторонних производителей, например, МАМ, PАМ и прочее, Nordbox будет работать с ними через API-протокол. Мы используем его в своей структуре и с технической точки зрения смотрим, что там происходит.
Для более подробной информации прошу обращаться лично. Мы готовы проработать ваши запросы, настроить на вашей базе нашу тестовую систему, посмотреть, насколько это работает или нет. Ну и принять соответствующее решение!
IV Международная гибридная выставка-конференция Broadcasting / Cinema / Pro AV 2024 Kazakhstan состоялась 26-27 марта 2024 года в Алматы, Казахстан.
Broadcasting / Cinema / Pro AV является уникальной возможностью для всех, кто стремится к развитию своих профессиональных навыков и знаний, быть в курсе последних новинок и трендов в индустрии телерадиовещания, кинематографии и профессионального аудиовизуального оборудования.
TKT1957 ждёт своих участников со всего мира, чтобы создать ещё одну успешную платформу для профессионального развития, обмена опытом и создания новых возможностей в области бродкаста, кинопроизводства и Pro AV. Следующее мероприятие – Broadcasting / Cinema / Pro AV 2024 Post NAB – состоится 25-26 июня 2024 года в Турции. До встречи в солнечном Стамбуле!
О конференции Broadcasting / Cinema / Pro AV
Гибридные выставки-конференции Broadcasting / Cinema / Pro AV запущены TKT1957 летом 2022 года. Мероприятие представляет собой выездную конференцию смешанного формата, проводимую в странах CIS и Грузии.
Конференция гибридная, включающая фактический сбор технических специалистов и производителей оборудования в определённом месте и предусматривающая в то же время участие удалённых спикеров и зрителей, которые подключаются по сети интернет. Для более подробного знакомства с оборудованием предусмотрена Touch@Try Zone: живые рабочие экспозиции с консультациями специалистов.
Целевая аудитория – технические специалисты телеканалов, радиостанций, кинопроизводственных компаний, операторов ТВ, online-платформ, стадионов, спортивных объектов, концертных залов, театров, учебных заведений, организаторов мероприятий, топ-менеджеры системных интеграторов и вендоров из стран: Азербайджан, Грузия, Армения, Молдова, Казахстан, Кыргызстан, Узбекистан, Украина, Литва, Латвия, Таджикистан, Эстония, Турция.
Организатор – TKT1957 LLC.
О TKT1957
TKT1957 – всё о новейших технологиях в сфере производства и распространения аудио и видеоконтента.
В 2005 году Эдуард Чумаков купил созданный в 1957 году журнал «Техника Кино и Телевидения». С этого начинается построение современной мультимедийной компании для инженеров броадкастинга и кино «TKT 1957».
Штаб-квартира TKT 1957 LLC находится в Грузии. Представительства располагаются в Атланте, Джорджия, США; Тампа, Флорида, США; Стамбул, Турция; Алматы и Астана, Казахстан; Баку, Азербайджан; Кишинёв, Молдова; Киев, Украина.
Направления деятельности:
- https://tkt1957.com/– вебсайт на английском языке
- https://tkt1957.com/ru/ – вебсайт на русском языке
- TKT1957 – ежемесячный журнал на русском языке
- TKT1957 – английская версия для выставок NAB Show, IBC, CabSat
- TKT1957 – канал на YouTube
- TKT International Awards – ежегодная премия для инженеров броадкастинга и кино. Премия учреждена в 2011 году. В 2011-2019 годах церемония награждения проводилась в Амстердаме во время IBC
- Broadcasting / Cinema / Pro AV – online и гибридные конференции. Проект запущен в 2018 году. Конференции проводились в ОАЭ, Украине, Грузии, Казахстане, Узбекистане, Молдове, России, Азербайджане
- 360 seconds. Broadcast News & Commentary – eженедельная информационно-аналитическая программа на английском языке. Ведущие Philip Grossman (USA) и Mary Ann Seidler (Canada)
- Visionaries – ток-шоу на английском языке с визионерами ведущих мировых технологических компаний. Со-продюсер и ведущий Philip Grossman (USA)
- Страницы и группы с лентами новостей в Facebook, LinkedIn, Instagram, X.
