Игорь Калинин, генеральный директор ООО «Научно-производственная фирма (НПФ) «Сфера-Видео», выступил с докладом «Системы долговременного хранения цифровых данных высокого разрешения на холодных дисковых накопителях» на Международной выставке-конференции Broadcasting Cinema Pro AV 2022 Central Asia 12 октября 2022 года.
Игорь Калинин, генеральный директор ООО «Научно-производственная фирма (НПФ) «Сфера-Видео», выступил с докладом «Системы долговременного хранения цифровых данных высокого разрешения на холодных дисковых накопителях» на Международной выставке-конференции Broadcasting Cinema Pro AV 2022 Central Asia 12 октября 2022 года.
Игорь Калинин: Мое выступление посвящено уникальному опыту нашей компании, НПФ «Сфера-Видео», за последние 7 лет в областях инсталляции, эксплуатации и обслуживания систем долговременного хранения цифровых данных высокого разрешения. Речь пойдёт о киноданных, а именно – о цифровом контенте, который формируется в результате деятельности кинокомпаний, архивов и других организаций, связанных с производством медиаконтента.
Историческая справка
История работы с большими объёмами цифровых данных насчитывает более 30 лет. Основными носителями всегда выступали LTO-картриджи. Такие картриджи энергонезависимые, отличаются хорошей ёмкостью и мобильностью. Они отвечают необходимым требованиям индустрии кинематографии. Производительность ленточной библиотеки ограничена сложностью механических систем, а именно системами транспортировки и загрузки картриджей, скоростью записи-считывания информации с магнитной ленты и конструктивными особенностями LTO-драйвов.
Презентация компании «Сфера-Видео» на конференции Broadcasting / Cinema / Pro AV Central Asia 2022
Последовательный способ доступа занимает много времени из-за необходимости перемотки, поиска нужной части хранимых данных и их считывания и доставки заказчику. Несмотря на то, что это «холодный» архив, время от подачи запроса на какой-либо материал до его удовлетворения занимает около недели. Общеизвестная проблема подобных систем хранения данных – это их моральное и физическое устаревание. Для LTO-библиотеки нормой является миграция всех данных каждые 5-7 лет. Соответственно, индустрия приступила к поиску других вариантов.
Источники данных
Я хотел бы остановиться на том, откуда берутся сами киноданные и какого потенциального объёма они бывают на примере эксплуатации линейки плёночных фильм-сканеров компании Lasergraphics. Подобный сканер самого высокого разрешения имеет разрешающую способность цифрового изображения на выходе устройства 13,5К. Надо представить, что один кадр такого изображения при глубине дискретизации 10бит равен 850МБ, а при уровне дискретизации 16бит – 1,1ГБ. Таким образом, при подсчёте необходимого объёма хранения для стандартного ролла киноплёнки 35мм, результаты для различных разрешающих способностей сканирующего оборудования будут следующими: 4К – 10бит – 730ГБ, 4К – 16бит – 1ТБ, 5К- 10бит – 1.9ТБ, 5К – 16бит – 2.4ТБ, 6.5К – 10бит – 3ТБ, 6.5К – 16бит – 3.9ТБ, 8К – 10бит – 4.5ТБ, 8К – 1бит – 6.8ТБ, 10k – 10bit – 7.2TB, 10k – 16bit – 9.6TB, 13.5k – 10bit – 12.8TB, 13.5k – 16bit – 16.5TB, где данные приведены для соотношения сторон кадра 4:3. Что требует огромного объёма носителей для архивации, а самое главное, адекватного времени доступа к хранимым материалам.
Структура библиотеки ALTO
Наша компания совместно с Disk Archive Corporation Ltd. предлагает библиотеки ALTO для хранения данных на холодных дисках. Под словом «холодные» подразумевается то, что эти диски находятся в состоянии покоя при хранении и начинают работать только в случае наличия запроса на запись или считывание данных.
Сама библиотека ALTO физически состоит из двух частей для дуплицированного хранения данных и обеспечения их физической сохранности для возможности восстановления в случаях возникновения различных дестабилизирующих факторов. Если проводить аналогию с системами LTO, отличие состоит в том, что каждый диск отдельно – это одновременно картридж и LTO-драйв. Это создаёт значительные преимущества при многочисленных обращениях к контенту. Библиотека позволяет хранить не только «тяжелые» данные, как TIFFи DPX, но и более «лёгкие»: фото- и аудиофайлы.
Стоит отметить, что дупликация – это минимально возможный способ обеспечения надёжности. Библиотеки ALTO позволяют хранить большее количество физических копий на дисках, например, для критически важного контента можно формировать третью копию и т.д. Однако в процессе хранения данных хранении диски требуют определённого обслуживания, например периодического запуска вращения шпинделя, что решается на аппаратно-программном уровне посредством специализированной API и системного ПО.
Базовые характеристики
Библиотека ALTO состоит из двух типов серверов:
контентный модуль, или основное шасси – это активный модуль, в котором находится контроллер на базе материнской платы с мощным процессором для перенаправления данных и обеспечения запросов
расширенный модуль, или шасси расширения – этоаппаратная платформа с шиной и контроллером SAS. Максимальная ёмкость при использовании современных дисков каждого блока составляет до 1,3ПБ.
Для минимизации энергопотребления используется архитектура MAID-III – протокол, который поддерживается практически всеми производителями дисковых накопителей. Речь идёт о специальном наборе уже встроенных команд по полной установке дисков.
Малое потребление таких библиотек сберегает природные ресурсы. Важно отметить, что библиотека ALTO имеет открытую архитектуру и принимает диски любых производителей, но апробированных разработчиком аппаратной платформы. Тестирование проходит непрерывно.
Диски, вентиляторы и любые другие блоки заменяются в горячем режиме без необходимости отключения питания. Используется встроенная 64-битная операционная система LinuxOS, что дополнительно защищает систему от вирусов.
Технология библиотек ALTO
Реализуемое решение способно эволюционировать по мере нарастания или усложнения задач. Диски библиотеки ALTO можно безболезненно извлекать для отдельного хранения или транспортировки проекта. Технологические процессы основаны на открытых стандартах. Кроме того, это полностью непатентованная платформа, которая интегрируется со всеми ведущими приложениями МАМ и системами управления архивами. Виртуальная файловая система и встроенное ПО ALTO Connect для управления библиотекой через Prometheus API с доступом к архиву по протоколам CIFS/SMB/FTP обеспечивает интеграцию с любыми аппаратно-программными комплексами заказчика. Конфигурация библиотек варьируется в зависимости от решений для небольших рабочих групп до мульти пета байтных решений корпоративного класса. Системы ALTO могут начинаться с одного контентного модуля и нескольких жёстких дисков, а затем масштабироваться за счёт добавления любого количества дисков, приобретаемых локально.
Технология хранения редко используемых данных
Библиотеки ALTO используют уникальную логическую архитектуру, разработанную специально для архивов, библиотек, контента и резервного копирования. Любой отдельный диск, неактивно используемый для чтения или записи файла, полностью останавливается. Это снижает энергопотребление и требования к кондиционированию воздуха. К примеру, для архива пета байтного класса энергопотребление может составлять всего 0,3 Вт на терабайт по сравнению с более чем 2Вт на терабайт для кластеризованных RAID-хранилищ.
Операционные расходы
Контентный модуль и связанные с ним расширительные модули позволяют обслуживать до 7 потоков записи или чтения одновременно на диски с максимальной скоростью до 230МБ/с каждый. Например, 16 контентных модулей поддерживают объём записываемых и считываемых данных с производительностью более 100ТБ/ч.
Требования к инсталляции ALTO
Довольно простое обеспечение климатических условий эксплуатации до +35 градусов Цельсия при помощи обычной системы кондиционирования для жилых помещений. Стойка состоит из одного контентного модуля и до 10 модулей расширения. Расширительные модули подключаются медным кабелем. Активный контентный модуль присоединяется к компьютерной сети тем подключением, которое доступно по индивидуальным технологиям клиента.
Интеграция ALTO в рабочие процессы архивирования
Благодаря универсальности интерфейсов библиотека интегрируется с любым аппаратно-программным комплексом. Удачным примером системной интеграции служит вариант использования программного обеспеченияNordbox, разработанного с участием нашей компании, которое полностью локализовано и объединяет в себе, как МАМ, так и базу данных оркестрации для архивированных материалов. Другими словами, это управление цифровым контентом с его каталогизацией и размещением на дисковых накопителях. На базе ПО Nordbox существуют решения, которые проверяют достоверность всех данных при загрузке, а также читают диск и сравнивают его с не референсной копией.
Реализуемые функции ПОNordbox
Основные функции ПО:
- масштабирование файловых хранилищ
- управление медиаконтентом
- специализация решений для киноархивов и индивидуальные решения
- управление контентом и поддержка большого количества форматов
- управление резервными копиями
- автоматизация загрузки нового контента в системы хранения.
Модульная инфраструктура ПО Nordbox
Кроме того, что всё ПО работает с системами холодного хранения, онотакже способно распознавать другие типы рабочих серверов, дисковых массивов и библиотек в виде стандартизованных фолдеров, что позволяет сконфигурировать процесс миграции архивируемых данных.
Модуль управления аудиовизуальным архивом и лицензионным контентом обеспечивает создание документов и подготовку архивных описаний.
Модуль управления цифровым хранением данных позволяет серверам взаимодействовать с различными системами хранения цифровых данных для проверки их целостности и безопасности хранения.
Модуль конфигуратора настраивает и изменяет интерфейсы веб-приложений, а также формирует инструменты проектирования баз данных.
Модуль семантического анализа, разработанный в сотрудничестве совместно со специалистами НИКФИ на базе нейронной сети, позволяет воспользоваться поиском и анализом персонифицированным поиском и анализом цифровых данных.
Модуль приёмки аудиовизуальной продукции в электронном виде обеспечивает дистанционную передачу аудиовизуальных данных пользователя на серверы обработки и хранения.
Направления перспективного развития ПО
Планируется расширить весь комплекс управляющего ПО. На сегодня сформирован определённый запрос на формирование цифрового паспорта киноплёнки, который характеризует состояние архивного материала.
Система мониторинга и обеспечения сохранности данных представляет собой комплексное решение для автоматического наблюдения за используемыми носителями информации, а также серверами хранения и управления данными.
Совместно с несколькими компаниями мы провели экономическое исследование различных систем хранения. Технико-экономические расчеты показали позитивные результаты в пользу холодного хранения на дисках. Данный анализ говорит о том, что экономическая эффективность холодного хранения превалирует над характеристиками других систем.
Андрей Тебеньков, технический директор НТК, Казахстан: Заточено ли ПО под обычное телевидение?
Игорь Калинин: Безусловно. Однако возникает вопрос по интеграции системами автоматизаций для телевидения.
Андрей Тебеньков: Обязательны ли новые сертифицированные диски для системы?
Игорь Калинин: Процесс сертификации представляет собой понимание системой протокола вышедшего диска. Если к диску не возникало обращений, то система его устраняет. Но при дальнейшем анализе софт может дать обратную реакцию на диск.
Андрей Тебеньков: Сколько дисков вмещает в себя корзина 4U?
Игорь Калинин: В настоящий момент корзина 4U вмещает в себя около 60 дисков.
Андрей Тебеньков: Нужно ли оплачивать ежегодную подписку?
Игорь Калинин: Оплачивать ежегодную подписку рекомендуется. Поддержка оказывается существенно дешевле других онлайн-массивов. Типовая стоимость порядка 3% от стоимости оборудования. Однако, если возникнет необходимость в обновлении решения, это произойдет автоматически без дополнительных оплат, нежели при непродлённой подписке.
Андрей Тебеньков: Предоставляет ли ПО информацию о дисках?
Игорь Калинин: Существует специальный модуль мониторинга состояния, который предоставляет необходимую информацию о дисках.
Вниманию уважаемых киношников Закавказья и сопредельных стран, желающих детально ознакомиться с прогрессивными методами инсталляции, эксплуатации и обслуживания систем долговременного хранения цифровых данных высокого разрешения, Игорь Калинин и команда специалистов ПФ «Сфера-Видео» в конце ноября лично посетят Баку в рамках конференции Broadcasting Cinema Pro AV 2022 Azerbaijan. Hoş geldiniz 22-23 ноября в бизнес-центр Landmark III на улице Низами, 90, в центре столицы солнечного Азербайджана!
