Игорь Калинин, «СФЕРА-ВИДЕО»: «Системы долговременного хранения цифровых данных высокого разрешения на холодных дисковых накопителях»

Игорь Калинин, генеральный директор НПФ «СФЕРА-ВИДЕО», выступил с докладом «Системы долговременного хранения цифровых данных высокого разрешения на холодных дисковых накопителях» на конференции Broadcasting / Cinema 2023 Uzbekistan.

Технологии «холодного» хранения цифровых изображений и аудио файлов в электронной библиотеке ALTO

Игорь Калинин: НПФ «СФЕРА-ВИДЕО» занимается проектированием, системной интеграцией и поставкой оборудования для цифрового кино и систем распространения медиа контента с особенной фокусировкой на комплексах долговременного хранения данных высокого разрешения. Мы проводим исследования для поиска наилучших решений по сохранению больших массивов медиаданных на очень длительный срок. Совместно с английской компанией DiscArchive Corporation Ltd. мы разрабатываем системы холодного хранения цифровых данных, обеспечивающие минимальное потребление энергии и максимальную возможную длительность хранения информации. В настоящее время распространённые комплексы библиотек LTO на базе соответствующих картриджей ограничены необходимостью миграции данных и как следствие этого, возможностью адекватной замены библиотек LTO на библиотеки ALTO.

Их преимущества

• Единственное решение для обеспечения высокой ёмкости и надёжности работы по доступной цене.
• Преодоление проблем ленточных библиотек, связанных со сложностью транспортировки и загрузки картриджей, линейным доступом к данным и необходимостью совместного использования ограниченного количества устройств чтения-записи.
• Преодоление ограниченности срока хранения данных на ленте из-за износа лент, картриджей и устройств чтения-записи, а также необходимости периодической миграции данных, связанной с заменой поколений лент и обеспечения совместимости между поколениями LTO.

Рост количества информации, которую производят и используют компании, организации и отдельные пользователи, повышает требования к сохранности данных. Важно, чтобы данные были защищены от взлома, кражи, потери или повреждения. Холодные диски позволяют решить эти проблемы, так как имеют высокую надёжность и устойчивость к различным внешним факторам. Кроме того, холодные диски обладают большой ёмкостью и могут хранить огромные объёмы данных. Это позволяет существенно сократить затраты на оборудование и обслуживание системы хранения данных. В целом, использование холодных дисков является эффективным и перспективным решением для организации хранения информации любого масштаба и уровня сложности.

Объём хранимых данных

Средний объём данных от плёночных фильм-сканеров Lasergraphics для различных разрешающих способностей сенсора:

• Размер кадра 13.5К, 10бит – 850МБ, 16бит – 1.1ГБ
• Размер кадра 6.5К, 10бит – 200МБ, 16бит – 260МБ
• Размер кадра 4К, 10бит – 49МБ, 16бит – 70МБ

Средний размерDPX-секвенций для одного ролла киноплёнки:

• 4К/10бит – 730ГБ, 4К/16бит – 1ТБ, 5К/10бит – 1.9ТБ, 5К/16бит – 2.4ТБ,
• 6.5К/10бит – 3ТБ, 6.5К/16бит – 3.9ТБ, 8К/10бит – 4.5ТБ, 8К/1бит – 6.8ТБ,
• 10k/10bit – 7.2TB, 10k/16bit – 9.6TB, 13.5k/10bit – 12.8TB, 13.5k/16bit – 16.5TB*

*данные приведены для соотношения сторон кадра 4:3

Холодные диски – это надёжное и устойчивое решение для хранения больших объёмов данных. Наша компания имеет колоссальный опыт работы с системами оборудования на основе этих дисков. Например, при работе над проектом оцифровки фильмов Госфильмофонда России. Библиотека холодного хранения объемом в 20 Пета Байт содержит материалы советского, российского производства и всех бывших советских республик, которые доступны для скачивания или передачи через интернет. Это позволяет существенно сократить затраты на оборудование и обслуживание системы хранения данных. Также холодные диски могут быть использованы для хранения съёмочных материалов киностудий, что позволяет монетизировать работу студии.

Структура библиотеки ALTO

• Быстрый доступ большого количества пользователей с минимальными расходами на эксплуатацию и содержание.
• Использование технологии резервного дублирования данных с возможностью выбора степени защиты.
• Минимальное время аварийного восстановления.

Важным преимуществом является экономия затрат на содержание и обслуживание оборудования. Благодаря использованию холодных дисков, которые практически не потребляют энергию в состоянии покоя и не требуют постоянного охлаждения, можно снизить затраты на электроэнергию и поддержание определенных температурных режимов в помещении.

Использование библиотеки ALTO также позволяет легко масштабировать систему хранения данных в зависимости от потребностей заказчика. Добавление новых дисков или увеличение объемов хранения не требует значительных затрат на перестройку системы, что делает её очень гибкой и адаптивной к изменяющимся потребностям.

В целом, использование холодных дисков и библиотеки ALTO является оптимальным решением для организации надёжного и устойчивого хранения больших объёмов данных, которые могут быть доступны для использования как внутри компании, так и для внешних клиентов.

Презентация «Сферы-Видео» «Системы долговременного хранения цифровых данных на холодных дисковых накопителях»

Логическая структура библиотеки ALTO

Использование логических сетей, объединяющих хранилища данных различных типов, позволяет быстро и эффективно передавать большие объёмы данных между различными отделами компании, что ускоряет процесс производства резервного копирования и повышает его качество. Более быстрый доступ к данным также позволяет оперативно реагировать на изменения в процессе работы над проектом и быстро вносить необходимые корректировки.

Кроме того, использование компьютерных сетей с высокой пропускной способностью позволяет легко расширять их в случае необходимости, например, при увеличении объёмов производства или при добавлении новых отделов. Это делает систему более гибкой и адаптивной к изменяющимся потребностям компании. Использование высокоскоростной технологической сети является необходимым условием для эффективной работы вещательной компании и обеспечения надёжного хранения и передачи больших объёмов данных. Она позволяет ускорить процесс производства контента, повысить его качество и быть готовыми к быстрым изменениям в индустрии.

Блок управления библиотекой ALTO

Также стоит отметить, что ALTO API позволяет интегрировать библиотеку с любыми другими программными продуктами. Это упрощает процесс работы с материалами в редакторах и повышает эффективность производства.

Библиотека ALTO является важным инструментом для кинокомпаний, позволяющим управлять большими объёмами данных и обеспечивать быстрый и надёжный доступ к ним. Ее использование помогает ускорить процесс производства фильма, повысить его качество и сделать работу с материалами более удобной и эффективной.

Блок-диаграмма библиотеки ALTO

В библиотеке ALTO реализована система управления разными версиями данных, что позволяет отслеживать изменения в материалах и восстанавливать предыдущие версии при необходимости. Также есть возможность управления доступом к материалам, что обеспечивает безопасность и конфиденциальность данных.

Технические характеристики библиотек ALTO

• Основное шасси – до 1.3ПБ в корпусе 4U
• Шасси расширения – до 1.3ПБ в корпусе 4U
• Дублирование данных – без RAID-систем
• Степень защиты по выбору пользователя – 1-x, 2-x и 3-x кратное дублирование
• Произвольный доступ – быстрый поиск и загрузка
• Извлекаемые диски с возможностью шифрования
• Мощная внутренняя система управления данными и дисками
• Архитектура MAID-III – низкое энергопотребление и стоимость эксплуатации
• Экологичность – отсутствие мощных систем кондиционирования
• Стандартные жёсткие диски – длительный срок эксплуатации
• Замена дисков, вентиляторов и источников питания без выключения
• Встроенная 64-битная операционная система Linux
• Возможность использования дисков различных типов
• Потребление электроэнергии в режиме нормальной эксплуатации – основной блок ALTO-III до 1.3ПБ – 300Вт, блок расширения до 1.3ПБ – 300Вт.

Система хранения ALTO обеспечивает высокую скорость доступа к данным благодаря технологии кэширования. Кэш хранится на быстрых SSD-накопителях и позволяет значительно ускорить доступ к часто используемым файлам. Также в библиотеке реализована поддержка различных форматов файлов, включая RAW, ProRes, DNxHD и другие.

Библиотека ALTO может быть использована в различных областях, связанных с производством фильмов, телевизионных программ, рекламных роликов и других видов медиа данных.

Технология библиотек ALTO

• Модульное решение, состоящее из неограниченного количества основных и расширительных модулей, каждый из которых содержит 60 дисковых накопителей.
• Диски библиотеки ALTO можно безболезненно извлекать для отдельного хранения или транспортировки проекта.
• Полностью непатентованная платформа, интегрируется со всеми ведущими приложениями MAM и системами управления архивами.
• Виртуальная файловая система и встроенное ПО ALTO Connect для управления библиотекой через Prometheus API с доступом к архиву по протоколам CIFS/SMB/FTP.
• Конфигурация библиотеки от решений для небольших рабочих групп до мульти-петабайтных решений корпоративного класса.

Библиотека ALTO использует технологию кэширования на быстрых SSD-накопителях для ускорения доступа к часто используемым файлам. Это позволяет значительно повысить производительность работы с медиаконтентом.

Реализована поддержка различных форматов файлов, включая RAW, ProRes, DNxHD и другие. Это обеспечивает универсальность и гибкость при работе с различными типами медиаконтента.

Библиотеки ALTO предоставляют возможность удалённого доступа к архиву по протоколам CIFS/B/FTP. Это позволяет работать с библиотекой из любой точки мира и с любого устройства. Они обладают высокой надёжностью и защитой данных благодаря резервированию данных на нескольких дисках. Также в ALTO реализована система автоматического резервного копирования данных на другие сервера или облачные хранилища. Система имеет открытую архитектуру и может быть интегрирована с другими программными продуктами и системами управления медиаконтентом.

Хранение редко используемых данных в библиотеках ALTO

• Уникальная архитектура, разработанная специально для архивов, библиотек контента и резервного копирования.
• Решение, основанное на массиве независимо управляемых дисков большой емкости.
• Любой отдельный диск, неактивно используемый для чтения или записи файла, полностью останавливается, что снижает энергопотребление, требования к кондиционированию воздуха и продлевает срок службы дисков.
• Для архива петабайтного класса энергопотребление может составлять всего 0,3 ватт на терабайт по сравнению с более чем 2 ваттами на терабайт для кластеризованных RAID-хранилищ.
• В архиве ALTO время работы отдельного диска может составлять менее 20 часов в год по сравнению с 8750 часами в год для RAID и Clustered Storage, что значительно увеличивает срок службы дисков.

Библиотека обеспечивает длительный срок службы дисков и уменьшает вероятность их поломки. Кроме того, система ALTO имеет встроенную функцию мониторинга состояния дисков и предупреждает о возможных проблемах заранее, что позволяет оперативно заменить диск и избежать потери данных.

Операционные расходы

• Дисковые накопители можно приобретать и добавлять в конфигурацию по мере необходимости её расширения в качестве операционных расходов, а не капитальных вложений.
• Поддержка любых дисков утверждённого типа от любого производителя в любом слоте для отсутствия привязки к одному поставщику.
• Каждый основной модуль и связанные с ним расширительные модули позволяют обслуживать до 7 потоков записи/чтения одновременно на диски с максимальной скоростью до 230МБ/с каждый.
• 16 основных модулей могут поддерживать объём записываемых и считываемых данных – более 100 ТБ/ч.

Стоимость системы ALTO зависит от её конфигурации, объёма хранилища и может колебаться. Однако, в долгосрочной перспективе, использование такой системы может существенно сократить затраты на хранение и обработку медиаконтента.

Требования к инсталляции ALTO

• Основной модуль ALTO-III-F-60 имеет 60 физических слотов, каждый из которых активируется, что требует:4RU в стойке 950мм, 2 разъёма питания IEC, 1 разъём питания на стороне A и 1 разъём питания на стороне B, потребляемая мощность обычно составляет 300Вт, один порт Ethernet 1Гб для мониторинга и управления с подключением RJ45 (IPMI, BMI, ILO), два порта Ethernet 10Гб для передачи медиафайлов с подключением RJ45, опциональное подключение SFP+
• Расширительный модуль ALTO-EX-60 имеет 60 физических слотов, каждый из которых активируется, что требует:4RU в стойке 950мм, 2 разъёма питания IEC, 1 разъём питания на стороне A и 1 разъём питания на стороне B, потребляемая мощность обычно составляет 300Вт, возможности объединения в цепочку для увеличения количества слотов, подключение расширительного модуля к контентному модулю по кабелю 3M Mini-SAS.

Таким образом, комплекс оборудования ALTO можно установить в любом помещении, где есть доступ к сети и возможность подключения к кондиционированию воздуха. Не требуется специального серверного оборудования, достаточно стандартной стойки. Для работы в сети необходимо использовать активные модули с оптическими портами SFP+ и скоростью не менее 25 Гбит/с. Расширительный модуль содержит 60 дисков и подключается к шине активного модуля.

Интеграция ALTO в рабочие процессы архивирования

• Модульная платформа для построения инфраструктуры хранения и обработки цифровых данных для решения любых технологических задач по управлению цифровым контентом, учёту кино, видео и фотодокументов.
• Разработка программных модулей для расширения функционала и поддержки оборудования для специализированных отраслевых решений.
• Система управления серверами – объединение серверов в логическую сеть для создания серверных кластеров и сегментов сети.
• Файловые хранилища и управление данными – управление процессами резервирования и миграции данных. Построение территориально распределённых систем хранения.
• Управление медиа контентом (МАМ) – расширение существующих систем хранения, для каталогизации и поиска фото, видео, аудио файлов с возможностями создания каталогов аудиовизуальных документов, подготовки описаний, учета и оперативного просмотра прокси копий.

Библиотеки ALTO обеспечивают высокую безопасность хранения данных. Все данные защищены паролем, доступ к ним имеют только авторизованные пользователи. Кроме того, система резервного копирования позволяет сохранять данные на других носителях, чтобы в случае сбоя системы или потери данных они могли быть восстановлены. Программное обеспечение библиотек ALTO является универсальной и эффективной системой для хранения и управления большим объемом различных типов данных, позволяет быстро и удобно работать с любыми данными, обеспечивает их высокую безопасность и защиту, а также позволяет оптимизировать процессы хранения и управления данными в организации.

Реализуемые функции библиотек ALTO

• Управление хранилищами через единый интерфейс, интеграция с системами хранения различных производителей
• Автоматическое управление питанием каждого из дисков, управление резервированием данных и всеми узлами хранения без создания распределенной файловой системы
• Организация взаимодействия между территориально распределенными хранилищами, интеллектуальное распределение файлов между хранилищами
• Автоматизация резервирования данных с распределением между группами оборудования
• Регулярная проверка целостности хранимых данных, возможность подключения мониторинга физического состояния дисков файлового хранилища, большой выбор метрик и графиков, функции миграции данных между хранилищами или группами дисков.

Broadcasting / Cinema 2023 Uzbekistan. Главные лица

ALTO обеспечивает высокую надёжность и безопасность хранения данных, а также удобство и эффективность их управления. Благодаря различным функциям и возможностям, она может быть использована в разных организациях и с разными типами данных, а также гарантирует сохранность информации даже при возможных сбоях или потере данных.

Возможности аналитики

• Автоматизированное наблюдение за носителями информации и серверами хранения.
• Построение аналитических графиков и журналов критических событий с возможностями настройки уведомлений и функций реакции на события.
• Поиск похожих изображений по образцу, детектирование лиц, создание и управление библиотекой лиц, выполнение индексации видео и фото файлов методом вычисления вектора семантических признаков.
• Автоматическое управление питанием каждого из дисков, перевод бездействующих дисков в режим пониженного потребления энергии, экономия потребления электроэнергии, пониженное тепловыделение внутри стойки, возможности сочетания режимов холодного и активного хранения данных.

Аналитический модуль может сделать графический интерфейс по построению графиков, построить статистику прогнозируемого срока жизни носителей. Кроме того, она содержит  модуль, позволяющий искать нужный материал по референсным кадрам.

Направления развития ПО ALTO

Цифровой паспорт киноплёнки– формирование цифрового профиля (паспорта) исходных цифровых материалов, цифровой анализ физического состояния киноплёнок на базе полученных данных. Также библиотеки ALTO могут быть использованы для хранения и управления данными о киноплёнках. Благодаря возможности индексации данных, можно быстро находить нужный материал, а функция резервного копирования данных обеспечивает сохранность информации о киноплёнках. Система может использоваться для оценки дефектов и уровня повреждений киноплёнок. Данные о состоянии материала могут быть внесены в систему и использоваться для выбора материалов лучшего качества для сканирования. Таким образом, библиотека ALTO может быть полезна для организаций, занимающихся хранением и реставрацией киноплёнок, так как обеспечивает надёжную и удобную систему хранения и управления данными.

Владимир Каменцев, технический директор телеканала Aqlvoy TV Channel, Узбекистан: Библиотека ALTO нужна как софт для интеграции или для внедрения решения в какую-то существующую инфраструктуру?

Игорь Калинин: Не совсем так. Установка ALTO на сервер позволяет интегрировать систему бэкапирования с другими инфраструктурами и улучшить скорость работы. Без установки ALTO невозможно использовать его функциональность. Это может привести к проблемам с хранением и управлением медиа данными.

Василий Лунёв, главный инженер «СФЕРА-ВИДЕО»: Библиотека позволяет снизить затраты на хранение данных и улучшить их управление. Использование ALTO обеспечивает более надёжное хранение данных, так как система имеет встроенные механизмы проверки и восстановления данных. ALTO имеет возможность автоматической миграции данных на более дешевое хранилище при необходимости, что позволяет сократить затраты на хранение данных в долгосрочной перспективе. Установка ALTO на сервер является важным шагом в обеспечении надёжного и эффективного хранения медиа данных. Это позволяет не только уменьшить затраты на хранение и управление данными, но и обеспечить более высокую надежность их хранения и доступность.

Игорь Калинин: Стоит отметить, что использование дополнительного софта для управления библиотекой может значительно упростить её администрирование и повысить эффективность работы с данными. Например, такой софт может позволить автоматически обновлять данные о фильмах и сериалах, а также проводить различные операции с файлами (например, конвертировать все видео в нужный формат или переносить их на другой сервер).

Софт может предоставлять различные инструменты для контроля за состоянием библиотеки, такие как мониторинг использования дискового пространства или проверка целостности файлов. Это может помочь предотвратить потерю данных и своевременно реагировать на возможные проблемы. Таким образом, использование дополнительного софта для управления библиотекой может значительно улучшить её работу и повысить эффективность хранения и управления данными.

Владимир Каменцев: Как расширяется массив? Это единый массив данных или это какие-то тома хранения?

Игорь Калинин: Он не разбит на отдельные участки или диски, а представляет собой единое хранилище данных. Это позволяет упростить управление данными и обеспечить более эффективное использование дискового пространства.

Виртуальный том может быть разбит на отдельные разделы, называемые логическими томами. Это позволяет создавать отдельные разделы для различных типов данных или для разных пользователей. Каждый логический том имеет свои собственные настройки, например, размер блока или уровень RAID. Как мы видим, использование виртуальных и логических томов позволяет более эффективно управлять хранилищем данных и обеспечить более высокую производительность и надежность работы.

Следующая конференция Broadcasting / Cinema 2023. Post-NAB состоится 23-24 мая 2023 года.

Организатор – TKT1957 LLC, Грузия.

В этом году TKT1957 соберет технических директоров в пятизвёздочном отеле класса люкс Paragraph Resort & Spa Shekvetili, Батуми, Грузия.