Эльдар Карцаев, руководитель проектов StreamLabs, выступил с докладом «Мониторинг с человеческим лицом» на Online круглом столе «Broadcasting 2021. Системы мониторинга и управления».
Мероприятие состоялось 30 ноября 2021 года на платформе zoom. Модератор — Тимур Кулгарин, технический директор «СТС Медиа».
Эльдар Карцаев: Для своего выступления я выбрал тему «Мониторинг с человеческим лицом». Порой за гонкой внедрения новых технологий и стандартов мы забываем о главном, для чего всё это делается. Новые архитектуры, новые метрики, новые сигналы – это хорошо! Но мы должны помнить, что главное – выполнять основную работу с максимальной простотой; быстро и качественно обслуживать систему.
MultiProbe
Сегодня я хочу познакомить вас с новым решением в области мониторинга. Это новая система MultiProbe, пропагандирующая комплексный подход к выявлению проблем.
Текущие потребности индустрии диктуют нам необходимость мониторинга качества на каждом этапе медиапроизводства. Это несжатые входные потоки, файловый мониторинг, транспортные IP-потоки, не компрессированные, а также Settop box – самый последний уровень, который говорит о качестве предоставляемого именного клиенту сервиса. Каждый из этих узлов мы можем поставить на контроль в нашу систему, комплексно предоставляя информацию о самой услуге.
У всех подобных распределенных систем архитектурно одна и та же концепция. Есть клиенты, точки контроля, пробы и есть центральный сервер агрегации. Он может собирать всю эту информацию и в комплексном состоянии отдавать её дежурному персоналу или тому, кто следит за KPI услуг и за тем, как конечный клиент получает эти услуги. MultiProbe – это сервисная модель. У нас есть службы, запущенные на серверах, есть возможность работы в докерах, что упрощает разворачивание сервисов, а также компактные анализаторы. Есть компактный анализатор транспортных потоков, есть FMProbe, то есть те самые железки, которые мы давно разрабатываем. Они также могут быть частью системы и могут быть использованы при комплексном мониторинге услуг.
В разрезе развития виртуализации сервисных моделей мониторить мы можем не только физическими серверами с платами видеозахвата. Также мы охватили виртуальный сегмент. Уже есть реализации, где клиент разворачивает, например, OTT-сервисы в разных сегментах, а есть клиенты, которые получают информацию гибридно. Архитектура понимает, как тот или иной канал распространяется в разных средах.
Для быстроты оценки и решения проблемных ситуаций нам крайне важно иметь многофункциональный инструмент, который будет интуитивно понятен и позволит качественно контролировать услугу на местах.
В чём принципиальное отличие нашего решения? Мы предоставляем, по сути, рабочий стол инженера. Вы, заходя в систему, получаете доступ к вашей точке. Это полностью конфигурируемая область, в которой вы можете разворачивать все привычные инструменты, которые есть под рукой.
Все варианты, которые помогают нам оценить изменения в сигналах, мы реализовали в виде виджетов. Это не просто графики-индикаторы, это и целевые виджеты, которые позволяют показать все изменения.
Счетчики ошибок
Один из таких виджетов – это счетчик ошибок TR 101 290. Такой же онлайн-мониторинг есть для ОТТ-сигналов, когда мы видим изменение конфигурации настроек. Это таблицы PSI и SI, которые можно просто открыть и установить на своем рабочем столе. В режиме онлайн мы наблюдаем за изменением состояния. Это полноценный анализатор, который развернут в вашем веб-интерфейсе.
Очень удобный инструмент – это мониторинг HLS самого плейлиста. В любой момент можно посмотреть, как меняются сегменты, скопировать содержимое – то есть работаем с точкой, как будто мы на ней находимся.
У нас всегда были развиты продукты, связанные с визуализацией. Это отличительная сторона всех наших решений. Мы предоставляем огромное количество виджетов для интерактивного просмотра.
Вы можете собирать тамбнейлы, которые будут составляться из ОТТ-профилей. Они могут записывать в архив, могут быть сформированы в виде мозаики MPTS-потоков. Это нужно для оптимизации по трафику, когда вы не хотите ставить более мощную машину или канал связи минимален. В нашем решении есть возможность выбирать именно такие инструменты, которые позволят вам оптимизировать удалённую работу.
Естественно, несколько видов видеоплееров:
– видеоплееры в режиме реального времени
– видеоплееры, которые могут стримить просто сигналы
– видеоплееры, которые стримят целиком сформированные мозаики; и эти же мозаики мы можем выводить напрямую в локальной точке дежурной смены. Это особенно полезно, когда у крупного оператора локальная дежурная смена, и они в одной системе хотят смотреть и в вебе, и в режиме реального времени с низкой задержкой, которой можно достичь, только выведя напрямую на видеостену.
– Есть вариант использования в режиме видеостены, как это сделано в нашем классическом решении мультискрина
– И есть этот же вариант работы полностью в вебе, то есть помимо того, что мы видим мозаику, мы видим еще и статусную панель, которая с ней связана. Мы можем в любой момент развернуть любое изображение с мозаики во весь экран и подать любую звуковую дорожку или вывести метаданные. При этом стримится один поток этой мозаики, и мы управляем ей, изменяя её прямо на точке, на которой запущен сервис.
Шаблонный принцип
Говоря о самих процессах мониторинга с человеческим лицом, мы сделали шаг к упрощению настроек. Нашу систему мы можем охарактеризовать несколькими словами:
– групповые операции
– фильтры
– сортировки
– шаблоны настроек.
Шаблонный принцип – это самая удобная и универсальная вещь. Когда люди заходят в разные типы интерфейсов и везде видят схожий UX, им легче ориентироваться.
Здесь мы пошли дальше. У нас есть шаблоны так называемых алармов. Мы сделали так, что все типы шаблонов пользователь может сконфигурировать сам и ещё может использовать логические связи. Допустим, можно задействовать несколько метрик и определить общее состояние полностью кастомизированным алармом.
Все эти шаблонные алармы группируются в едином пресете, что позволяет предиктивно какую-то часть алармов переадресовывать персоналу, являющемуся системными инженерами всего комплекса, а какую-то часть экстренной важности переадресовывать сразу дежурной смене для превентивных мер.
Клиенту предоставлена возможность делать виртуальные сервисы в системе. Это виртуальное обозначение услуги. Вы можете любое количество объектов мониторинга, любые сигналы, которые мониторятся в разных точках скоррелировать не общем состоянии, а используя логические элементы. Так вы можете изобразить и физический тракт, когда вы составляете в нашем редакторе цепочку, которая у вас проходит, устанавливая логические мультиплексоры, логические сплиттеры, логические чендж-оверы в зависимости от того, как идёт влияние одного состояния на другое. Вы можете спокойно сформировать виртуальную услугу KPI, скомпоновать какие-то события, которые позволят вам оценить, насколько ваш контрагент предоставляет вам в полной мере ваши договорные отношения. Всё это ложится в нашу систему отчетов, которая может формироваться как вручную, так и ежемесячно для административного персонала.
Script-Probe
Мы постоянно развиваемся и в какой-то момент предположили, что у клиентов всегда есть устройства, которые могут дополнить наш комплексный мониторинг своими статусами. Мы разработали Script-Probe – графический инструмент интеграции. Большинство наших продвинутых клиентов имеет инженерный персонал, который прекрасно владеет различными интерпретаторами и может написать интеграцию или воспользоваться уже имеющейся. В графическом интерфейсе мы предусмотрели возможность подцеплять любой скрипт на Python, который выделяет объекты мониторинга с любой системы, и таким же образом, как обычный объект, подцепляется в этот граф. Таким образом границы мониторинга расширяются. Это уже не мониторинг сигналов, а полноценный мониторинг услуги. Так мы можем цеплять абсолютно любые системы, проверять, сформирован ли плейлист. То есть каждый элемент, который может дать нам информацию, является для нас объектом, и он точно так же, как любой сигнал, помещается в нашу систему.
Таким образом, у клиента создается целостное преставление об услуге. И все рабочие столы, которые он может себе завести, будут показывать именно ту часть информации, которая ему необходима.
Управление
Также мы идём в управление. Предусмотрен модуль, который будет управлять устройствами как нашими, так и другими – SDN-модуль. Также планируется поддержка MOS, тогда нашу систему можно будет интегрировать вместе с другими системами в каких-то облачных сервисах по мониторингу.
Тимур Кулгарин: Является ли ваша система продолжением развития продукта мультивьювер или это что-то отдельное?
Эльдар Карцаев: Это абсолютно новый продукт. Но мы использовали часть, связанную с визуализацией, поскольку она хорошо проработана в системе MultiScreen.
Также мы взяли часть работы с метриками. Вся наша разработка по метрикам, по транспортному потоку вошла в эту систему.
Кроме этого, мы забрали мониторинг артефактов на основе искусственного интеллекта и саму процедуру ротации и управления мозаикой. Наша разработка не прошла даром, и мы полноценно в новой системе подготавливаем её клиентам. Мы планируем всем нашим клиентам показать эту систему, постепенно переводить на неё и использовать как основную.
Тимур Кулгарин: То есть функционал, который у вас был в системе MultiScreen, вы перенесли в эту новую систему и плюс еще дополнили?
Эльдар Карцаев: Да.
Тимур Кулгарин: Будет ли какой-то путь обновления лицензии существующих MultiScreen или это отдельно?
Эльдар Карцаев: Для текущих клиентов у нас есть программа по обновлению. Это позволит клиенту получить больший функционал.
Алексей Брусницкий, директор технической дирекции АО «ТВ Центр»: Есть ли мониторинг сигнала 2110 и ведутся ли разработки в этом направлении?
Эльдар Карцаев: В нашем решении MultiScreen уже интегрирован и 2110, и 2022-6. Как раз в этом квартале мы интегрируем Mellanox в нашу систему MultiProbe, так что у нас будет сразу поддержка и 2022-6, и 2110.
Алексей Брусницкий: Что мониторим в 2110?
Эльдар Карцаев: В 2110 мониторим телеметрию, данные по RTP, то есть задержки, потерю пакетов, quality of experience плюс метаданные.
