Автандил Чхаидзе, начальник службы технического обеспечения Общественного Телевидения Грузии, выступил на Online круглом столе «Broadcasting 2021 Georgia Технологический комплекс Общественного телевидения Грузии» 2 ноября 2021 года.
Автандил Чхаидзе: В данный момент мы находимся на завершающей стадии модернизации наших телеканалов, проводим генеральные пробы, выходим в эфир.
У нас новый ньюсрум и новая восьмикамерная аппаратная студия, оснащенная Sony 3100. Плюс каналы, сторидж с инфраструктурой, которую мы объединили с нашей телевизионной – она обслуживает все остальные студии.
В студии, как я уже сказал, находятся восемь камер, два крана, микшер Guramex 36/12 с возможностью расширения.
Звуковой микшер Yamaha тоже новый, цифровой, при том что во всех других студиях у нас старые аналоговые микшеры. Сейчас наш персонал обучается, получает новые знания, более-менее разбирается в современном оборудовании, и я думаю, что проблем с этим не будет. Конечно, ко всему новому надо привыкнуть, потому что раньше на все микшеры был один источник, а сейчас надо переходить на другие внешние источники.
Также у нас есть два H-DVD от Avid, которые используются для вывода на экран. Они имеют 16 входов и 16 выходов.
У нас появился новый титровщик Maestro, но, если возникнет необходимость, мы сможем подключить его к нашему старому микшеру.
Гоча Кумсиашвили, директор по производству и технической поддержке Общественного телевидения Грузии: Добавлю, логически очевидно, что мы используем Guramex, потому что мы работаем с ним уже с прошлого тысячелетия. Я вообще не знаю, какой бы телеканал в Грузии его не использовал. Это очень надежные устройства, с отличным саппортом, полнофункциональные и удобные в использовании. Работа происходит быстро и качественно.
Мы используем не просто микшер, а систему микшеров. Это два микшера: большой и средний. Они, во-первых, могут управлять своими системными блоками крест накрест, во-вторых, при выходе одного из строя мы сразу же можем переключиться на другой. Когда работают оба, то мы можем использовать второй микшер в продакшн как дополнительный.
Александр Дарчия, начальник службы IT Georgia Public Broadcasting: Расскажу о нашей IT-инфраструктуре. Один из наших проектов – это замена устаревших сервер-сториджных систем, тех кластеров, которых нам уже не хватало в производстве, и всех сервисов, которые необходимы не только вещательной части, но и всему остальному каналу, и корпоративным системам.
Из-за нехватки ресурсов и неправильной топологии страдал весь наш канал. В связи с этим был запущен проект, который включал в себя закупки больших объемов сториджей и серверных мощностей. На данный момент у нас 4 ТБ от Fujitsu и множество нодов, которые отвечают за работу многих сервисов, включая бухгалтерские программы, HR, корпоративную почту и прочие системы. На данный момент у нас работает около 50 сервисов, и это число постоянно растет.
Наша виртуальная среда создана на базе VMware и системы Windows. Эти системы бэкапируют друг друга кросс-бэкапом.
Network был изначально спроектирован, чтобы заменить все старое оборудование, включая пассивные элементы. Мы сделали заново кабелизацию всего здания, разместили на этажах Acces-свитчи, в серверных поставили Core-свитчи и подключили между собой. Все свитчи, расположенные на этажах, — это свитчи Cisco. Переоборудование сети началось примерно три года назад, мы делали его поэтапно, поэтому у нас есть разные производители. На ньюсрумах в данный момент 11 Acces-свитчей по 48 портов от Ruckus. Также мы добавили около 30 свитчей на периметре здания и свитчи Dell к серверным дата-центра. Все эти разные системы идут на два главных свитча, которые и создают сеть.
Для защиты сети у нас инсталлирована система CheckPoint. Это два файрволла, которые защищают периметр, и два внутренних. Их управление ведется с помощью новой системы Maestro, которая все оркестрирует и контролирует.
Наша новая система и новая планировка всех процессов упростила связывание систем и интеграцию их в очень надежную сеть. Помимо новостей, где вся сеть дублируется, то же самое происходит и на других системах. В корпоративной системе все продублировано на системе Etere. С помощью такой системы мы получили максимальную скорость между монтажными и сториджами, а также между монтажными разных систем. Раньше практически невозможно было что-то быстро переписать с одной системы на другую, особенно когда несколько юзеров сразу начинали пользоваться сетью. У нас постоянно возникали проблемы, сеть падала, что-то не доходило. Наша новая топология дала нам полную свободу, высокие скорости и большой комфорт в Network.
Помимо этого, на все здания мы установили WiFi AP, и у нас практически не осталось черных дыр, где не ловит сигнал WiFi. Пока это сделано только в центральном здании, потому что через несколько лет планируется переезд, и мы не особо задействуем другие здания, и делаем там только необходимый Network.
В нашей монтажной системе вместе с новостями и программами получается примерно 70 монтажных станций. Каждый наш Access-свитч подключен к Core-свитчу двумя 10-гигабитными оптиками, благодаря чему у нас довольно высокая скорость и производительность сториджей, равно как и производительность всей системы. Внутри себя каждая система тоже работает прекрасно, потому что топология там монолитная. Все системы объединены между собой очень эффективно.
Мы отдельно закупили свитчи для проекта Avid, причем в большем количестве, чем это нужно было Avid. Мы решили, что все наши Core-свитчи для дата-центров должны быть одной фирмы, и не прогадали. Свитчи Dell служат в корпоративной части нашего Network, и они же являются главными. Тот же тип свитчей от Arista является свитчами дата-центра для системы Etere.
Гоча Кумсиашвили: У нас получилось три кластера, то есть два свитча дата-центра на систему Avid и на систему плей-аута эфирки и один на центральные Core-свитчи всего комплекса. Это, в принципе, три независимых друг от друга кластера, и можно в любой момент переключиться с одного на другой. Это было сделано с той целью, чтоб при переходе из одного здания в другое у нас не было прерывания. У нас есть такой запас, что мы можем часть оборудования перенести, подключить его по темному волокну, которое планируем пробросить, и таким образом сделать переход из здания в здание поэтапным.
Есть у нас некоторые сложности. Так как тендерный процесс происходил поэтапно, у нас нет монобрендовости. Поэтому существуют сложности в обслуживании, потому что администраторы обязаны знать и Cisco, и Dell, и Arista и многое другое, и к ним предъявляются высокие требования. А в остальном все отлично работает.
Дмитрий Буневич, Senior Manager компании Sony Electronics: Вы же наверняка рассчитывали общую работоспособность, брали какой-то максимальный процент. Как вы рассчитывали пропускную емкость локальной сети, чтобы понять, как правильно построить систему Avid? Какой процент вы брали за реальный объем от максимально возможного?
Александр Дарчия: Мы делали расчеты по сценарию апокалипсиса.
Гоча Кумсиашвили: Что происходит реально? У Avid есть таблички на все. Начиная работу с Евгением, мы получили такие таблички, доступ к этим документам и просто считали количество, в зависимости от лицензий, от клиентов и так далее. В итоге этот трафик, если говорить о процентах, получился умноженным в 2,5 раза. Опорная пропускная способность сетей примерно в 2,5 раза выше того, какой у нас должен быть расчетный трафик. То есть запас довольно большой и есть возможность подключаться еще. Это также связано и со сториджами. Пропускная способность и выдача дисковых массивов, скорость интерфейса тоже позволяют расширяться. Цифры были разные, например, на Avid мы посчитали, что в какой-то момент пиковая мощность может доходить до 60 Гб.
Александр Дарчия: Когда мы рассчитывали, мы суммировали каждый порт каждого свитча и считали, что система должна поддерживать одновременное использование всех портов на всех свитчах.
Гоча Кумсиашвили: В итоге оказалось так, что производительность этих свитчей дата-центров превосходит расчетные показатели. Узкие места – это именно интерфейсы самих пользователей, если их сотни не добавлять, то все будет работать, конечно, при правильной маршрутизации.
Гоча Кумсиашвили: Например, мы проводили стресс-тесты в эфирной аппаратной на сторидже DVP. Лично я наблюдал, как подключали пять монтажных по восемь одновременных стримов. У нас стандарт 50 Мб HDCAM 422. В таких условиях сервера нормально работают, все Access-свитчи и Core-свитчи, и сторидж выдают. Еще более массовый тест мы сможем провести, когда полностью запустим монтаж новостей. Там скорость еще выше, свитчи такого же типа, порты такие же, скорость сториджа выше, так что там можно еще много чего делать.
Евгений Алмазов, специалист по продуктам и решениям Avid: Во всей этой системе, если мы говорим про производство новостей и постродакшн, процессы происходят не только благодаря возможностям сетевого оборудования, которое выбирается из списка тестированного и рекомендованного. Ключевую роль играет система дискового массива Nexis. Именно она умеет управлять всеми этими потоками. Есть уникальные вещи, запатентованные Avid в свое время, и это немало важная часть. То есть одни и те же задачи с использованием неспециализированных массивов невозможно выполнить просто за счет ширины каналов всего оборудования.
Гоча Кумсиашвили: Нам удалось это проверить на себе. Например, сториджи DX по паспорту очень хороши, и они, правда, быстрые, но именно видеотрафик для них – это проблема. На них отлично можно устраивать виртуализацию с SSD и производить бэкапирование, но я бы не стал их использовать как центральные сториджи для видео, особенно в таких больших инсталляциях, как наши.
Дмитрий Буневич: Какой рабочий формат у вас получается? HDCA Minter2 50 Мб?
Гоча Кумсиашвили: Да.
Дмитрий Буневич: Получается, у вас 280i, 1,5 Гб на канал. То есть вы с 3G не работаете и работать не планируете?
Гоча Кумсиашвили: Нет, не планируем. Мы приняли его за стандарт и развиваем дальше. В эфирной аппаратной вообще думал снизить до 35 Мб, но не стал.
Дмитрий Буневич: Как у вас организован инжест?
Гоча Кумсиашвили:У нас три зоны инжеста. Первая зона: в эфирной аппаратной 32 канала плюс четыре канала видеомагнитофонов.
Дмитрий Буневич: Это для аварийного инжеста, если в последнюю минуту что-то принесут и нужно выдать в эфир?
Гоча Кумсиашвили: Нет, это студийный продакшн. Студийный продакшн, baseband инжест во всех студиях поступает через матрицу 32 канала и можно еще четыре. Кроме этого, есть 24-канальная бэкап-система, там шесть серверов. Это Netus, там 18-ядерные процессоры I9. Они тоже параллельно тянут такой же объем без проблем. Для Avid у нас два параллельно работающих фаст-сервера по 8 каналов в каждом, мы можем инжестировать baseband одновременно 16 каналов, которые сразу доставляются на Nexis. Там тоже два рабочих места и два оператора, которые всем управляют. Если ему не задавать суперсложный workflow по многократному транскодированию, то это происходит практически моментально. После начала инжеста через несколько секунд уже можно использовать материал при монтаже.
Дмитрий Буневич: А что с файловым ижестом?
Гоча Кумсиашвили: Сейчас файловый инжест у нас центральный, это традиция канала.
Александр Дарчия: Здесь у нас четыре рабочих места. Одновременно могут работать четыре человека, которые делают все возможные файлы, отовсюду их закачивают, транскодируют и кодируют. В этом случае мы используем транскодеры разных производителей. Пока у нас действует система от Harris, и все происходит именно так. Скоро будет немного по-другому, но сама идея – это центральный инжест, которым занимаются квалифицированные люди. У нас нет проблем ни с каким форматом: какой принесут, тот и транскодируем и запускаем в систему. Здесь задействованы ПК с высокой производительностью, оснащение у них на уровне.
Дмитрий Буневич: После того, как файл загружается, он через BMP-зону проходит для организации безопасности? Как организовано у вас транскодирование?
Александр Дарчия: Пока все находится в стадии разработки, мы работаем в направлении обеспечения безопасности.
Евгений Алмазов: Мы закладывали Media Central Ingest в новостной системе, для того чтобы непосредственно в новостной workflow можно было заливать материал безопасно, управляемо и так далее.
Гоча Кумсиашвили: Пока безопасность у нас делится на две части: чисто физическая файловая безопасность, то есть заражены или нет файлы, и контент-безопасность, чтобы в эфир не попал непроверенный материал. Любой материал проходит через продюсера, который его просматривает, и нежелательный контент не может попасть в эфир.
Дмитрий Буневич: Как организован процесс утверждения контента в эфир? Это ручной или автоматизированный процесс?
Гоча Кумсиашвили: Это ручной процесс. Дежурный выпускающий продюсер просматривает весь контент, затем утверждает либо нет.
Дмитрий Буневич: После внедрения новой системы с точки зрения планирования вещания у вас что-то изменилось? Стали ли вы планировать более заблаговременно?
Гоча Кумсиашвили: Да, все радикально изменилось. Процесс перехода был болезненным. Планирование, раньше было достаточно удобным, потому что мы использовали ньюсрум Google Drive. Это удобно, потому что, если нужно что-то редактировать, то все сразу видно. Сейчас все будет происходить через CloudeUX и через iNews, поэтому идет перестройка в мозгах продюсера, что нужно сначала составить рандаун, а потом раздавать людям задачи. Это один из самых сложных моментов во всей инсталляции. Не только в новостях, но и в эфирной аппаратной и так далее. Это перестройка чисто субъективных отношений, но люди привыкают. Продюсеры привыкают тяжело, хорошо освоили iNews пока только двое.
Дмитрий Буневич: Перестройка – это достаточно серьезный вопрос. У вас происходят кардинальные изменения в процессе, в оборудовании, да и в самом здании, так что все практически с чистого листа. Персонал не может переключиться в один момент, нужно систематически проводить обучение. С какими проблемами вы сталкиваетесь? Есть ли у вас чем поделиться, что было бы полезно для других телеканалов и телецентров, проходящих схожий путь в плане перехода на кардинально новые рынки с точки зрения обучения персонала?
Гоча Кумсиашвили: Конечно, переобучение людей – это самый сложный фактор, который нужно делать постоянно, аккуратно и разными методами. Приходится и уговаривать, и мотивировать, и заставлять, то есть использовать все возможные способы, для того чтобы это делать. Самый сложный процесс – это, конечно, журналисты и выпускающие режиссеры, потому что они, во-первых, часто имеют доступ к таким людям, которым они могут просто позвонить и нажаловаться на кого-то, во-вторых, у них постоянно нет времени, они все время загружены. Они все время висят на телефонах, все время в Фейсбуке и все время что-то делают, и у них постоянные отговорки: нам нужно ехать на съемки, нужно сделать то, другое. Даже планирование заранее каких-то сессий и тренингов часто, если все время это не мониторить, оказывается бесполезным. Их все время нужно заставлять, спрашивать, контролировать.
Мы не поскупились на то, чтобы провести много тренингов, сложность была только в том, что их приходилось делать удаленно, потому что люди просто не могли приехать. Много тренингов было проведено на месте, но все равно из запланированного состава журналистов, режиссеров, продюсеров и так далее присутствовала только половина. Приходится проводить все по два раза, изучать самим.
Ключевой момент – суперюзеры. Важно найти людей, которые могут все легко выучить и передать навыки другим. Самое главное, чтобы кто-то хорошо обучился, а потом обучил людей вокруг себя. Таких людей нужно находить, нужно их продвигать, нужно всячески им помогать и заставлять, если надо. Это всегда сложно, но относиться ко всему нужно спокойно.
Дмитрий Буневич: Во сколько вы оцениваете выход на нормальную производственную мощность, на нормальный рабочий режим, когда все будут уже более-менее в теме, будут понимать? Сколько времени вы рассчитываете потратить на этот переходный процесс?
Гоча Кумсиашвили: В нашей конкретной ситуации, так как инсталляция у нас завершилась в начале лета и обучение мы прошли за лето, сейчас у нас будет запуск и проходят постоянные прогоны, я надеюсь, что через полтора-два месяца сотрудники всему обучатся. Я думаю, что все зависит от изначального профессионализма и возраста людей. Если ньюсрум молодой и там изначально будут работать люди 20-30 лет, то тогда будет быстрее. Если ньюсрум будет старше, то там люди будут не так быстро осваиваться и процесс пойдет медленнее, и будет больше проблем.
Дмитрий Буневич: У вас указано количество рабочих станций 1000 штук. Это офисная сеть?
Гоча Кумсиашвили: Да, это офисная сеть. Мы несколько раз производили закупки, в общей сложности купили около 500 компьютеров, и от существующего парка осталось 500.
Дмитрий Буневич: Подключены не все?
Александр Дарчия: Нет. К ньюсрумам подключены примерно 250 рабочих мест, и из них одновременно используются 75.
Гоча Кумсиашвили:Еще есть радио, где часто используются ПК, и тольков web у нас 40 человек.
Дмитрий Буневич: Радио и IT-вещание – это отдельные подразделения? Как у вас организована интеграция с радиоканалом? Радио переезжает вместе с телевидением или останется в другом помещении?
Гоча Кумсиашвили: Радио переезжает вместе с нами.
Дмитрий Буневич: Его вы тоже обновляете?
Гоча Кумсиашвили: Радио было обновлено пару лет назад.
Дмитрий Буневич: Теперь расскажите о дальнем архиве.
Гоча Кумсиашвили: Дальний сторидж – это следующий проект, мы его еще не реализовали. У нас пока нет ни самой системы, то есть софта, соответственно, нет HSM и нет хранилища для долгосрочного хранения. Мы планируем, что это будет какой-то известный бренд. А про сторидж мы думаем, что это будет LTO.
Есть еще отдельный проект, который пока не профинансирован, и мы ищем на него деньги. У нас большой киноархив и фотоархив, где есть старые магнитные ленты, и как-то мы должны этим распорядиться.
Александр Дарчия: Новостной архив у нас тоже очень большой, на самых разных носителях. Понемногу мы будем начинать оцифровывать в нашей новой системе InterPlay.
Дмитрий Буневич: Какой у вас был основной принцип организации резервирования при проектировании основных элементов вещательного комплекса, студийного производства?
Гоча Кумсиашвили: Во-первых, нигде не должно быть одиночных интерфейсов, девайсов и тому подобного, везде должно быть какое-то дублирование. Это может быть дублирование отдельно стоящих устройств либо дублирование портов, либо и того, и того, и дублирование кабеля и вообще всего. В эфирной аппаратной мы думали, что у нас будет схема «3 канала + 2 бэкапа», но решение Etere не подразумевает такой схемы, здесь строго два плей-аут сервера на каждый канал. На коммутации у нас смешанное поле. У нас есть один большой рутер и несколько маленьких. Мы так раздали кабели, что можно переключаться и отсюда, и оттуда, но в ущерб каких-то вещей, то есть куда-то нельзя переключиться, а куда-то можно. Новый рутер – это ядро системы, надежное устройство, много элементов питания, модулей и так далее.
Дмитрий Буневич: Какой размер матрицы?
Гоча Кумсиашвили: Где-то 400×400. Там гибридный интерфейс: коаксиальный интерфейс и оптика.
