Последствия ощутили не только прямые клиенты этих компаний: перебои возникали в работе онлайн-сервисов и телевизионных трансляций. По состоянию на 28 сентября часть услуг уже возобновлена. В то же время, дополнительные расходы на резервные площадки, оборудование и автономное питание могут отразиться на стоимости связи.

Dilo выяснило, что происходит с украинскими дата-центрами и связью после серии атак, насколько серьезны риски для бизнеса и абонентов и почему интернет может подорожать.

• Почему сохраненные данные не гарантируют работу сервиса
• Спасет ли перенос серверов за границу
• Насколько может подорожать интернет
• Как подготовиться бизнесу и абонентам
• Где связь самая уязвимая и почему возникают перебои
• Угрожает ли украинцам пожар на станции Starlink в Польше
• Что известно о повреждении дата-центров и перебоях со связью в Украине
• Почему удар по одному дата-центру затрагивает разные компании

Почему сохраненные данные не гарантируют работу сервиса

Восстановление после удара может занять минуты и дни — в зависимости от того, что компания подготовила заранее. Тяжелее всего тем, кто не имеет запасных систем и резервных копий, считает телеком-эксперт Анатолий Фроленков. После уничтожения серверов им приходится снова настраивать работу, а потеря единой копии данных может оказаться необратимой.

Однако наличие копий не означает, что бизнес сразу вернется к работе. Следует запустить серверы, восстановить базы данных, доступы и связи с другими сервисами. Если запасная система уже сконфигурирована и готова принять нагрузку, пользователь может почти не заметить переключения.

"Все решается до удара. После удара проектировать устойчивость уже поздно", — объясняет Анна Бон, соучредитель DeHealth — компании, разрабатывающей платформу для хранения и анализа медицинских данных, и Army Health System — цифровой системы для учета и обмена медицинской информацией при оказании помощи военным.

Иногда достаточно отказа одного вспомогательного сервиса, чтобы остановилась вся работа. Например, приложение работает на сервере за границей, но система входа в него осталась на поврежденной площадке в Украине. Для пользователя результат тот же: воспользоваться приложением он не может.

Особенно остро это ощущается в медицине. 17 сентября из-за последствий вражеской атаки возникли технические затруднения у одного из провайдеров электронной системы здравоохранения Украины (ЭСОЗ). Основные компоненты центральной базы данных были недоступны более шести часов, а после их запуска продолжалось восстановление хранилища подписанного контента.

"Медицинская запись может быть полностью сохранена, но если врач не может открыть ее в момент принятия решения, с клинической точки зрения проблема все равно есть", — говорит Бон. Поэтому больницам нужны не только копии данных, но и автономная связь, питание и понятный порядок работы на время недоступности центральных систем.

Сходные зависимости имеют банки, аптечные сети, логистические компании и государственные реестры. По оценке Бон, наибольший риск возникает там, где остановка работы дорого обходится, а резервированию уделили недостаточно внимания.

Спасет ли перенос серверов за границу

Ключевые сетевые системы нужно распределять между несколькими площадками, в том числе за пределами Украины, говорит Фроленков. Компании, сделавшие это заранее, имеют больше возможностей продолжать работу после потери одного из объектов.

Но важно не только количество запасных серверов. Если они стоят рядом с основными, питаются от того же источника или используют общий канал связи, одна авария способна задеть все оборудование. Бон объясняет, что зависимость многих сервисов от столичных площадок формировалась годами.

"Киев исторически стал главным цифровым узлом страны: здесь дата-центры, точки обмена трафиком, серверы банков, государства, медиа. До войны это было экономически логично. Сегодня это еще и концентрация риска", — отмечает она.

Для многих критических систем Бон поддерживает сочетание инфраструктуры в Украине с резервом за рубежом. Выбирая решение, советует, прежде всего, определить, сколько времени компания может не работать и какой объем данных допустимо потерять. "Для архива бухгалтерии несколько часов простоя не катастрофа. Для платежей или медицины это совсем другой разговор", — объясняет она.

Перенос в облако также требует подготовки. Если вся система зависит от одной зоны или одного региона облачного провайдера, то сбой способен остановить сервис. Бизнесу придется позаботиться о доступах и ключах шифрования, оценить зависимость от международных каналов связи и изменить поставщика.

Бон видит здесь и долгосрочный вопрос для страны: массовый перенос вычислительных мощностей будет усиливать зависимость от зарубежной инфраструктуры. Свою позицию она формулирует так: "Резервирование за границей да. Перенос всего за границу нет".

Насколько может подорожать интернет

Запасные площадки, оборудование, каналы, генераторы и аккумуляторы увеличивают расход операторов. Все это нужно не только приобрести, но и обслуживать. Фроленков ожидает, что расходы скажутся на тарифах, хотя конкуренция будет сдерживать удорожание.

Эксперт по телекоммуникациям Александр Глущенко допускает постепенный рост абонплаты за фиксированный интернет примерно на 50–100 грн ближе к Новому году. В первую очередь это может касаться провайдеров в регионах, которые подвергаются интенсивным обстрелам и вынуждены строить дополнительные маршруты и резервные серверные.

Однако пока операторы не объявляли совместное решение о повышении тарифов. Глущенко и сам не ожидает одинакового изменения тарифов по всей Украине, ведь затраты зависят от технологии, состояния сети и объема необходимых работ. Конкретной оценки грядущего роста мобильных тарифов он не дает.

Бизнесу Анна Бон советует сравнивать затраты на резерв с возможными убытками от простоя. Полноценная вторая площадка, частично подготовленная запасная система и резервные копии нуждаются в разных бюджетах, поэтому выбирать следует под конкретные нужды компании. "Устойчивость не обязательно означает удвоение IT-бюджета", — отмечает она.

Как подготовиться бизнесу и абонентам

Компаниям следует начать с проверки, где стоят их серверы и от каких поставщиков зависит работа. Бон рекомендует определить сервисы, без которых бизнес не сможет работать, допустимое время их простоя и объем потерянных данных.

Копии нужно хранить в другой локации, причем хотя бы одну изолировать или защитить от изменения и удаления. Не менее важны доступы, ключи, сертификаты и документация: без них даже исправное запасное оборудование не удастся быстро запустить.

Для домашних пользователей и небольших офисов Глущенко рекомендует второго провайдера и SIM-карту другого мобильного оператора. Во время обесточений поможет оптоволоконное подключение по технологии PON, но необходимо обеспечить питание и роутеру, и оптическому терминалу, если это отдельные устройства.

Сколько проработает интернет, будет зависеть также от резервов провайдера. От повреждения кабеля или сетевого узла само оптоволокно не защитит. Выбирая второго провайдера, следует выяснить, не проложен ли его кабель рядом с кабелем первого. Бон отмечает, что две компании могут пользоваться общей трассой, и одно повреждение оставит абонента без обоих подключений.

Starlink Глущенко рассматривает как дополнительный вариант для тех, кому не хватает наземных альтернатив или нужен еще один канал. Для его работы тоже придется подготовить автономное питание.

С подключением резерва Александр Глущенко советует не ожидать массовых отключений. Во время блэкаутов монтажные команды заняты обслуживанием сетей и резервного питания, поэтому новые абоненты могут подключаться дольше.

Бизнесу же после всех настроек стоит провести пробное восстановление: проверить, открываются ли копии, нужны ли доступы и сколько времени занимает запуск. Как говорит Анна Бон: "Резерв, который никогда не проверяли, это не резерв. Это надежда".

Где связь самая уязвимая и почему возникают перебои

Большое количество операторов, разные сети и альтернативные соединения усложняют сценарий одновременной потери интернета по всей стране, считает Александр Глущенко. Повреждение отдельной линии, по его словам, обычно оставляет без доступа определенный участок сети, пока остальные продолжают работать.

Однако для абонента, ожидающего ремонта кабеля или оборудования, общая устойчивость системы мало меняет. Особенно сложная ситуация в прифронтовых регионах: обстрелы регулярно повреждают магистрали, базовые станции и здания, в которых размещено оборудование.

К физическим разрушениям прилагаются отключения электроэнергии. Когда дома исчезает Wi-Fi, люди переходят на мобильный интернет, и базовые станции получают нагрузку, с которой не всегда могут справиться. Сигнал на телефоне есть, но скорости видео или загрузки больших файлов уже не хватает.

Какой массовый переход не только перегружает станции, как объясняет Минцифры, но и ускоряет разрядку их аккумуляторов. Поэтому запасной способ подключения нужен и там, где сами сети не получили прямого удара.

Угрожает ли украинцам пожар на станции Starlink в Польше

Риски для связи существуют и за пределами Украины. 23 сентября в Польше произошел пожар на наземной станции Starlink. Польская прокуратура проверяет версию саботажа, а представители правительства заявили о признаках умышленного поджога, сообщило Польское радио.

Однако повреждение отдельной наземной станции не означает автоматического отключения спутникового интернета для всего региона, объясняет Николай Калиниченко, CEO Adaptis — украинской технологической компании, разрабатывающей, интегрирующей и поставляющей системы связи для сложных условий.

Мониторинг более 1,5 тысяч терминалов Starlink в период с 23 на 24 сентября, по данным компании, не зафиксировал сбоев, кратковременных отсоединений или других ошибок в работе оборудования. Это наблюдение касается именно выборки Adaptis, а не всех пользователей Starlink в Украине.

Калиниченко объясняет, что спутниковый Интернет также зависит от наземной инфраструктуры. Чтобы передать трафик от пользователя в глобальную сеть, Starlink использует наземные шлюзовые станции и точки подключения к интернету. В то же время, система имеет альтернативные маршруты.

"Сеть Starlink не привязана к одному наземному узлу. Спутники с оптическими межспутниковыми каналами могут передавать трафик дальше по орбите и выводить его через другую gateway-станцию", — отмечает он.

Наличие межспутниковых оптических соединений и нескольких наземных маршрутов подтверждает и Starlink в описании своей сети. Это объясняет возможность сохранить доступ после отказа отдельного узла, хотя само по себе не доказывает, как трафик маршрутизировался во время пожара в Польше.

В то же время Калиниченко предостерегает, что повреждение важного узла, его питания или наземных каналов может повлечь за собой временные или локальные перебои. Значительно более сложным сценарием была бы одновременная потеря нескольких узлов или недостаточная пропускная способность альтернативных маршрутов.

Поэтому для критических объектов эксперт рекомендует постоянно контролировать доступность каналов, заранее настроить автоматическое переключение на резерв и определить, как работать при пониженной скорости связи.

"Задача состоит не в том, чтобы найти один абсолютно надежный канал, а в том, чтобы построить систему, в которой отказ одного элемента не останавливает связь в целом", — отмечает Калиниченко.

Что известно о повреждении дата-центров и перебоях со связью в Украине

О перебоях после атаки 23 сентября сообщали, в частности, провайдеры UTELS и "Паутина". Тогда проблемы с интернетом имели примерно 100 тысяч домохозяйств Киева и области, по данным Минцифры.

О повреждении своего дата-центра в Киеве 25 сентября сообщила "Датагруп". Сотрудники не пострадали, клиентские данные сохранились, а сервисы, по заявлению компании, продолжили работать с резервных площадок.

В тот же день о сохранности данных клиентов благодаря географическому резервированию заявила Cosmonova. Компания предоставляет услуги дата-центра и доставляет телевизионный сигнал операторам в Украине и за границей. После дальнейших разрушений она объявила, что поврежденная площадка больше не будет работать. Специалисты начали переносить и восстанавливать сервисы, хотя доступ к помещениям был частично ограничен.  

В КОЛО.ТВ сообщали о поражении основного ядра сети и дата-центра, восстановлении из удаленных резервных локаций и недоступности чатов, ботов и сайтов. Временно не работала часть видеоплееров Суспільного, возникли перебои с телевизионными трансляциями. Уже 27 сентября Megogo сообщил о возвращении большинства телеканалов.

Такое количество пострадавших сервисов объясняется тем, что дата-центр может обслуживать сразу многих участников рынка. Наряду с серверами, где хранятся сайты и базы данных, там работают оборудование провайдеров и узлы обмена трафиком.

После потери одной локации перегрузка переходит на другие каналы и серверы, объясняет Анатолий Фроленков. Их возможностей не всегда достаточно, чтобы сразу принять весь поток. Поэтому перебои могут ощущать даже пользователи, чье оборудование не пострадало.

Почему удар по одному дата-центру затрагивает разные компании

В дата-центрах размещаются не только серверы, на которых хранятся сайты и базы данных. Там также может работать оборудование провайдеров и узлы, по которым сети обмениваются трафиком. Поэтому повреждение одной локации может повлиять сразу на нескольких поставщиков услуг.

После утраты части инфраструктуры перегрузка переходит на другие каналы и серверы, объясняет Фроленков. Однако их возможностей не всегда достаточно, чтобы сразу принять весь поток. Поэтому перебои могут ощущать и пользователи, чье оборудование непосредственно не пострадало. Операторам приходится изменять маршруты и перераспределять трафик.

Отдельная проблема — компании, которые не подготовили резервные копии и запасные системы. По словам Фроленкова, после физического уничтожения серверов или систем хранения данных им приходится снова настраивать работу. Если потеряна единая копия информации, последствия могут быть необратимыми.

Риск определяется, прежде всего, зависимостью сервиса от одного объекта, отмечает Анна Бон. Она добавляет, что опасна не сама концентрация, а одна точка отказа. Поэтому резервный сервер в соседнем здании может оказаться недостаточной защитой. Если основная и запасной площадки зависят от одного источника электроэнергии или общего маршрута связи, авария способна задеть оба.