12 мая 2026
-
16:08 — Начало сетевых проблем - зафиксирована потеря пакетов в дата-центре ТЕХНОЦЕНТР, направлен запрос в сетевой отдел ЦОД. Затронутые сервисы: виртуальные серверы в подсети 109.248.133.0/24, почтовый кластер (наблюдались кратковременные проблемы с интерфейсом), сервис WAF (защита сайтов от атак).
-
17:05 — Сетевой отдел ЦОД сообщил DDoS-атаке на сеть дата-центра, принимаются меры по устранению.
-
17:15 — Проблемный ЦОД исключен из работы почтового кластера и сервиса WAF - это позволило устранить ошибки в работе данных сервисов.
-
17:45 — Работа сети стабилизировалась, ожидаем подтверждение от поддержки ЦОД.
-
21:48 — Возобновление сетевых проблем, поддержка подтвердила инцидент.
-
22:50 — Поддержка ЦОД сообщила о решении проблемы, продолжаем мониторинг.
13 мая 2026
-
12:33 – 12:38 — Кратковременное возобновление сетевых проблем - затронуло работу почтового кластера (были проблемы с почтовым интерфейсом).
Мы продолжаем наблюдать за ситуацией и изучаем варианты доработки почтового кластера для организации стабильной работы почтового кластера в ситуациях с потерей пакетов в одном из ЦОД.
18 мая 2026
После глубокого изучения проблемы мы приняли решение выполнить доработку распределения трафика по узлам почтового кластера. В текущий момент в DNS всегда прописаны все IP-адреса узлов кластера, когда один из узлов становится недоступен, трафик к нему всё равно продолжает поступать, что вызывает ряд проблем:
- приложения, которые не умеют автоматически подключаться к другому IP-адресу из DNS в момент недоступности одного из узлов выдают ошибку
- при частичной недоступности узла (например 30% сетевые потери в последнем инциденте) подключения могут проходить с ошибками или медленно
Мы планируем реализовать мониторинг доступности узлов:
- выполнение ежесекундной проверки доступности каждого узла почтового кластера
- если узел имеет определенный процент ошибок одновременно с 2 из 3 точек мониторинга, тогда мы исключаем IP-адрес этого узла из DNS
Ввиду того, что это сложная система, мы планируем её реализовать поэтапно до конца текущего года. На первом этапе мы реализуем проверку доступности узлов и сбор статистики для понимания того, какой порог процента ошибок можно считать допустимым, а также при котором исключать IP-адрес для приема трафика. Когда этот алгоритм будет отлажен, тогда мы внедрим исключение IP-адресов из DNS в автоматическом режиме.