Сетевые проблемы 12 мая 2026 в 16:08:00

12 мая 2026

• 16:08 — Начало сетевых проблем - зафиксирована потеря пакетов в дата-центре ТЕХНОЦЕНТР, направлен запрос в сетевой отдел ЦОД. Затронутые сервисы: виртуальные серверы в подсети 109.248.133.0/24, почтовый кластер (наблюдались кратковременные проблемы с интерфейсом), сервис WAF (защита сайтов от атак).

• 17:05 — Сетевой отдел ЦОД сообщил DDoS-атаке на сеть дата-центра, принимаются меры по устранению.

• 17:15 — Проблемный ЦОД исключен из работы почтового кластера и сервиса WAF - это позволило устранить ошибки в работе данных сервисов.

• 17:45 — Работа сети стабилизировалась, ожидаем подтверждение от поддержки ЦОД.

• 21:48 — Возобновление сетевых проблем, поддержка подтвердила инцидент.

• 22:50 — Поддержка ЦОД сообщила о решении проблемы, продолжаем мониторинг.

13 мая 2026

• 12:33 – 12:38 — Кратковременное возобновление сетевых проблем - затронуло работу почтового кластера (были проблемы с почтовым интерфейсом).

Мы продолжаем наблюдать за ситуацией и изучаем варианты доработки почтового кластера для организации стабильной работы почтового кластера в ситуациях с потерей пакетов в одном из ЦОД.

18 мая 2026

После глубокого изучения проблемы мы приняли решение выполнить доработку распределения трафика по узлам почтового кластера. В текущий момент в DNS всегда прописаны все IP-адреса узлов кластера, когда один из узлов становится недоступен, трафик к нему всё равно продолжает поступать, что вызывает ряд проблем:

1. приложения, которые не умеют автоматически подключаться к другому IP-адресу из DNS в момент недоступности одного из узлов выдают ошибку
2. при частичной недоступности узла (например 30% сетевые потери в последнем инциденте) подключения могут проходить с ошибками или медленно

Мы планируем реализовать мониторинг доступности узлов:

1. выполнение ежесекундной проверки доступности каждого узла почтового кластера
2. если узел имеет определенный процент ошибок одновременно с 2 из 3 точек мониторинга, тогда мы исключаем IP-адрес этого узла из DNS

Ввиду того, что это сложная система, мы планируем её реализовать поэтапно до конца текущего года. На первом этапе мы реализуем проверку доступности узлов и сбор статистики для понимания того, какой порог процента ошибок можно считать допустимым, а также при котором исключать IP-адрес для приема трафика. Когда этот алгоритм будет отлажен, тогда мы внедрим исключение IP-адресов из DNS в автоматическом режиме.