Без происшествий
Без происшествий
Без происшествий
Без происшествий
После сетевых проблем в дата-центре ТЕХНОЦЕНТР мы стали фиксировать проблемы в работе почтового кластера в 11:50.
23 августа 2026 года мы выполнили переход с MariaDB Galera Custer в режиме Master - Master - Master на MariaDB + Orchestrator Raft + ProxySQL Cluster в режиме Master - Slave - Slave, такая система должна быть более устойчивой к сетевым проблемам между дата-центрами.
По состоянию на 13 августа почтовый кластер работает на базе одного дата-центра с синхронизацией данных с остальными дата-центрами каждый час. Такой подход должен повысить стабильность работы услуги, а также сохранит возможность переключения трафика в другие дата-центры при проблеме в основном. Также, в ближайшие недели в тестовой среде мы будем прорабатывать схему работы в режиме Master - Slave - Slave вместо ранее используемой схемы Master - Master - Master.
По результатам проведённого анализа установлено, что проблема была связана с нестабильной работой кластера базы данных MariaDB Galera.
Поскольку проблема приобрела систематический характер, мы приняли решение временно перевести работу почтового хостинга в один дата-центр. В рамках предыдущих аналогичных инцидентов были предприняты все доступные меры для стабилизации синхронизации данных между дата-центрами в режиме реального времени. Однако регулярные сетевые сбои на отдельных узлах не позволяют обеспечить необходимый уровень стабильности при работе распределённой инфраструктуры.
В связи с этим мы рассматриваем возможность перевода почтового хостинга на работу в рамках одного дата-центра, что позволит повысить стабильность и надёжность сервиса.
Работа сервиса была полностью стабилизирована в 12:20. Приносим извинения за доставленные неудобства и благодарим за понимание.
12 августа с 10:40 фиксируем сетевые проблемы в дата-центре ТЕХНОЦЕНТР, передали информацию в поддержку, ожидаем ответ.
Проблема затрагивает работу виртуальных серверов расположенных на гипервизорах ARIES, LIBRA, HYDRA, NOVA, SCULPTOR и DELPHINUS. Также снижено резервирование почтового кластера, трафик переведен в другой дата-центр (проблем в работе не фиксируем).
Поддержка дата-центра сообщила о завершении работ по данному инциденту:
По результатам расследования инцидентов 12.08 - сервис был восстановлен в 16:04. Администраторы ТСПУ внесли изменения в работу оборудования. В 3:00 13.08 по мск нашу площадку вернули в фильтрацию. Повторения проблемы за время мониторинга не зафиксировано. Приносим извинения за доставленные неудобства
Поддержка дата-центра подтвердила наличие проблемы, сообщили что занимаются совместно с ГРЧЦ решением.
С 16:00 фиксируем возобновление проблем, передали информацию в поддержку дата-центра.
Работа восстановлена в 16:05, продолжаем наблюдением и ожидаем комментарии от ЦОД.
Дата-центр предоставил следующий ответ:
С 10:30 по 11:00 зафиксировали недоступность части сетевых ресурсов, падение VPN-соединений, потери пакетов. Проблему сдали в ГРЧЦ - площадку вывели из фильтрации. Сейчас аварийных ситуаций быть не должно. Ожидаем результаты проверки ТСПУ.
После 11:00 фиксируем стабильную работу сети, ожидаем ответ от поддержки дата-центра.
Без происшествий
Без происшествий