В 14:59:24 мы стали фиксировать первые ошибки при выполнении запросов к базе данных почтового кластера. При анализе было выявлено, что 1 из 3 серверов MariaDB Galera Cluster был исключен из-за нестабильной работы сети.
После добавления исключенного сервера в кластер при синхронизации возникла ошибка на другом сервере, что в свою очередь в 15:19:23 привело к полной деградации работы кластера из-за потери кворума (нужно минимум 2 из 3 работающих серверов).
Далее мы нашли сервер с самыми последними данными и настроили его клонирование на остальные серверы, за счет этого в 15:49:32 фиксировали частичное восстановление работоспособности услуги почтового хостинга, а к 16:00:16 синхронизация была полностью завершена.
По итогу данного инцидента мы запланировали работы на 22 июля в период с 00:00 до 03:00 по изменению конфигурации MariaDB Galera Cluster с целью повышения стабильности работы кластера при сетевых проблемах.
Работы полностью завершены в 22 июля в 00:30.