30 июля с 11:30 фиксируем проблемы доступа к серверам в ЦОД «IXcellerate», затрагивает виртуальные машины на серверы HERCULES, PERSEUS и IRIS, выясняем причины происходящего.
Поддержка ЦОД подтвердила наличие сетевых проблем, занимаются решением, сроки устранения назвать не смогли.
Проблема также затрагивает DNS и почтовый хостинг, но в текущий момент не оказываем влияния на их работу.
С 11:55 временно фиксировали восстановление сетевой связанности, но с высоким процентом потерь, специалисты дата-центра продолжают работы по стабилизации сети. По состоянию на 12:30 сеть полностью недоступна.
После 12:40 фиксируем жалобы по работе почтового хостинга, изучаем причины. Работа почтового кластера устранена в 13:30 - из-за нестабильной работы почтового кластера мы перевели его работу на 1 сервер.
Фиксируем восстановление работы сети ЦОД «IXcellerate» с 15:00, ожидаем комментарии со стороны поддержки дата-центра.
После 20 часов поддержка дата-центра предоставила следующую информацию:
Мы искренне приносим извинения за неудобства, которые вы испытываете в результате серьезной аварии на нашей сети. Мы понимаем, насколько важен для вас стабильный доступ к Интернет, и осознаем, что авария негативно сказывается на вашем бизнесе.
Наша сеть подверглась хакерской атаке изнутри сети. Параметры атаки менялись со временем. К сожалению, долгое время заняли поиски источников проблем. На данный момент места взлома найдены, но частично было взломано и выведено из строя оборудование нашей сети. В целях минимизации времени простоя было принято решение вывести пострадавшее оборудование из работы и заменить на оборудование из холодного резерва.
Ввиду подтверждения восстановления работы сети мы запланировали 31 июля в период с 00:00 до 03:00 восстановление почтового кластера, ожидается перерыв в работе до 60 минут.
Работа почтового кластера восстановлена, в ходе работе по синхронизации кластера мы добавили 4 узел в другом дата-центре для повышения стабильности работы базы данных в период сетевых проблем на одном из серверов. Также изучаем варианты повышения стабильности работы почтового интерфейса в период подобных проблем.