00:25: зафиксирована недоступность виртуального хостинга PLUTON, LACERTA и MENSA, начато расследование причин инцидента.
00:35: работа сервера PLUTON восстановлена.
00:40: после перезагрузки физического сервера, на котором размещены LACERTA и MENSA был утрачен доступ через IPMI.
01:35: через IP-KVM от дата-центра удалось восстановить удаленный доступ и продолжить диагностику.
02:10: работа серверов LACERTA и MENSA виртуального хостинга полностью восстановлена.
Итоги расследования
Установлено, что примерно за минуту до зависания обоих физических серверов была автоматически запущена плановая проверка RAID-массива. В течение следующей минуты запись в системные журналы прекратилась, поэтому определить точную причину инцидента не представляется возможным.
На сервере PLUTON для восстановления работы оказалось достаточно выполнить перезагрузку по питанию.
На физическом сервере с LACERTA и MENSA после перезагрузки перестали обнаруживаться загрузочные записи UEFI, был утрачен доступ через IPMI. После подключения IP-KVM удалось восстановить доступ к IPMI, загрузить сервер через Live CD, восстановить загрузочные записи UEFI и вернуть сервер в работу.
Принятые меры
- Обновлена прошивка IPMI до актуальной версии для возможности более оперативного реагирования при подобных инцидентах.
- Произведено полное обновление программного обеспечения серверов, ранее ставили только обновления безопасности.
- В случае повторения инцидента будет настроен вывод журналов через netconsole на отдельный сервер - это должно позволить сохранить диагностическую информацию даже при полном зависании операционной системы.
Приносим извинения за доставленные неудобства.