Недоступность PLUTON, LACERTA и MENSA 12 июля 2026 в 00:25:00

00:25: зафиксирована недоступность виртуального хостинга PLUTON, LACERTA и MENSA, начато расследование причин инцидента.
00:35: работа сервера PLUTON восстановлена.
00:40: после перезагрузки физического сервера, на котором размещены LACERTA и MENSA был утрачен доступ через IPMI.
01:35: через IP-KVM от дата-центра удалось восстановить удаленный доступ и продолжить диагностику.
02:10: работа серверов LACERTA и MENSA виртуального хостинга полностью восстановлена.

Итоги расследования

Установлено, что примерно за минуту до зависания обоих физических серверов была автоматически запущена плановая проверка RAID-массива. В течение следующей минуты запись в системные журналы прекратилась, поэтому определить точную причину инцидента не представляется возможным.

На сервере PLUTON для восстановления работы оказалось достаточно выполнить перезагрузку по питанию.

На физическом сервере с LACERTA и MENSA после перезагрузки перестали обнаруживаться загрузочные записи UEFI, был утрачен доступ через IPMI. После подключения IP-KVM удалось восстановить доступ к IPMI, загрузить сервер через Live CD, восстановить загрузочные записи UEFI и вернуть сервер в работу.

Принятые меры

• Обновлена прошивка IPMI до актуальной версии для возможности более оперативного реагирования при подобных инцидентах.
• Произведено полное обновление программного обеспечения серверов, ранее ставили только обновления безопасности.
• В случае повторения инцидента будет настроен вывод журналов через netconsole на отдельный сервер - это должно позволить сохранить диагностическую информацию даже при полном зависании операционной системы.

Приносим извинения за доставленные неудобства.