Алерты и инциденты
Каждая проблема — это инцидент с номером: он открывается алертом, копит в хронологии всё, что с ним происходило, и закрывается сам, когда проблема ушла.
Жизнь инцидента
- Открыт — проблема держится дольше своего окна (см. пороги серверов и мониторов). Уходит алерт с цифрами: значение, порог, снимок сервера, время.
- Взят в работу — кнопка «Взял» в Telegram, ссылка в Mattermost или webhook, кнопка в кабинете. Напоминания и эскалации по нему останавливаются, у сообщения в Telegram появляется «взял Имя».
- Закрыт — значение 2 минуты в норме; уходит «✅ восстановлено» с длительностью.
«Заглушить» рядом с «Взял» глушит источник (сервер, монитор или cron) на час: новые проблемы пишутся, но не отправляются.
Критичность
У каждого типа проблемы своя критичность: она видна значком в алерте (🔴 критично, 🟠 важно, 🟡 незначительно), в журнале, в webhook (поле severity) и решает, проходит ли алерт сквозь тихие часы.
| Тип проблемы | По умолчанию |
|---|---|
| Сервер не отвечает | критично |
| Монитор недоступен | критично |
| Упал сервис | важно |
| Диск или иноды заполнены | важно |
| Память или swap | важно |
| SSL-сертификат истекает | важно |
| Регистрация домена истекает | важно |
| Cron-задача не отметилась | важно |
| Ошибки в логах или логи молчат | важно |
| CPU, steal, load average | незначительно |
| SSL-сертификат сменился | незначительно |
| Сервер перезагрузился | незначительно |
| Прочее (ошибки сбора метрик) | незначительно |
Меняется для проекта в «Уведомлениях» → «Критичность проблем», а у отдельного инцидента — на его странице.
Журнал и страница инцидента
- Журнал (меню → «Журнал»): открытые — карточками сверху, закрытые — по дням; поиск по тексту, серверу, монитору и
#номеру, фильтры «Идут / Закрыты». - Хронология — сработал; куда ушло и дошло ли (или почему не отправлено: тихие часы, заглушено, обслуживание); напоминания; шаги эскалации; кто взял; восстановление.
- График вокруг инцидента — для диска, CPU и памяти: час до и после, с порогом — «что случилось перед падением».
Чтобы алерты не шумели
Всё ниже настраивается в «Уведомлениях» → «Что присылать» для всего проекта и переопределяется на вкладке «Настройки» сервера.
| Настройка | Что делает |
|---|---|
| Тихие часы | в окне (например, 23:00–08:00) алерты пишутся в историю, но не отправляются; критичные — приходят (можно выключить) |
| «Восстановлено» | сообщать или нет, когда проблема ушла |
| Напоминания | повтор об открытом и невзятом инциденте раз в 1, 2, 4, 8 или 24 часа |
| Группировка | если разом ломается многое (упала сеть, деплой), первый алерт приходит сразу, остальные в окне 1–30 минут — одним списком в конце |
| Заглушить сервер | на 1 ч, 4 ч, сутки или насовсем — см. «Серверы и агент» |
| Обслуживание | заранее запланированное окно тишины — см. «Обслуживание» |
Надёжная доставка
- Повторная отправка. Алерт, «восстановлено» или сводка, которые канал не принял (Telegram недоступен, вебхук не отвечает), отправляются снова: через 30 с, дальше реже — до раза в 15 минут, сутки. Дошедшее с опозданием помечено «Отправлено с опозданием».
- Одно сообщение вместо двух. Если проблема ушла, пока алерт ждал, придёт одно «восстановлено» с пометкой «О начале вовремя сообщить не удалось».
- Не повторяется то, что повтор не исправит: бота убрали из чата, вебхук Mattermost удалён. Ошибка видна у канала в «Уведомлениях» и в хронологии.
- Нет каналов — не потеряно. Проблемы, открывшиеся, когда алерты было некуда слать, придут одним списком, как только появится канал.