Документация / Наблюдение за состоянием
Наблюдение за состоянием
Для администратораЕжедневная работа
Платформа говорит о себе сама тремя способами. Она показывает состояние своих частей, считает метрики и записывает ход каждого запуска по шагам. Первое отвечает на вопрос «все ли в порядке», а третье объясняет, почему получился такой результат.
Три слоя наблюдения
| Слой | На какой вопрос отвечает | Где смотреть |
|---|---|---|
| Проверки состояния | Все ли части платформы работают | Экран «Обзор установки» |
| Метрики | Сколько работы прошло, где растет очередь, чем занят диск | Система сбора метрик вашей компании |
| Записи хода запусков | Что происходило внутри одного дела и почему такой ответ | Экран разбора запуска |
Проверки состояния
Каждая часть платформы отвечает на вопрос о своем состоянии, а платформа сводит ответы в один. Проверки делятся на критические и остальные. Отказ критической роняет готовность установки целиком, отказ остальных выключает только их работу.
Сводное состояние видно на экране обзора, там же написано, что именно случилось и что делать. Подробнее об экране рассказано на странице экранов администратора.
Оповещения
Платформа приносит готовый набор правил оповещения. Они рассчитаны не на красивый экран, а на случаи, когда нужно звать человека. Вот что в этом наборе.
| Повод | Когда срабатывает | Насколько срочно |
|---|---|---|
| Часть платформы недоступна | Не отвечает две минуты | Немедленно |
| Платформа не готова принимать работу | Держится пять минут | Немедленно |
| База данных недоступна | Минуту | Немедленно |
| Резервная копия не снялась по расписанию | Прошло больше суток с запасом | Немедленно |
| Проверка восстановления давно не делалась | Больше восьми суток | Немедленно |
| Диск заполнен выше порога | 85 процентов десять минут | Разобраться в тот же день |
| Очередь дел растет | Больше тысячи дел десять минут | Разобраться в тот же день |
| Срок сертификата истекает | Меньше 21 дня | Разобраться в тот же день |
| Платформа работает с ограничениями | Пять минут, в том числе при недоступности модели | Разобраться в тот же день |
| Найдены правки в обход описателя | Сразу | Разобраться в тот же день |
Пороги в этом наборе стоят значениями по умолчанию и меняются вашим слоем описателя. Отдельно стоит проверка тишины. Платформа регулярно подает признак жизни, и его пропажа сама по себе повод для оповещения.
Записи хода запусков
Каждый запуск задачи записывается по шагам. Видно, какой шаг что получил на вход, сколько работал, к какой системе и модели обращался и чем кончился. Это главный инструмент разбора, когда результат вызывает вопросы у сотрудника.
Записи живут в отдельном хранилище и имеют свой срок хранения, заданный описателем. Полная запись хода занимает заметное место, и срок стоит выбирать осознанно.
Что смотреть каждый день
Ежедневный обход администратора занимает минуты и состоит из трех взглядов.
- Экран сводки, где написано, что требует внимания сегодня.
- Просроченные дела в очередях, не копится ли работа, которую не берут.
- Расход за сутки, не выбран ли предел раньше конца месяца.