Документация / Наблюдение за состоянием
Наблюдение за состоянием
Для администратораЕжедневная работа
Платформа говорит о себе сама тремя способами. Она показывает состояние своих частей, считает метрики и записывает ход каждого запуска по шагам. Первое отвечает на вопрос «все ли в порядке», а третье объясняет, почему получился такой результат.
Три слоя наблюдения
| Слой | На какой вопрос отвечает | Где смотреть |
|---|---|---|
| Проверки состояния | Все ли части платформы работают | Экран «Обзор платформы» |
| Метрики | Сколько работы прошло, где растет очередь, чем занят диск | Система сбора метрик вашей компании |
| Записи хода запусков | Что происходило внутри одного дела и почему такой ответ | Экран разбора запуска |
Проверки состояния
Каждая часть платформы отвечает на вопрос о своем состоянии, а платформа сводит ответы в один. Проверки делятся на критические и остальные. Отказ критической роняет готовность платформы целиком, отказ остальных выключает только их работу.
Сводное состояние видно на экране обзора, там же написано, что именно случилось и что делать. Подробнее об экране рассказано на странице экранов администратора.
Три сводных состояния
Сводное состояние платформы принимает одно из трех значений, и различать их важно.
| Состояние | Что это значит | Что делать |
|---|---|---|
| Работает | Все проверки зеленые | Ничего |
| Работает с ограничениями | Критические части в работе, часть возможностей недоступна | Разобраться в тот же день, врезка на обзоре называет причину |
| Не готова | Отказала критическая часть, работа не идет | Немедленно, порядок разбора на странице диагностики |
Среднее состояние - это самое полезное и самое пропускаемое. Оно означает, что что-то уже сломалось, но пользователи этого пока не заметили. Разбирать его стоит до того, как заметят.
Оповещения
Платформа приносит готовый набор правил оповещения. Они рассчитаны не на красивый экран, а на случаи, когда нужно звать человека. Вот что в этом наборе.
| Повод | Когда срабатывает | Насколько срочно |
|---|---|---|
| Часть платформы недоступна | Не отвечает две минуты | Немедленно |
| Платформа не готова принимать работу | Держится пять минут | Немедленно |
| База данных недоступна | Минуту | Немедленно |
| Резервная копия не снялась по расписанию | Прошло больше суток с запасом | Немедленно |
| Проверка восстановления давно не делалась | Больше восьми суток | Немедленно |
| Диск заполнен выше порога | 85 процентов десять минут | Разобраться в тот же день |
| Очередь дел растет | Больше тысячи дел десять минут | Разобраться в тот же день |
| Срок сертификата истекает | Меньше 21 дня | Разобраться в тот же день |
| Платформа работает с ограничениями | Пять минут, в том числе при недоступности модели | Разобраться в тот же день |
| Найдены правки в обход описателя | Сразу | Разобраться в тот же день |
| Возраст архива журнала базы выше порога | Пятнадцать минут, держится пять | Немедленно, под угрозой окно восстановления на точку времени |
| Шина событий недоступна | Минуту | Немедленно |
| Хранилище трасс недоступно | Минуту | Немедленно |
| Отставание запасной базы выше порога | Минуту, держится пять | Разобраться в тот же день |
| Потери буфера записей хода запусков | Сразу | Разобраться в тот же день |
Пороги в этом наборе стоят значениями по умолчанию и меняются вашим слоем описателя. Отдельно стоит проверка тишины. Платформа регулярно подает признак жизни, и его пропажа сама по себе повод для оповещения.
Проверка самой проверки
У наблюдения есть слабое место, о котором стоит знать. Если перестанет работать сам сбор метрик, оповещений не будет вовсе, и молчание будет выглядеть как спокойствие.
Поэтому платформа шлет постоянный сигнал о том, что она жива, с коротким интервалом. Ваша система сбора метрик должна оповещать о пропаже этого сигнала так же, как об отказе части платформы. Это единственное оповещение, которое настраивается на вашей стороне, а не в описателе, и без него наблюдение неполно.
Записи хода запусков
Каждый запуск автоматизации записывается по шагам. Видно, какой шаг что получил на вход, сколько работал, к какой системе и модели обращался и чем кончился. Это главный инструмент разбора, когда результат вызывает вопросы у сотрудника.
Записи живут в отдельном хранилище и имеют свой срок хранения, заданный описателем. Полная запись хода занимает заметное место, и срок стоит выбирать осознанно.
Что записано о каждом шаге
Запись хода запуска - это не журнал сообщений, а набор помеченных фактов по каждому шагу. Знать состав полезно, потому что он отвечает на вопросы проверяющего, а не только ваши.
| Что записано | На какой вопрос отвечает |
|---|---|
| Номер дела и номер маршрута | О каком деле речь и по какому порядку оно шло |
| Шаг и номер попытки | Где остановилось и сколько раз повторялось |
| Канал | Кто начал работу, то есть сотрудник, служебный вызов или внешний канал |
| Класс субъекта и его псевдоним | Чье дело, без персональных данных в самой записи |
| Класс модели и маршрут данных | Какого рода модель была разрешена и уходил ли запрос наружу |
| Имя модели | Кто ответил на самом деле |
| Признак обезличивания и перечень полей | Что именно было заменено метками |
| Задание модели и его версия | По какой инструкции работала модель |
| Тип остановки и исход решения | Почему дело ушло человеку и что человек решил |
| Статистика по токенам | Сколько стоил шаг |
Персональных данных в записи нет. Субъект обозначен псевдонимом, а значения, ушедшие в модель, заменены метками. Поэтому запись можно показывать проверяющему целиком.
Что смотреть каждый день
Ежедневный обход администратора занимает минуты и состоит из трех взглядов.
- Экран сводки, где написано, что требует внимания сегодня.
- Просроченные дела в очередях, не копится ли работа, которую не берут.
- Расход за сутки, не выбран ли предел раньше конца месяца.
Ритм наблюдения
Кроме ежедневного обхода есть вещи, которые проверяют реже, и забывают о них именно поэтому.
| Как часто | Что смотреть | Почему именно так |
|---|---|---|
| Каждый день | Сводка, просроченные дела, расход за сутки | Три взгляда, минуты времени |
| Раз в неделю | Обзор платформы целиком, непримененные изменения схемы, состояние резервных копий | Здесь копятся тихие отказы, которые не роняют работу |
| Раз в месяц | Срок сертификата периметра, срок сопровождения лицензии, место на дисках | Все три предупреждают заранее, но только если на них смотрят |
| После каждого обновления | Совпадение версий частей, непримененные изменения схемы, состояние автоматизаций | Незавершенное обновление выглядит как работающая платформа |
| После первой недели работы автоматизации | Пороги автоматизации и число дел, ушедших человеку | До этого судить не по чему, а позже уже поздно |