Аналитика реагирования: метрики и каталог Grafana-дашбордов
Статус: раздел 0 описывает реализованный набор дашбордов. Разделы 5–7 сохраняют историю проектирования и критерии приёмки; перечисленные там недостатки ранней версии не следует считать текущим перечнем дефектов. Для эксплуатации используйте опубликованные JSON в
docs/enterprise/grafana/и проверяйте поля/события по текущемуinternal/kafkaи SQL-схемам.
Дата исследования: 2026-09-10. Статус: реализовано 2026-09-10 — дашборды 01–10 и правки раздела 5; 11–13 не реализованы, им нужны источники, которых нет.
Документ сопоставляет текущие рекомендации Google SRE, DORA и практики incident management с фактическими событиями nxs-anomaly. Он остаётся обоснованием состава, а не отчётом по работающей инсталляции: SQL и все запросы панелей прогнаны по ClickHouse на синтетическом потоке, но фактические значения KPI на production не измерялись, производительность на реальном объёме тоже, и Grafana дашборды не импортировались.
Рекомендация: 10 дашбордов на базе существующего потока Enterprise и 3 расширения с новыми источниками. Сначала исправить семантику и качество расчётов, затем выделять дашборды из существующего общего JSON.
0. Что из этого сделано
Реализовано 2026-09-10. Проверено прогоном по живому ClickHouse 24.8 на синтетическом потоке, покрывающем сценарии приёмки раздела 7: 22 утверждения о значениях, 3 о роллапах и 120 запросов всех панелей — все зелёные.
Сделано:
- Дашборды 01–10 в
docs/enterprise/grafana/, по файлу на дашборд, с общим набором переменныхteam/service/severity, применяемым на каждой панели, где измерение действительно есть. - Витрины
nxs_episode_dimensions,nxs_episode_fact,nxs_notification_fact,nxs_group_state_latest,nxs_response_objectives(таблица),nxs_episode_objectives,nxs_response_attainment,nxs_analytics_health. - Правки раздела 5: matured-когорта вместо доли среди ответивших; mergeable quantile-состояния рядом с готовыми перцентилями;
supersededвместо вечного backlog;resolutionиactor_kindна факте эпизода;episode_id/team_idв доставке; отдельныеfiring/resolving;report_idу coverage; guard на порядок стадий и флаг отрицательного интервала; dirty-day пересчёт роллапа отклика по эпизодам, которые двигались. - Два продуктовых изменения, без которых SQL не мог быть верным:
purposeнаnotification.delivery_attempted(страница против уведомления о закрытии, смены дежурства, теста и строки в лог) и событиеalert_group.silencedсreason=maintenanceдля группы, заглушённой при создании.
Не сделано и почему:
- 11–13 (влияние на пользователя, разборы, DORA) — нужны incident registry, SLI-агрегаты и CI/CD-события. Придумывать их из журнала алертов нельзя, это прямо то, о чём предупреждает раздел 3.
oncall_intervalsиanalytics_checkpointsиз раздела 6 — нужны исторические смены и heartbeat-события, которых продукт не публикует.installation_idв конверте — как и сказано в разделе 6, до его появления каждая установка это отдельная база.- Полнота доставки: уведомление, не дошедшее ни до одной попытки, не представимо — событие о создании уведомления не публикуется. Сказано в описании панели, а не спрятано в знаменателе.
1. Что считать хорошей практикой
Метрики должны отвечать на разные вопросы
- Доставляет ли платформа оповещения? Измерять попытки, результат уведомления, задержку первой успешной отправки и отсутствие получателя.
- Как проходит реагирование? Измерять время до ACK, выполнение целей, незавершённую работу, эскалации и повторные открытия.
- Стал ли сервис надёжнее для пользователя? Нужны SLI/SLO, подтверждённые интервалы влияния и восстановления, а не только закрытие алертов.
MTTR неоднозначен: recovery, repair и resolution обозначают разные границы. Поэтому в названиях панелей указывать конкретный интервал, а аббревиатуру использовать только с определением. Atlassian: incident metrics.
Google SRE показывает, что при редких и разнородных инцидентах тренд MTTR может сильно меняться случайно. Медиана и p95 тоже не устраняют эту проблему. Использовать распределения для исследования, сопровождать их размером выборки и разбором случаев; эффект изменения процесса оценивать по тому этапу, на который оно направлено. График MTTR сам по себе не доказывает улучшение. Google SRE: Incident Metrics in SRE.
Для качества алертинга полезны precision, recall, detection time и reset time. Но precision/recall требуют независимого знания о значимых инцидентах: одного журнала алертов недостаточно. Google SRE: Alerting on SLOs.
Для on-call оценивать частоту и распределение прерываний вместе с временем дежурства. Число отправленных сообщений не равно трудозатратам или числу пробуждений человека. Google SRE: Being On-Call.
DORA сейчас определяет пять метрик доставки ПО, в том числе failed deployment recovery time, который относится к неудачным развёртываниям. Подставлять в него время закрытия всех групп алертов нельзя. Сравнивать следует контекст одного сервиса, избегая рейтинга людей и несопоставимых команд. DORA: software delivery performance metrics.
Общие правила расчёта
- Единица response-аналитики —
(alert_group_id, episode_id). Это эпизод обработки алертов, ещё не обязательно отдельный бизнес-инцидент. Один сбой может породить несколько групп; одна группа может иметь несколько эпизодов. - Разделять когорты: открытые в периоде, закрытые в периоде и активные на момент T. У каждой панели явно указывать её вариант.
- Показывать mean, p50, p90/p95, N и число неизвестных значений. p99 имеет смысл только при достаточном объёме. Для малых N — список случаев и метка малой выборки, без зелёного/красного вывода о тренде. Порог малой выборки согласовать для конкретной метрики, а не выдавать за отраслевой стандарт.
- NULL — неизвестное/недостигнутое состояние, не 0. Отрицательные интервалы считать дефектом времени/атрибуции, показывать отдельно, не обнулять молча.
- Не усреднять готовые перцентили. Процент выполнения цели считать через сумму числителей и знаменателей, не среднее процентов разных команд.
- Для целей ответа учитывать и просроченные незавершённые случаи. Доля «быстрых среди ответивших» не равна доле своевременно отвеченных случаев.
- Зафиксировать timezone и часы: по умолчанию elapsed time 24×7 в UTC. Business-hours SLA и ночные прерывания требуют календаря и IANA timezone.
- Фильтры: установка, команда, интеграция, сервис, environment, severity, канал, цепочка; применять только там, где измерение действительно доступно.
- Цели согласовывать по severity и классу сервиса. Текущие 300 секунд для ACK и 3600 секунд для resolve — дефолты chart, не отраслевые нормативы.
- Разделять production, тесты, учения, maintenance, автоматические и пользовательские действия. Если классификация отсутствует, показывать
unknown, а не предполагать её из факта отсутствия ACK.
2. Фактическая база nxs-anomaly
Поток: PostgreSQL transactional outbox → Kafka → Vector → ClickHouse. Аналитика — Enterprise. Для полного набора нужны Kafka, consumer и KAFKA_ANALYTICS_LIFECYCLE_ENABLED=true (chart: kafkaConsumer.analytics.lifecycleEvents=true). По умолчанию флаг выключен. История до его включения не содержит полного жизненного цикла.
| Источник | Что есть | Ограничения |
|---|---|---|
nxs_events_raw_deduplicated | v2 envelope, event_id, времена, идентификаторы и payload | Читать вместо физической raw-таблицы для KPI; доставки at-least-once |
nxs_group_episodes | opened, первый ACK, первый resolve, первая успешная доставка, переоткрытие, шаги, silences, времена | Нет полного текущего состояния; нет service/environment/severity как готовых измерений |
nxs_delivery_attempts | notification_id, user_id, integration_id, channel, attempt/notification status, provider code, retry, duration_ms, wait_seconds | Не экспонирует episode_id и team_id, хотя они есть у новых событий в raw; нет notification.created для всех запланированных уведомлений |
nxs_schedule_coverage | Сэмплы общего состояния и проблемных расписаний, gap_count, attached, disabled, ghost_users | Нет фактических интервалов дежурств и длительности будущих дыр |
nxs_daily_alert_quality | Дневной объём принятых событий и встреченных групп | Это не число новых эпизодов; в объём входят и resolved payloads |
nxs_daily_delivery_quality | Попытки по каналам и их распределения | Не итоговая успешность уникальных уведомлений |
nxs_daily_response_quality | Дневные перцентили и доли по командам | Готовые квантили нельзя корректно объединять между командами/днями |
nxs_alerts_log | Старый узкий журнал alert.ingested | Нет полного lifecycle; не основа response KPI |
События: alert.ingested; alert_group.opened, reopened, acknowledged, unacknowledged, silenced, resolved, escalation_step, escalation_exhausted; notification.delivery_attempted; schedule.coverage_reported.
У lifecycle есть actor_kind, иногда actor_role, причина reopen и resolution=source/operator. У ACK нет идентификатора подтвердившего человека в envelope; user_id доставки обозначает получателя. Они не взаимозаменяемы.
service, environment, cluster, host, alertname заполняются из labels у alert.ingested; у lifecycle эти колонки обычно пустые. Severity доступна в payload. Для срезов response нужна отдельная однозначная размерность эпизода: например, labels первого firing и severity открытия с отмеченным fallback. JOIN всех алертов к эпизодам размножит строки и испортит KPI.
Фактическая схема и семантика сверены по:
- Analytics event names.
- Event envelope и emission.
- ClickHouse schema and views.
- Vector mapping.
- Прежний общий дашборд
docs/grafana-analytics-dashboard.json: 23 панели данных, не считая row-разделителей. Разделён на десять дашбордов и удалён. - Описание pipeline.
3. Словарь метрик
Обозначения: o — открытие эпизода; a — первый допустимый ACK; p — первая успешная отправка paging-уведомления; r — первое закрытие; s — время начала, сообщённое источником; T — момент наблюдения. Для каждого среднего знаменатель — число валидных наблюдений именно этого интервала, рядом показывается N.
| Метрика / подпись панели | Формула | Доступность и трактовка |
|---|---|---|
| Time to acknowledge / MTTA | a − o; mean по валидным эпизодам | Есть mtta_seconds; все типы ACK вместе. Для human ACK отбирать подтверждённые actor_kind и уточнить происхождение автоматизированных клиентов |
| Time to close alert episode | r − o; mean/p50/p95 | Текущее mttr_seconds. Так и подписывать; не называть восстановлением сервиса |
| Time to first successful page | p − o | Есть приближение time_to_page_seconds; уточнить channel, reason и исключить resolve/test/log события |
| Page-to-ACK | a − p, только o ≤ p ≤ a | Производная после исправления page-семантики; не доказывает прочтения сообщения |
| ACK-to-close | r − a, только o ≤ a ≤ r | Производная; не время активной работы инженера |
| Source-to-open lag | o − s | Есть detection_seconds; не полноценный MTTD, т.к. s не гарантирует начало пользовательского ущерба |
| ACK within target | Число своевременных ACK / число eligible эпизодов с истёкшим deadline | Требует новой логики знаменателя; см. ниже |
| Close within target | Аналогично ACK для r | Цель закрытия процесса, не availability SLO |
| Active backlog / age | Число текущих незакрытых групп; T − o текущего эпизода | Нужна реконструкция текущего состояния, учёт reopen/unack/silence; одного resolved_at IS NULL недостаточно |
| Reopen share | Эпизоды с opened-событием reopened / все эпизоды открытия в периоде | Есть; отдельно причины new_alert и unresolved. Это не доказанная повторяемость одной первопричины |
| Alert grouping factor | Принятые firing-события / уникальные непустые группы с firing в том же окне | SQL по raw, исключить resolved_without_group. Не называть precision или долей устранённых ложных срабатываний |
| Attempt success rate | delivered / (delivered + failed) | Уже есть; skip показывать отдельно. Успех адаптера/провайдера, не подтверждённое прочтение человеком |
| Observed notification success | Уникальные notification_id с успешной попыткой / notification_id с известным терминальным исходом | Производная, только наблюдаемые уведомления; очереди без попытки не представлены. Pending показывать отдельно |
| Retry burden | Повторные реальные вызовы / все реальные вызовы | Использовать attempt и outcome; skip не является сетевым вызовом |
| Provider duration / enqueue-to-attempt-finish | duration_ms; occurred_at − notification_created_at | Второе включает ожидание, retry/backoff и длительность вызова, это не чистая очередь |
| Escalation exhaustion share | Эпизоды с exhausted / открытые эпизоды когорты | Есть; учитывать зрелость когорты. Не доказывает, что был достигнут хотя бы один получатель |
| Paging load | Уникальные (user_id, group_id, episode_id) с успешной paging-отправкой | Производная по raw; число потенциальных прерываний, не реальных пробуждений |
| Forecast coverage degradation | Доля/число расписаний с обнаруженными будущими gaps на проверке | Есть samples; не процент покрытых on-call часов |
| Pipeline processing lag | ingested_at − occurred_at | Приближение до Vector transform; ingested_at задаётся до фактического INSERT и может меняться при replay |
Для response-целей предлагается когорта с завершённым окном ожидания:
eligible = эпизоды, для которых политика требует ACK
matured = eligible из выбранной когорты открытия, где o + target <= T
on_time = matured, у которых o <= a <= o + target
attainment = count(on_time) / count(matured)Эпизоды без ACK после deadline — нарушение, а ещё не достигшие deadline — pending, не успех и не нарушение. ACK позже T не использовать при историческом срезе. Закрытие источником до ACK показывать отдельным исходом; исключать такие случаи можно только по заранее определённой политике, не постфактум для улучшения процента. Аналогичное правило для close target. Дефицит истории обозначать unknown/incomplete, а не автоматически признавать нарушением команды.
Метрики, которым нужны новые факты:
| Метрика | Чего не хватает |
|---|---|
| Настоящий MTTD | impact_started_at, detected_at и независимый реестр значимых инцидентов |
| Time to mitigate / MTTM | Верифицированное mitigated_at и определение момента начала |
| Time to restore service / MTTR recovery | service_restored_at, impact_started_at и связь с бизнес-инцидентом |
| Availability, error budget, burn rate | Числа good/total SLI events или интервалы фактической недоступности; корреляция алертов не заменяет SLI |
| MTBF | Независимые подтверждённые отказы и operational exposure time. Интервал между алертами — другая метрика |
| Alert precision / recall | Разметка actionable/false_positive и инциденты, которые алертинг пропустил |
| Pages per on-call hour, coverage % | Исторические интервалы смен/overrides и требования покрытия |
| Time to engage конкретного ответственного, handoffs | actor_id, assignment/ownership history, notification/step correlation |
| Postmortem и remediation quality | incident_id, сроки и статусы action items, причины и повторяемость |
| DORA | История deployment/commit, признак failed deployment, recovery и связи incident↔deployment |
MTTF не включать в основной incident-response набор: он больше подходит для невосстанавливаемых компонентов, а не процесса обработки алертов.
4. Каталог дашбордов
P0 — первая очередь; P1 — углублённая эксплуатационная аналитика; P2 — новые источники/события. «Текущий поток» означает достаточность типов событий, но не обещание корректности нынешних вью без исправлений раздела 5.
01. Response overview — обзор реагирования · P0
Для кого / решение: руководитель SRE или service owner; выбрать проблемные сервисы и этапы для дальнейшего разбора, не ранжировать сотрудников.
Панели: открытия эпизодов по severity; ACK и close attainment с N и pending; mean/p50/p95 time-to-ACK и time-to-close; reopen share; exhausted episodes; исходы source/operator; ссылка на возраст текущего backlog; баннер свежести.
Визуализация: stat + sparkline, недельный тренд, таблица сервисов с N, распределение исходов. Источник: episodes + нормализованные dimensions и outcome из raw. Окно: 7/30/90 дней, когорта открытия. Drill-down: 02, 03, 06, 09. Готовность: текущий поток + новая семантика.
02. Response latency and objectives — скорость и цели · P0
Решение: где задерживается ответ: до отправки, после отправки или после ACK.
Панели: time-to-page, MTTA, page-to-ACK, ACK-to-close, time-to-close; распределения длительности и таблица самых долгих случаев; source-to-open lag с долей валидных s; matured/on-time/late/pending/unknown; цели по severity; раздельные ACK actor kinds и source/operator close.
Визуализация: histogram/heatmap, time series, таблица нарушений. Источник: episodes + delivery raw + episode dimensions. Фильтры: команда, сервис, severity, интеграция, цель и тип завершения. Не складывать p95 отдельных этапов в общий p95: интервалы объединяются на уровне эпизода, и не каждый эпизод проходит их в таком порядке. Готовность: текущий поток + исправление target denominator/page.
03. Active backlog and aging — незавершённая работа · P1
Решение: какие группы требуют внимания сейчас или требовали его на момент T.
Панели: open/acknowledged/silenced; возраст oldest и возрастные корзины; просроченные ACK; exhausted и всё ещё open; события unacknowledged; переоткрытые текущие эпизоды; список групп без ожидаемой доставки.
Визуализация: stat, bar по возрасту, таблица с переходом к группе. Источник: реконструированное состояние группы из raw и текущий эпизод. Читать открытия до начала диапазона: выборка только opened за последние 24 часа пропустит старый backlog. Отдельно показать недостаточную глубину истории. ClickHouse eventual consistency: для оперативного действия сверять текущий UI/API. Готовность: текущий поток, но неполные события maintenance/окончания silence требуют snapshot/reconciliation для точного текущего состояния.
04. Alert volume and signal quality — объём и шум · P1
Решение: какие правила и интеграции создают лишние события и страницы.
Панели: firing/resolved отдельно; новые эпизоды отдельно от встреченных групп; alerts-per-group; top alertname/service; bursts по минутам; reopened по причинам; source-resolved без ACK; доля групп без ключевых labels; потенциальная повторяемость по стабильному rule/service fingerprint.
Визуализация: stacked time series, Pareto/top-N, heatmap часы × дни. Источник: raw alert.ingested + episode facts, агрегация по времени события. Source-resolved без ACK и частый reopen — кандидаты для разбора, не false positive. Готовность: текущий поток. Precision/recall/actionability — расширение после введения разметки и incident registry.
05. Notification delivery — надёжность каналов · P0
Решение: какой канал или транспорт мешает довести оповещение.
Панели: delivered/failed/skipped attempts; attempt success rate; терминальные исходы уникальных notification_id и pending; retry burden; p50/p95/p99 provider duration; enqueue-to-attempt-finish; time-to-first-success; классы отказов по каналам; notification_status после ошибки; отсутствие успешной отправки до deadline на уровне эпизода.
Визуализация: stat, распределения, таблица канал × outcome, тренд retry. Источник: delivery view + raw с episode/team. Окно: 1 час/24 часа/7 дней. Skip, log, lifecycle сообщения о закрытии и реальные paging-сообщения разделять. Полный delivery completeness требует notification.created и terminal events для уведомлений, которые ни разу не дошли до попытки. Готовность: текущий поток для попыток; полнота доставки — частичная.
06. Routing and escalation — маршруты и эскалации · P1
Решение: какие цепочки затягивают ответ или заканчиваются без результата.
Панели: executed steps по kind; WAIT и notification steps отдельно; repeat_count; exhausted share и количество; шаги до первого ACK; длительность между шагами; цепочки с большим fan-out; успешные отправки и ACK на фоне шагов.
Визуализация: bar по цепочкам, таблица route/chain, timeline одного эпизода. Источник: raw escalation_step/exhausted + episodes + delivery. step — индекс шага, включая WAIT/REPEAT, а не количество людей/уровней поддержки. Для точной конверсии «конкретный шаг → конкретный получатель → ACK» нужны step_execution_id и связь notification/ACK с ним; близость во времени её не доказывает. Готовность: текущий поток для поведения цепочки, расширение для точной атрибуции.
07. On-call load — нагрузка дежурных · P1
Решение: уменьшать частоту прерываний и выравнивать нагрузку.
Панели: уникальные paged episodes на получателя; число paging-сообщений на эпизод; число затронутых получателей; распределение по часам/дням недели; серии частых страниц; доля ночных/выходных отправок после задания календаря.
Визуализация: heatmap, распределение нагрузки, тренд команды. Источник: delivery raw с (user_id, group_id, episode_id). ID могут быть псевдонимизированы; применять согласованное отображение и доступ. Точная нормировка «на час дежурства» требует исторических смен; без неё не делать выводы о справедливости распределения. Ночь определяется timezone получателя, а не часовым поясом ClickHouse. Не выдавать получателя за автора ACK. Готовность: текущий поток для proxy-нагрузки; нормировка — новый источник.
08. Schedule coverage — готовность расписаний · P1
Решение: устранить известные будущие дыры до очередного инцидента.
Панели: последнее schedules_total/degraded/degraded_attached; проблемные schedule_id и gap_count; disabled/ghost_users; возраст последней проверки; длительность наблюдаемого degraded-состояния; доля проверок с деградацией с пометкой sample-based.
Визуализация: stat, state timeline, список расписаний. Источник: schedule.coverage_reported / coverage view. Общие счётчики повторяются после ARRAY JOIN: брать их один раз на исходный report, не суммировать по schedule rows. Не интерпретировать gap_count как gap minutes. Пропуск сэмпла — unknown; не протягивать последнее состояние бесконечно. Готовность: текущий поток; фактическая доля покрытых часов требует интервалов.
09. Episode explorer — разбор отдельного случая · P1
Решение: объяснить конкретную задержку и проверить агрегат по первичным событиям.
Панели: карточка episode/group/integration; observed lifecycle; шаги эскалации; попытки доставки с outcome и duration; ACK/resolution kind; связанные алерты; предыдущие/следующие эпизоды; occurred/published/ingested; признаки неполноты/неоднозначного порядка.
Визуализация: state timeline и таблица событий с миллисекундами. Источник: deduplicated raw, фильтр точного group/episode, ограниченный LIMIT. Ссылку на UI группы формировать через конфигурируемый base URL после проверки актуального маршрута frontend. Не отображать raw payload целиком по умолчанию: legacy alert labels/title не проходят тот же redaction, что lifecycle data. Готовность: текущий поток; ACK author name в данных отсутствует.
10. Analytics data quality — доверие к аналитике · P0, внедрить первым
Решение: можно ли интерпретировать остальные панели.
Панели: последнее поступившее событие по типу; время последнего coverage sample; event-to-Vector lag по ingested_at; late arrival по дню occurred; полнота lifecycle с момента включения; отсутствующие opening/episode/team/service; отрицательные интервалы; ACK/resolve без opening; superseded episodes; raw rows и уникальные event_id в диагностическом окне; rollup rebuilt_at.
Визуализация: статусы, lag histogram, time series, таблица дефектов. Источник: raw/semantic views/rollups. Физический duplicate ratio до merge — моментный диагностический показатель, не устойчивый исторический KPI replay. Отсутствие новых алертов может быть нормой: нужен ожидаемый heartbeat, а не только now − max(occurred_at). Lag завершённых событий не обнаруживает застрявшие ещё до ClickHouse. Kafka lag, outbox backlog и Vector rejected/errors сейчас относятся к Prometheus-операционному дашборду; для строго ClickHouse-only версии нужны отдельные heartbeat/checkpoint/health events или экспорт этих метрик в ClickHouse. Готовность: частичная на текущем потоке; полноценная end-to-end полнота — расширение.
11. Service impact and recovery — пользовательское влияние · P2
Решение: какой ущерб произошёл и когда реально восстановился сервис.
Панели: подтверждённые incidents и severity; time-to-detect/mitigate/restore; affected users/requests; user-impact minutes; availability SLI; error budget; перекрывающиеся интервалы ущерба и соответствующие эпизоды nxs-anomaly.
Источник: новый incident/impact feed + SLI агрегаты в ClickHouse. При расчёте downtime объединять пересекающиеся интервалы по сервису; не суммировать длительность всех алертов. Customer-minutes требуют временного числа затронутых пользователей, а не разового значения, умноженного на весь инцидент. Визуализация: SLI trend, impact timeline, таблица incident↔episodes.
12. Incident learning — разборы и предотвращение повторений · P2
Решение: устраняются ли выявленные причины и выполнены ли договорённости.
Панели: доля eligible incidents с postmortem; time-to-review; action items open/overdue/completed; доля выполнения в срок; подтверждённые recurring incidents; причины и contributing factors.
Источник: incident registry + issue tracker/postmortem feed в ClickHouse. Хранить history due date/status, иначе перенос срока улучшит KPI задним числом. Визуализация: aging table, тренд выполнения, Pareto причин. Не приравнивать автоматическое reopened к повторению первопричины.
13. Deployment reliability / DORA · P2
Решение: как изменения ПО связаны с отказами и восстановлением.
Панели: deployment frequency, change lead time, failed deployment recovery time, change fail rate, deployment rework rate; связь incident↔deployment; доля записей без подтверждённой связи.
Источник: CI/CD и VCS events + подтверждённые связи с incident registry, загруженные в ClickHouse. Контекст — сервис, production environment и rollout. Визуализация: пять трендов, таблица failed deploy → recovery. Не считать любую близость алерта к deployment доказательством причинности; не рассчитывать change fail rate без знаменателя всех production deployments.
5. Что исправить в текущей аналитике до внедрения
Ниже — выводы по коду/SQL, не обнаруженные на production значения.
| Наблюдение | Почему влияет на вывод | Предлагаемое изменение |
|---|---|---|
Панели 7, 8, 20, 22 используют avg(p95_...); панель 8 также avg(...within_target) | Среднее командных p95 не равно общему p95, малые команды получают тот же вес, что большие | Считать по эпизодам или хранить mergeable quantile states после дедупликации; доли через sums counts |
| В daily response знаменатель target содержит только ответившие/закрытые | Неответившие после deadline исчезают из доли | Matured eligible cohort, late/pending/unknown отдельно |
mttr_seconds = resolved − opened, а detection_seconds = opened − source_started | Закрытие группы не доказывает recovery; source time не доказывает impact start | Переименовать подписи, добавить настоящий incident timeline позднее |
first_delivered_at берёт любую delivered attempt | Не отличает paging от log или уведомления о закрытии; успех провайдера не означает контакт с человеком | Нормализовать notification purpose, фильтровать каналы/причины и границы эпизода |
| Backlog-панель фильтрует opened_at диапазоном и проверяет resolved_at IS NULL | Пропускает старую работу; старый эпизод при reopen после ACK может навсегда остаться без resolve | Latest group state + текущий episode; предыдущий помечать superseded, не unresolved навсегда |
| Первое acknowledged_at остаётся после unacknowledged | Наличие первого ACK не означает, что группа сейчас подтверждена | Для состояния — последняя релевантная операция; для MTTA — первый ACK |
| Reopened старого эпизода не даёт ему отдельного terminal event | Completed-only response и backlog будут иметь разные и иногда неверные знаменатели | Добавить episode.superseded либо выводить supersession из следующего открытия, сохраняя outcome отдельно от resolved |
| Source resolve и operator resolve объединены | Автоматическое закрытие может выглядеть как быстрый человеческий ответ | Экспонировать resolution и actor_kind в episode fact |
| Team filter применяется не ко всем панелям текущего JSON | Выбранная команда выглядит как глобальная статистика доставки/нагрузки | Сквозной team join через episode/raw либо явная пометка глобальной панели |
| Delivery view теряет team_id/episode_id; workload считает uniq group_id | Повторные эпизоды и повторные обращения к человеку склеиваются | Экспонировать snapshot IDs, считать согласованную единицу paging load |
| Многотопиковый producer возможен, consumer читает один topic из chart | Групповые события интеграции могут не попасть вместе с delivery в выборку | Явно покрыть все используемые topics, проверить корреляцию по ID и полноту |
| Старые события без episode_id атрибутируются anyLast по occurred_at,event_id | Совпавшие timestamps и отсутствие sequence дают неоднозначность; поздняя доставка со старым episode может повлиять на последующий fallback | Предпочитать явный episode; unresolved legacy attribution отмечать. Для будущего добавить монотонный entity sequence |
service/environment/severity не входят в episode view | Непосредственный фильтр lifecycle по пустым labels потеряет события | Однозначный episode dimension snapshot с quality flag |
| raw TTL и rebuildDays=3 | Старый эпизод может закрыться позже трёх дней: его opening-day rollup не пересчитается даже без Kafka backlog | Dirty-day rebuild по затронутым эпизодам + retention полной episode fact; не ограничиваться размером lateness окна |
published_at задан при создании outbox, ingested_at — в Vector transform | Это не фактические Kafka publish/ClickHouse commit времена | Честные подписи; отдельные broker/checkpoint/commit timestamps для детального pipeline SLI |
Иллюстрация агрегации: у команды A один ответ за 1000 секунд, у B 99 ответов по 1 секунде. Среднее их p95 — 500,5 секунды, а p95 объединённых 100 наблюдений по nearest-rank — 1 секунда. Для 1/1 успешного случая A и 0/99 у B среднее процентов — 50%, реальная объединённая доля — 1%.
Maintenance на создании группы применяется через silenceForMaintenance после opened без отдельного emitGroupEvent(...silenced...) в этом участке. Поэтому по одному silenced-event нельзя надёжно исключить все maintenance-эпизоды. Нужны явные suppression metadata и, при необходимости, state snapshots.
6. Подготовка данных и Grafana
Предлагаемые новые витрины — это дизайн, сейчас они не созданы:
| Витрина | Grain / назначение |
|---|---|
episode_fact | Установка × группа × эпизод; стадии, outcome, next_episode_at, completeness, snapshot dimensions, policy version |
group_state_asof | Состояние группы на T; отдельно latest operational view |
notification_fact | Установка × notification_id; purpose, episode, team, user, created_at, first_success, terminal outcome, попытки |
response_objectives | Service/severity/valid_from/valid_to; ACK/close targets, eligible criteria, календарь |
oncall_intervals | Исторические user/team/schedule shifts и overrides для нормировки |
analytics_checkpoints | Установка/topic/partition, health heartbeat, checkpoint и watermark |
Не считать multi-installation поддержанной автоматически: текущий envelope не содержит installation_id. До его добавления использовать отдельную базу/источник для каждой установки. Для объединённой аналитики добавить installation_id во все ключи и измерения, а не полагаться на вероятность уникальности ID.
ClickHouse ReplacingMergeTree удаляет дубли при фоновых merge; чтение физической таблицы не гарантирует отсутствие дублей. Использовать текущую FINAL-вью или эквивалентную явную дедупликацию. Инкрементальные агрегаты поверх сырого at-least-once потока могут навсегда учесть повторы. ClickHouse: ReplacingMergeTree.
При построении episode fact сначала восстановить необходимые переходы, затем фильтровать когорту. Если отфильтровать raw по opened-диапазону раньше сборки, ACK/resolve за его пределами исчезнут. Для historical-as-of исключать события occurred после T; отдельно определить, показываем ли знание на тот момент или пересчитанную историю с поздно пришедшими событиями.
Для Grafana использовать официальный ClickHouse datasource, временные макросы для DateTime64 и представления time series с time-колонкой. Фильтры строк интерполировать с SQL quoting, перечисления — согласованно с multi-select/All. Grafana: ClickHouse query editor.
Практические настройки: папка nxs-anomaly / Incident analytics, единые variables, единицы seconds/percent/count, пояснение числителя/знаменателя в description, переход overview → filtered detail → episode explorer, refresh соразмерно lag. No data и incomplete не красить зелёным; не соединять пропуски в сплошную линию. Пользователь ClickHouse для Grafana — только чтение и ограниченное время запросов; team variable не является механизмом авторизации. Права на строки/вью настраиваются отдельно от фильтра дашборда.
7. Порядок внедрения и критерии готовности
- Контракт метрик и фактов. Утвердить grain, термин close/recovery, eligible, source/operator, deadlines, superseded, типы уведомлений и timezone.
- Качество данных (10). Проверить включение lifecycle, все topics, историю, dedup, границы retention, отрицательные времена и полноту opening событий.
- Первый пакет (01, 02, 05). Реализовать обзор, response и delivery поверх проверенных фактов. Сравнить выборку случаев с PostgreSQL/UI.
- Диагностика (03, 04, 06–09). Backlog, шум, эскалации, нагрузка, расписания, event explorer. Не добавлять отсутствующие измерения фиктивными значениями.
- Влияние и улучшения (11–13). Подключить incident/SLI, issue tracker и CI/CD как отдельные проекты интеграции; после этого вводить recovery и DORA.
Перед признанием dashboard KPI достоверным проверить сценарии:
- повтор одного event_id не меняет показатели;
- 1/1 и 0/99 агрегируются в 1%, а не 50%; общий p95 считается из выборки;
- unanswered после deadline — нарушение, до deadline — pending;
- source close без ACK не превращается в человеческий ACK;
- ACK→unack и ACK→reopen дают правильное текущее состояние;
- старый superseded эпизод не создаёт вечный backlog;
- событие resolve позже окна обновляет правильную opening-когорту;
- поздний resolve старше rebuildDays пересчитывает старый response rollup;
- pipeline outage показывает неполноту, а не «инцидентов нет»;
- resolved/log/skip уведомления не улучшают time-to-first-page;
- применённый team/service фильтр действует на все соответствующие панели;
- no source time / неизвестная timezone / нет знаменателя отображаются явно.
Это критерии будущей реализации. Текущий JSON, schema и продуктовый код в рамках этого исследования не изменялись.