Skip to content

Аналитика реагирования: метрики и каталог Grafana-дашбордов ​

Статус: раздел 0 описывает реализованный набор дашбордов. Разделы 5–7 сохраняют историю проектирования и критерии приёмки; перечисленные там недостатки ранней версии не следует считать текущим перечнем дефектов. Для эксплуатации используйте опубликованные JSON в docs/enterprise/grafana/ и проверяйте поля/события по текущему internal/kafka и SQL-схемам.

Дата исследования: 2026-09-10. Статус: реализовано 2026-09-10 — дашборды 01–10 и правки раздела 5; 11–13 не реализованы, им нужны источники, которых нет.

Документ сопоставляет текущие рекомендации Google SRE, DORA и практики incident management с фактическими событиями nxs-anomaly. Он остаётся обоснованием состава, а не отчётом по работающей инсталляции: SQL и все запросы панелей прогнаны по ClickHouse на синтетическом потоке, но фактические значения KPI на production не измерялись, производительность на реальном объёме тоже, и Grafana дашборды не импортировались.

Рекомендация: 10 дашбордов на базе существующего потока Enterprise и 3 расширения с новыми источниками. Сначала исправить семантику и качество расчётов, затем выделять дашборды из существующего общего JSON.

0. Что из этого сделано ​

Реализовано 2026-09-10. Проверено прогоном по живому ClickHouse 24.8 на синтетическом потоке, покрывающем сценарии приёмки раздела 7: 22 утверждения о значениях, 3 о роллапах и 120 запросов всех панелей — все зелёные.

Сделано:

  • Дашборды 01–10 в docs/enterprise/grafana/, по файлу на дашборд, с общим набором переменных team / service / severity, применяемым на каждой панели, где измерение действительно есть.
  • Витрины nxs_episode_dimensions, nxs_episode_fact, nxs_notification_fact, nxs_group_state_latest, nxs_response_objectives (таблица), nxs_episode_objectives, nxs_response_attainment, nxs_analytics_health.
  • Правки раздела 5: matured-когорта вместо доли среди ответивших; mergeable quantile-состояния рядом с готовыми перцентилями; superseded вместо вечного backlog; resolution и actor_kind на факте эпизода; episode_id/team_id в доставке; отдельные firing/resolving; report_id у coverage; guard на порядок стадий и флаг отрицательного интервала; dirty-day пересчёт роллапа отклика по эпизодам, которые двигались.
  • Два продуктовых изменения, без которых SQL не мог быть верным: purpose на notification.delivery_attempted (страница против уведомления о закрытии, смены дежурства, теста и строки в лог) и событие alert_group.silenced с reason=maintenance для группы, заглушённой при создании.

Не сделано и почему:

  • 11–13 (влияние на пользователя, разборы, DORA) — нужны incident registry, SLI-агрегаты и CI/CD-события. Придумывать их из журнала алертов нельзя, это прямо то, о чём предупреждает раздел 3.
  • oncall_intervals и analytics_checkpoints из раздела 6 — нужны исторические смены и heartbeat-события, которых продукт не публикует.
  • installation_id в конверте — как и сказано в разделе 6, до его появления каждая установка это отдельная база.
  • Полнота доставки: уведомление, не дошедшее ни до одной попытки, не представимо — событие о создании уведомления не публикуется. Сказано в описании панели, а не спрятано в знаменателе.

1. Что считать хорошей практикой ​

Метрики должны отвечать на разные вопросы ​

  • Доставляет ли платформа оповещения? Измерять попытки, результат уведомления, задержку первой успешной отправки и отсутствие получателя.
  • Как проходит реагирование? Измерять время до ACK, выполнение целей, незавершённую работу, эскалации и повторные открытия.
  • Стал ли сервис надёжнее для пользователя? Нужны SLI/SLO, подтверждённые интервалы влияния и восстановления, а не только закрытие алертов.

MTTR неоднозначен: recovery, repair и resolution обозначают разные границы. Поэтому в названиях панелей указывать конкретный интервал, а аббревиатуру использовать только с определением. Atlassian: incident metrics.

Google SRE показывает, что при редких и разнородных инцидентах тренд MTTR может сильно меняться случайно. Медиана и p95 тоже не устраняют эту проблему. Использовать распределения для исследования, сопровождать их размером выборки и разбором случаев; эффект изменения процесса оценивать по тому этапу, на который оно направлено. График MTTR сам по себе не доказывает улучшение. Google SRE: Incident Metrics in SRE.

Для качества алертинга полезны precision, recall, detection time и reset time. Но precision/recall требуют независимого знания о значимых инцидентах: одного журнала алертов недостаточно. Google SRE: Alerting on SLOs.

Для on-call оценивать частоту и распределение прерываний вместе с временем дежурства. Число отправленных сообщений не равно трудозатратам или числу пробуждений человека. Google SRE: Being On-Call.

DORA сейчас определяет пять метрик доставки ПО, в том числе failed deployment recovery time, который относится к неудачным развёртываниям. Подставлять в него время закрытия всех групп алертов нельзя. Сравнивать следует контекст одного сервиса, избегая рейтинга людей и несопоставимых команд. DORA: software delivery performance metrics.

Общие правила расчёта ​

  1. Единица response-аналитики — (alert_group_id, episode_id). Это эпизод обработки алертов, ещё не обязательно отдельный бизнес-инцидент. Один сбой может породить несколько групп; одна группа может иметь несколько эпизодов.
  2. Разделять когорты: открытые в периоде, закрытые в периоде и активные на момент T. У каждой панели явно указывать её вариант.
  3. Показывать mean, p50, p90/p95, N и число неизвестных значений. p99 имеет смысл только при достаточном объёме. Для малых N — список случаев и метка малой выборки, без зелёного/красного вывода о тренде. Порог малой выборки согласовать для конкретной метрики, а не выдавать за отраслевой стандарт.
  4. NULL — неизвестное/недостигнутое состояние, не 0. Отрицательные интервалы считать дефектом времени/атрибуции, показывать отдельно, не обнулять молча.
  5. Не усреднять готовые перцентили. Процент выполнения цели считать через сумму числителей и знаменателей, не среднее процентов разных команд.
  6. Для целей ответа учитывать и просроченные незавершённые случаи. Доля «быстрых среди ответивших» не равна доле своевременно отвеченных случаев.
  7. Зафиксировать timezone и часы: по умолчанию elapsed time 24×7 в UTC. Business-hours SLA и ночные прерывания требуют календаря и IANA timezone.
  8. Фильтры: установка, команда, интеграция, сервис, environment, severity, канал, цепочка; применять только там, где измерение действительно доступно.
  9. Цели согласовывать по severity и классу сервиса. Текущие 300 секунд для ACK и 3600 секунд для resolve — дефолты chart, не отраслевые нормативы.
  10. Разделять production, тесты, учения, maintenance, автоматические и пользовательские действия. Если классификация отсутствует, показывать unknown, а не предполагать её из факта отсутствия ACK.

2. Фактическая база nxs-anomaly ​

Поток: PostgreSQL transactional outbox → Kafka → Vector → ClickHouse. Аналитика — Enterprise. Для полного набора нужны Kafka, consumer и KAFKA_ANALYTICS_LIFECYCLE_ENABLED=true (chart: kafkaConsumer.analytics.lifecycleEvents=true). По умолчанию флаг выключен. История до его включения не содержит полного жизненного цикла.

ИсточникЧто естьОграничения
nxs_events_raw_deduplicatedv2 envelope, event_id, времена, идентификаторы и payloadЧитать вместо физической raw-таблицы для KPI; доставки at-least-once
nxs_group_episodesopened, первый ACK, первый resolve, первая успешная доставка, переоткрытие, шаги, silences, временаНет полного текущего состояния; нет service/environment/severity как готовых измерений
nxs_delivery_attemptsnotification_id, user_id, integration_id, channel, attempt/notification status, provider code, retry, duration_ms, wait_secondsНе экспонирует episode_id и team_id, хотя они есть у новых событий в raw; нет notification.created для всех запланированных уведомлений
nxs_schedule_coverageСэмплы общего состояния и проблемных расписаний, gap_count, attached, disabled, ghost_usersНет фактических интервалов дежурств и длительности будущих дыр
nxs_daily_alert_qualityДневной объём принятых событий и встреченных группЭто не число новых эпизодов; в объём входят и resolved payloads
nxs_daily_delivery_qualityПопытки по каналам и их распределенияНе итоговая успешность уникальных уведомлений
nxs_daily_response_qualityДневные перцентили и доли по командамГотовые квантили нельзя корректно объединять между командами/днями
nxs_alerts_logСтарый узкий журнал alert.ingestedНет полного lifecycle; не основа response KPI

События: alert.ingested; alert_group.opened, reopened, acknowledged, unacknowledged, silenced, resolved, escalation_step, escalation_exhausted; notification.delivery_attempted; schedule.coverage_reported.

У lifecycle есть actor_kind, иногда actor_role, причина reopen и resolution=source/operator. У ACK нет идентификатора подтвердившего человека в envelope; user_id доставки обозначает получателя. Они не взаимозаменяемы.

service, environment, cluster, host, alertname заполняются из labels у alert.ingested; у lifecycle эти колонки обычно пустые. Severity доступна в payload. Для срезов response нужна отдельная однозначная размерность эпизода: например, labels первого firing и severity открытия с отмеченным fallback. JOIN всех алертов к эпизодам размножит строки и испортит KPI.

Фактическая схема и семантика сверены по:

  • Analytics event names.
  • Event envelope и emission.
  • ClickHouse schema and views.
  • Vector mapping.
  • Прежний общий дашборд docs/grafana-analytics-dashboard.json: 23 панели данных, не считая row-разделителей. Разделён на десять дашбордов и удалён.
  • Описание pipeline.

3. Словарь метрик ​

Обозначения: o — открытие эпизода; a — первый допустимый ACK; p — первая успешная отправка paging-уведомления; r — первое закрытие; s — время начала, сообщённое источником; T — момент наблюдения. Для каждого среднего знаменатель — число валидных наблюдений именно этого интервала, рядом показывается N.

Метрика / подпись панелиФормулаДоступность и трактовка
Time to acknowledge / MTTAa − o; mean по валидным эпизодамЕсть mtta_seconds; все типы ACK вместе. Для human ACK отбирать подтверждённые actor_kind и уточнить происхождение автоматизированных клиентов
Time to close alert episoder − o; mean/p50/p95Текущее mttr_seconds. Так и подписывать; не называть восстановлением сервиса
Time to first successful pagep − oЕсть приближение time_to_page_seconds; уточнить channel, reason и исключить resolve/test/log события
Page-to-ACKa − p, только o ≤ p ≤ aПроизводная после исправления page-семантики; не доказывает прочтения сообщения
ACK-to-closer − a, только o ≤ a ≤ rПроизводная; не время активной работы инженера
Source-to-open lago − sЕсть detection_seconds; не полноценный MTTD, т.к. s не гарантирует начало пользовательского ущерба
ACK within targetЧисло своевременных ACK / число eligible эпизодов с истёкшим deadlineТребует новой логики знаменателя; см. ниже
Close within targetАналогично ACK для rЦель закрытия процесса, не availability SLO
Active backlog / ageЧисло текущих незакрытых групп; T − o текущего эпизодаНужна реконструкция текущего состояния, учёт reopen/unack/silence; одного resolved_at IS NULL недостаточно
Reopen shareЭпизоды с opened-событием reopened / все эпизоды открытия в периодеЕсть; отдельно причины new_alert и unresolved. Это не доказанная повторяемость одной первопричины
Alert grouping factorПринятые firing-события / уникальные непустые группы с firing в том же окнеSQL по raw, исключить resolved_without_group. Не называть precision или долей устранённых ложных срабатываний
Attempt success ratedelivered / (delivered + failed)Уже есть; skip показывать отдельно. Успех адаптера/провайдера, не подтверждённое прочтение человеком
Observed notification successУникальные notification_id с успешной попыткой / notification_id с известным терминальным исходомПроизводная, только наблюдаемые уведомления; очереди без попытки не представлены. Pending показывать отдельно
Retry burdenПовторные реальные вызовы / все реальные вызовыИспользовать attempt и outcome; skip не является сетевым вызовом
Provider duration / enqueue-to-attempt-finishduration_ms; occurred_at − notification_created_atВторое включает ожидание, retry/backoff и длительность вызова, это не чистая очередь
Escalation exhaustion shareЭпизоды с exhausted / открытые эпизоды когортыЕсть; учитывать зрелость когорты. Не доказывает, что был достигнут хотя бы один получатель
Paging loadУникальные (user_id, group_id, episode_id) с успешной paging-отправкойПроизводная по raw; число потенциальных прерываний, не реальных пробуждений
Forecast coverage degradationДоля/число расписаний с обнаруженными будущими gaps на проверкеЕсть samples; не процент покрытых on-call часов
Pipeline processing lagingested_at − occurred_atПриближение до Vector transform; ingested_at задаётся до фактического INSERT и может меняться при replay

Для response-целей предлагается когорта с завершённым окном ожидания:

text
eligible = эпизоды, для которых политика требует ACK
matured  = eligible из выбранной когорты открытия, где o + target <= T
on_time  = matured, у которых o <= a <= o + target
attainment = count(on_time) / count(matured)

Эпизоды без ACK после deadline — нарушение, а ещё не достигшие deadline — pending, не успех и не нарушение. ACK позже T не использовать при историческом срезе. Закрытие источником до ACK показывать отдельным исходом; исключать такие случаи можно только по заранее определённой политике, не постфактум для улучшения процента. Аналогичное правило для close target. Дефицит истории обозначать unknown/incomplete, а не автоматически признавать нарушением команды.

Метрики, которым нужны новые факты:

МетрикаЧего не хватает
Настоящий MTTDimpact_started_at, detected_at и независимый реестр значимых инцидентов
Time to mitigate / MTTMВерифицированное mitigated_at и определение момента начала
Time to restore service / MTTR recoveryservice_restored_at, impact_started_at и связь с бизнес-инцидентом
Availability, error budget, burn rateЧисла good/total SLI events или интервалы фактической недоступности; корреляция алертов не заменяет SLI
MTBFНезависимые подтверждённые отказы и operational exposure time. Интервал между алертами — другая метрика
Alert precision / recallРазметка actionable/false_positive и инциденты, которые алертинг пропустил
Pages per on-call hour, coverage %Исторические интервалы смен/overrides и требования покрытия
Time to engage конкретного ответственного, handoffsactor_id, assignment/ownership history, notification/step correlation
Postmortem и remediation qualityincident_id, сроки и статусы action items, причины и повторяемость
DORAИстория deployment/commit, признак failed deployment, recovery и связи incident↔deployment

MTTF не включать в основной incident-response набор: он больше подходит для невосстанавливаемых компонентов, а не процесса обработки алертов.

4. Каталог дашбордов ​

P0 — первая очередь; P1 — углублённая эксплуатационная аналитика; P2 — новые источники/события. «Текущий поток» означает достаточность типов событий, но не обещание корректности нынешних вью без исправлений раздела 5.

01. Response overview — обзор реагирования · P0 ​

Для кого / решение: руководитель SRE или service owner; выбрать проблемные сервисы и этапы для дальнейшего разбора, не ранжировать сотрудников.

Панели: открытия эпизодов по severity; ACK и close attainment с N и pending; mean/p50/p95 time-to-ACK и time-to-close; reopen share; exhausted episodes; исходы source/operator; ссылка на возраст текущего backlog; баннер свежести.

Визуализация: stat + sparkline, недельный тренд, таблица сервисов с N, распределение исходов. Источник: episodes + нормализованные dimensions и outcome из raw. Окно: 7/30/90 дней, когорта открытия. Drill-down: 02, 03, 06, 09. Готовность: текущий поток + новая семантика.

02. Response latency and objectives — скорость и цели · P0 ​

Решение: где задерживается ответ: до отправки, после отправки или после ACK.

Панели: time-to-page, MTTA, page-to-ACK, ACK-to-close, time-to-close; распределения длительности и таблица самых долгих случаев; source-to-open lag с долей валидных s; matured/on-time/late/pending/unknown; цели по severity; раздельные ACK actor kinds и source/operator close.

Визуализация: histogram/heatmap, time series, таблица нарушений. Источник: episodes + delivery raw + episode dimensions. Фильтры: команда, сервис, severity, интеграция, цель и тип завершения. Не складывать p95 отдельных этапов в общий p95: интервалы объединяются на уровне эпизода, и не каждый эпизод проходит их в таком порядке. Готовность: текущий поток + исправление target denominator/page.

03. Active backlog and aging — незавершённая работа · P1 ​

Решение: какие группы требуют внимания сейчас или требовали его на момент T.

Панели: open/acknowledged/silenced; возраст oldest и возрастные корзины; просроченные ACK; exhausted и всё ещё open; события unacknowledged; переоткрытые текущие эпизоды; список групп без ожидаемой доставки.

Визуализация: stat, bar по возрасту, таблица с переходом к группе. Источник: реконструированное состояние группы из raw и текущий эпизод. Читать открытия до начала диапазона: выборка только opened за последние 24 часа пропустит старый backlog. Отдельно показать недостаточную глубину истории. ClickHouse eventual consistency: для оперативного действия сверять текущий UI/API. Готовность: текущий поток, но неполные события maintenance/окончания silence требуют snapshot/reconciliation для точного текущего состояния.

04. Alert volume and signal quality — объём и шум · P1 ​

Решение: какие правила и интеграции создают лишние события и страницы.

Панели: firing/resolved отдельно; новые эпизоды отдельно от встреченных групп; alerts-per-group; top alertname/service; bursts по минутам; reopened по причинам; source-resolved без ACK; доля групп без ключевых labels; потенциальная повторяемость по стабильному rule/service fingerprint.

Визуализация: stacked time series, Pareto/top-N, heatmap часы × дни. Источник: raw alert.ingested + episode facts, агрегация по времени события. Source-resolved без ACK и частый reopen — кандидаты для разбора, не false positive. Готовность: текущий поток. Precision/recall/actionability — расширение после введения разметки и incident registry.

05. Notification delivery — надёжность каналов · P0 ​

Решение: какой канал или транспорт мешает довести оповещение.

Панели: delivered/failed/skipped attempts; attempt success rate; терминальные исходы уникальных notification_id и pending; retry burden; p50/p95/p99 provider duration; enqueue-to-attempt-finish; time-to-first-success; классы отказов по каналам; notification_status после ошибки; отсутствие успешной отправки до deadline на уровне эпизода.

Визуализация: stat, распределения, таблица канал × outcome, тренд retry. Источник: delivery view + raw с episode/team. Окно: 1 час/24 часа/7 дней. Skip, log, lifecycle сообщения о закрытии и реальные paging-сообщения разделять. Полный delivery completeness требует notification.created и terminal events для уведомлений, которые ни разу не дошли до попытки. Готовность: текущий поток для попыток; полнота доставки — частичная.

06. Routing and escalation — маршруты и эскалации · P1 ​

Решение: какие цепочки затягивают ответ или заканчиваются без результата.

Панели: executed steps по kind; WAIT и notification steps отдельно; repeat_count; exhausted share и количество; шаги до первого ACK; длительность между шагами; цепочки с большим fan-out; успешные отправки и ACK на фоне шагов.

Визуализация: bar по цепочкам, таблица route/chain, timeline одного эпизода. Источник: raw escalation_step/exhausted + episodes + delivery. step — индекс шага, включая WAIT/REPEAT, а не количество людей/уровней поддержки. Для точной конверсии «конкретный шаг → конкретный получатель → ACK» нужны step_execution_id и связь notification/ACK с ним; близость во времени её не доказывает. Готовность: текущий поток для поведения цепочки, расширение для точной атрибуции.

07. On-call load — нагрузка дежурных · P1 ​

Решение: уменьшать частоту прерываний и выравнивать нагрузку.

Панели: уникальные paged episodes на получателя; число paging-сообщений на эпизод; число затронутых получателей; распределение по часам/дням недели; серии частых страниц; доля ночных/выходных отправок после задания календаря.

Визуализация: heatmap, распределение нагрузки, тренд команды. Источник: delivery raw с (user_id, group_id, episode_id). ID могут быть псевдонимизированы; применять согласованное отображение и доступ. Точная нормировка «на час дежурства» требует исторических смен; без неё не делать выводы о справедливости распределения. Ночь определяется timezone получателя, а не часовым поясом ClickHouse. Не выдавать получателя за автора ACK. Готовность: текущий поток для proxy-нагрузки; нормировка — новый источник.

08. Schedule coverage — готовность расписаний · P1 ​

Решение: устранить известные будущие дыры до очередного инцидента.

Панели: последнее schedules_total/degraded/degraded_attached; проблемные schedule_id и gap_count; disabled/ghost_users; возраст последней проверки; длительность наблюдаемого degraded-состояния; доля проверок с деградацией с пометкой sample-based.

Визуализация: stat, state timeline, список расписаний. Источник: schedule.coverage_reported / coverage view. Общие счётчики повторяются после ARRAY JOIN: брать их один раз на исходный report, не суммировать по schedule rows. Не интерпретировать gap_count как gap minutes. Пропуск сэмпла — unknown; не протягивать последнее состояние бесконечно. Готовность: текущий поток; фактическая доля покрытых часов требует интервалов.

09. Episode explorer — разбор отдельного случая · P1 ​

Решение: объяснить конкретную задержку и проверить агрегат по первичным событиям.

Панели: карточка episode/group/integration; observed lifecycle; шаги эскалации; попытки доставки с outcome и duration; ACK/resolution kind; связанные алерты; предыдущие/следующие эпизоды; occurred/published/ingested; признаки неполноты/неоднозначного порядка.

Визуализация: state timeline и таблица событий с миллисекундами. Источник: deduplicated raw, фильтр точного group/episode, ограниченный LIMIT. Ссылку на UI группы формировать через конфигурируемый base URL после проверки актуального маршрута frontend. Не отображать raw payload целиком по умолчанию: legacy alert labels/title не проходят тот же redaction, что lifecycle data. Готовность: текущий поток; ACK author name в данных отсутствует.

10. Analytics data quality — доверие к аналитике · P0, внедрить первым ​

Решение: можно ли интерпретировать остальные панели.

Панели: последнее поступившее событие по типу; время последнего coverage sample; event-to-Vector lag по ingested_at; late arrival по дню occurred; полнота lifecycle с момента включения; отсутствующие opening/episode/team/service; отрицательные интервалы; ACK/resolve без opening; superseded episodes; raw rows и уникальные event_id в диагностическом окне; rollup rebuilt_at.

Визуализация: статусы, lag histogram, time series, таблица дефектов. Источник: raw/semantic views/rollups. Физический duplicate ratio до merge — моментный диагностический показатель, не устойчивый исторический KPI replay. Отсутствие новых алертов может быть нормой: нужен ожидаемый heartbeat, а не только now − max(occurred_at). Lag завершённых событий не обнаруживает застрявшие ещё до ClickHouse. Kafka lag, outbox backlog и Vector rejected/errors сейчас относятся к Prometheus-операционному дашборду; для строго ClickHouse-only версии нужны отдельные heartbeat/checkpoint/health events или экспорт этих метрик в ClickHouse. Готовность: частичная на текущем потоке; полноценная end-to-end полнота — расширение.

11. Service impact and recovery — пользовательское влияние · P2 ​

Решение: какой ущерб произошёл и когда реально восстановился сервис.

Панели: подтверждённые incidents и severity; time-to-detect/mitigate/restore; affected users/requests; user-impact minutes; availability SLI; error budget; перекрывающиеся интервалы ущерба и соответствующие эпизоды nxs-anomaly.

Источник: новый incident/impact feed + SLI агрегаты в ClickHouse. При расчёте downtime объединять пересекающиеся интервалы по сервису; не суммировать длительность всех алертов. Customer-minutes требуют временного числа затронутых пользователей, а не разового значения, умноженного на весь инцидент. Визуализация: SLI trend, impact timeline, таблица incident↔episodes.

12. Incident learning — разборы и предотвращение повторений · P2 ​

Решение: устраняются ли выявленные причины и выполнены ли договорённости.

Панели: доля eligible incidents с postmortem; time-to-review; action items open/overdue/completed; доля выполнения в срок; подтверждённые recurring incidents; причины и contributing factors.

Источник: incident registry + issue tracker/postmortem feed в ClickHouse. Хранить history due date/status, иначе перенос срока улучшит KPI задним числом. Визуализация: aging table, тренд выполнения, Pareto причин. Не приравнивать автоматическое reopened к повторению первопричины.

13. Deployment reliability / DORA · P2 ​

Решение: как изменения ПО связаны с отказами и восстановлением.

Панели: deployment frequency, change lead time, failed deployment recovery time, change fail rate, deployment rework rate; связь incident↔deployment; доля записей без подтверждённой связи.

Источник: CI/CD и VCS events + подтверждённые связи с incident registry, загруженные в ClickHouse. Контекст — сервис, production environment и rollout. Визуализация: пять трендов, таблица failed deploy → recovery. Не считать любую близость алерта к deployment доказательством причинности; не рассчитывать change fail rate без знаменателя всех production deployments.

5. Что исправить в текущей аналитике до внедрения ​

Ниже — выводы по коду/SQL, не обнаруженные на production значения.

НаблюдениеПочему влияет на выводПредлагаемое изменение
Панели 7, 8, 20, 22 используют avg(p95_...); панель 8 также avg(...within_target)Среднее командных p95 не равно общему p95, малые команды получают тот же вес, что большиеСчитать по эпизодам или хранить mergeable quantile states после дедупликации; доли через sums counts
В daily response знаменатель target содержит только ответившие/закрытыеНеответившие после deadline исчезают из долиMatured eligible cohort, late/pending/unknown отдельно
mttr_seconds = resolved − opened, а detection_seconds = opened − source_startedЗакрытие группы не доказывает recovery; source time не доказывает impact startПереименовать подписи, добавить настоящий incident timeline позднее
first_delivered_at берёт любую delivered attemptНе отличает paging от log или уведомления о закрытии; успех провайдера не означает контакт с человекомНормализовать notification purpose, фильтровать каналы/причины и границы эпизода
Backlog-панель фильтрует opened_at диапазоном и проверяет resolved_at IS NULLПропускает старую работу; старый эпизод при reopen после ACK может навсегда остаться без resolveLatest group state + текущий episode; предыдущий помечать superseded, не unresolved навсегда
Первое acknowledged_at остаётся после unacknowledgedНаличие первого ACK не означает, что группа сейчас подтвержденаДля состояния — последняя релевантная операция; для MTTA — первый ACK
Reopened старого эпизода не даёт ему отдельного terminal eventCompleted-only response и backlog будут иметь разные и иногда неверные знаменателиДобавить episode.superseded либо выводить supersession из следующего открытия, сохраняя outcome отдельно от resolved
Source resolve и operator resolve объединеныАвтоматическое закрытие может выглядеть как быстрый человеческий ответЭкспонировать resolution и actor_kind в episode fact
Team filter применяется не ко всем панелям текущего JSONВыбранная команда выглядит как глобальная статистика доставки/нагрузкиСквозной team join через episode/raw либо явная пометка глобальной панели
Delivery view теряет team_id/episode_id; workload считает uniq group_idПовторные эпизоды и повторные обращения к человеку склеиваютсяЭкспонировать snapshot IDs, считать согласованную единицу paging load
Многотопиковый producer возможен, consumer читает один topic из chartГрупповые события интеграции могут не попасть вместе с delivery в выборкуЯвно покрыть все используемые topics, проверить корреляцию по ID и полноту
Старые события без episode_id атрибутируются anyLast по occurred_at,event_idСовпавшие timestamps и отсутствие sequence дают неоднозначность; поздняя доставка со старым episode может повлиять на последующий fallbackПредпочитать явный episode; unresolved legacy attribution отмечать. Для будущего добавить монотонный entity sequence
service/environment/severity не входят в episode viewНепосредственный фильтр lifecycle по пустым labels потеряет событияОднозначный episode dimension snapshot с quality flag
raw TTL и rebuildDays=3Старый эпизод может закрыться позже трёх дней: его opening-day rollup не пересчитается даже без Kafka backlogDirty-day rebuild по затронутым эпизодам + retention полной episode fact; не ограничиваться размером lateness окна
published_at задан при создании outbox, ingested_at — в Vector transformЭто не фактические Kafka publish/ClickHouse commit временаЧестные подписи; отдельные broker/checkpoint/commit timestamps для детального pipeline SLI

Иллюстрация агрегации: у команды A один ответ за 1000 секунд, у B 99 ответов по 1 секунде. Среднее их p95 — 500,5 секунды, а p95 объединённых 100 наблюдений по nearest-rank — 1 секунда. Для 1/1 успешного случая A и 0/99 у B среднее процентов — 50%, реальная объединённая доля — 1%.

Maintenance на создании группы применяется через silenceForMaintenance после opened без отдельного emitGroupEvent(...silenced...) в этом участке. Поэтому по одному silenced-event нельзя надёжно исключить все maintenance-эпизоды. Нужны явные suppression metadata и, при необходимости, state snapshots.

6. Подготовка данных и Grafana ​

Предлагаемые новые витрины — это дизайн, сейчас они не созданы:

ВитринаGrain / назначение
episode_factУстановка × группа × эпизод; стадии, outcome, next_episode_at, completeness, snapshot dimensions, policy version
group_state_asofСостояние группы на T; отдельно latest operational view
notification_factУстановка × notification_id; purpose, episode, team, user, created_at, first_success, terminal outcome, попытки
response_objectivesService/severity/valid_from/valid_to; ACK/close targets, eligible criteria, календарь
oncall_intervalsИсторические user/team/schedule shifts и overrides для нормировки
analytics_checkpointsУстановка/topic/partition, health heartbeat, checkpoint и watermark

Не считать multi-installation поддержанной автоматически: текущий envelope не содержит installation_id. До его добавления использовать отдельную базу/источник для каждой установки. Для объединённой аналитики добавить installation_id во все ключи и измерения, а не полагаться на вероятность уникальности ID.

ClickHouse ReplacingMergeTree удаляет дубли при фоновых merge; чтение физической таблицы не гарантирует отсутствие дублей. Использовать текущую FINAL-вью или эквивалентную явную дедупликацию. Инкрементальные агрегаты поверх сырого at-least-once потока могут навсегда учесть повторы. ClickHouse: ReplacingMergeTree.

При построении episode fact сначала восстановить необходимые переходы, затем фильтровать когорту. Если отфильтровать raw по opened-диапазону раньше сборки, ACK/resolve за его пределами исчезнут. Для historical-as-of исключать события occurred после T; отдельно определить, показываем ли знание на тот момент или пересчитанную историю с поздно пришедшими событиями.

Для Grafana использовать официальный ClickHouse datasource, временные макросы для DateTime64 и представления time series с time-колонкой. Фильтры строк интерполировать с SQL quoting, перечисления — согласованно с multi-select/All. Grafana: ClickHouse query editor.

Практические настройки: папка nxs-anomaly / Incident analytics, единые variables, единицы seconds/percent/count, пояснение числителя/знаменателя в description, переход overview → filtered detail → episode explorer, refresh соразмерно lag. No data и incomplete не красить зелёным; не соединять пропуски в сплошную линию. Пользователь ClickHouse для Grafana — только чтение и ограниченное время запросов; team variable не является механизмом авторизации. Права на строки/вью настраиваются отдельно от фильтра дашборда.

7. Порядок внедрения и критерии готовности ​

  1. Контракт метрик и фактов. Утвердить grain, термин close/recovery, eligible, source/operator, deadlines, superseded, типы уведомлений и timezone.
  2. Качество данных (10). Проверить включение lifecycle, все topics, историю, dedup, границы retention, отрицательные времена и полноту opening событий.
  3. Первый пакет (01, 02, 05). Реализовать обзор, response и delivery поверх проверенных фактов. Сравнить выборку случаев с PostgreSQL/UI.
  4. Диагностика (03, 04, 06–09). Backlog, шум, эскалации, нагрузка, расписания, event explorer. Не добавлять отсутствующие измерения фиктивными значениями.
  5. Влияние и улучшения (11–13). Подключить incident/SLI, issue tracker и CI/CD как отдельные проекты интеграции; после этого вводить recovery и DORA.

Перед признанием dashboard KPI достоверным проверить сценарии:

  • повтор одного event_id не меняет показатели;
  • 1/1 и 0/99 агрегируются в 1%, а не 50%; общий p95 считается из выборки;
  • unanswered после deadline — нарушение, до deadline — pending;
  • source close без ACK не превращается в человеческий ACK;
  • ACK→unack и ACK→reopen дают правильное текущее состояние;
  • старый superseded эпизод не создаёт вечный backlog;
  • событие resolve позже окна обновляет правильную opening-когорту;
  • поздний resolve старше rebuildDays пересчитывает старый response rollup;
  • pipeline outage показывает неполноту, а не «инцидентов нет»;
  • resolved/log/skip уведомления не улучшают time-to-first-page;
  • применённый team/service фильтр действует на все соответствующие панели;
  • no source time / неизвестная timezone / нет знаменателя отображаются явно.

Это критерии будущей реализации. Текущий JSON, schema и продуктовый код в рамках этого исследования не изменялись.

Скачать дашборды ​

nxs-anomaly · Documentation