Skip to content

Обработка алерта: разбор, обогащение, шаблоны, удаление данных ​

Что происходит с алертом от момента, когда его приняли на webhook, до текста, который читает разбуженный человек, — и где на этом пути данные добавляются, а где удаляются.

Это справочник по одному сквозному пути. Как создать интеграцию, маршрут и цепочку — в CONFIGURATION.md; что представляет собой каждая сущность — в DOMAIN_MODEL.md; какие данные где лежат и сколько живут — в DATA_INVENTORY.md.

1. Порядок стадий ​

HTTP request to /integrations/v1/<source>/{key}
        │
        ▼
1. Source parsing     normalize*Alert() — bring the source format to a common shape
        │
        ▼
2. Route selection    selectRoute() — on the labels of the ORIGINAL alert
        │
        ▼
3. Pipeline           extract / set / rename / remove / gsub / truncate / drop
        │             (enrichment and removal; drop ends processing)
        ▼
4. Field normalisation   title, severity, status, dedupe_key
        │
        ▼
5. Grouping           find the active AlertGroup by (integration_id, dedupe_key)
        │
        ▼
6. Escalation and delivery   render the notification template for the channel

Порядок стадий 2 и 3 неслучаен и разобран в §4: маршрут выбирается до пайплайна, всё остальное видит уже обогащённый алерт.

Реализация: internal/engine/ingest.go, ingest_sources.go, routing.go, pipeline.go, notifications.go, engine_helpers.go.

2. Разбор: приведение источника к общему виду ​

Каждый эндпоинт приёма имеет свой нормализатор, который переводит формат источника в единый внутренний алерт. Дальше по конвейеру источник уже неотличим: пайплайн, маршрут, группировка и шаблоны работают с одними и теми же полями.

ЭндпоинтНормализаторЗначение source
POST /integrations/v1/webhook/{key}нет (формат уже целевой)webhook или source_type интеграции
POST /integrations/v1/alertmanager/{key}normalizeAlertmanagerAlertalertmanager
POST /integrations/v1/pagerduty/{key}normalizePagerDutyAlertpagerduty
POST /integrations/v1/victorops/{key}normalizeVictorOpsAlertvictorops
POST /integrations/v1/grafana-alerting/{key}normalizeGrafanaAlertingAlertgrafana_alerting
POST /integrations/v1/opensearch/{key}normalizeOpenSearchAlertopensearch
POST /integrations/v1/elasticsearch/{key}normalizeElasticsearchAlertelasticsearch
POST /v2/alert/poolIngestLegacyPoolnxs-alert-compat

2.1. Общий вид алерта после разбора ​

Поля, которые понимает всё, что ниже по потоку:

ПолеСмыслЕсли не пришло
titleзаголовокtitle → labels.alertname → labels.summary → Incoming alert
messageтелопусто
statusfiring / resolvedstatus → labels.status → firing
severityважность: critical / error / warning / info / debug / unknownseverity → labels.severity → unknown; синонимы (crit, P1, high, warn, sev3, …) приводятся к своему уровню, любое другое слово — к unknown, а написание источника сохраняется в метке severity_raw
labelsплоская карта string → string{}
annotationsплоская карта, в маршрутизации не участвует{}
dedupe_keyключ группировкивычисляется, см. §3
fingerprintотпечаток источникапусто
starts_at, ends_atвремя по версии источникаnull
generator_urlссылка в источникnull
notification_channelsсписок каналов только для этого алертане задаётся
emergency_alertаварийный алерт; включается и лейблом emergency=truefalse
payloadисходное тело запроса целиком—

status из множества resolved-значений закрывает группу: приходит событие восстановления, группа резолвится системным актором, а все её алерты переводятся в resolved. Событие восстановления без открытой группы возвращает result: resolved_without_group — это не ошибка.

2.2. Alertmanager (v4) ​

Конверт разбирается по алертам: каждый элемент alerts[] становится отдельным алертом, но все они принимаются одной транзакцией под одной advisory-блокировкой интеграции. Невалидный конверт не принимается целиком.

Внутреннее полеОткуда
titleannotations.summary → annotations.description → labels.alertname → receiver
messageannotations.description → annotations.message → title
statusalert.status → envelope.status → labels.status → firing
severitylabels.severity → unknown
dedupe_keyfingerprint, а если отправитель его не передал — отпечаток набора меток алерта → groupKey → alertmanager_group:<groupLabels>
starts_at / ends_at / generator_urlstartsAt / endsAt / generatorURL

Конверт целиком (receiver, groupLabels, commonLabels, commonAnnotations, externalURL, truncatedAlerts) сохраняется в payload.alertmanager.

2.3. PagerDuty Events v2 ​

Внутреннее полеОткуда
title / messagepayload.summary → client
statusresolved, если event_action = resolve, иначе firing
severitypayload.severity (critical, error, warning, info) → warning
labelspayload.custom_details целиком + component, group, class; payload.source → лейбл host
dedupe_key, fingerprintdedup_key; trigger без него получает сгенерированный ключ, он возвращается в ответе для последующего resolve. Для acknowledge и resolve ключ обязателен (иначе 400)

2.4. VictorOps / Splunk On-Call ​

Внутреннее полеОткуда
titleentity_display_name → entity_id
messagestate_message
statusresolved, если message_type = RECOVERY
severityCRITICAL/PROBLEM → critical, WARNING → warning, INFO → info, остальное → warning
labelshost_name → host, monitoring_tool, service, плюс все остальные строковые поля тела кроме служебных
dedupe_key, fingerprintentity_id
starts_atstate_start_time (Unix-секунды) → ISO

message_type: ACKNOWLEDGEMENT обрабатывается отдельно и алерта не создаёт.

2.5. Grafana Alerting (webhook v2) ​

Как Alertmanager, с двумя отличиями: status становится resolved также при envelope.state = ok, а title дополнительно смотрит в envelope.title. Специфика Grafana (ruleUrl, dashboardURL, panelURL, silenceURL, values, valueString, orgId) сохраняется в payload.grafana_alerting.

2.6. OpenSearch Alerting ​

У плагина Alerting нет своего формата вебхука: канал уведомления отправляет тот Mustache-шаблон, который сохранён на триггере, а шаблон по умолчанию — простой текст, не JSON. Поэтому формат ниже — наш, и его нужно вставить в поле сообщения канала. Тело не-JSON отклоняется с 400.

json
{
  "status": "firing",
  "monitor": { "id": "{{ctx.monitor._id}}", "name": "{{ctx.monitor.name}}" },
  "trigger": { "id": "{{ctx.trigger._id}}", "name": "{{ctx.trigger.name}}",
               "severity": "{{ctx.trigger.severity}}" },
  "period_start": "{{ctx.periodStart}}",
  "period_end": "{{ctx.periodEnd}}",
  "hits": "{{ctx.results.0.hits.total.value}}",
  "error": "{{ctx.error}}",
  "url": "https://opensearch.example.com/app/alerting#/monitors/{{ctx.monitor._id}}"
}

Скобки двойные, а не тройные: {{ }} экранирует по правилам HTML, и кавычка в имени монитора превратится в &quot; — JSON останется валидным. {{{ }}} подставит кавычку как есть и порвёт тело.

Внутреннее полеОткуда
titletrigger.name → monitor.name → OpenSearch alert; при bucket-мониторе к нему добавляется (bucket_keys)
messageerror, иначе title и число попаданий
statusresolved при COMPLETED (и при resolved/ok/closed), иначе firing
severitytrigger.severity 1…5 → critical, error, warning, info, debug
labelsнепустые monitor, trigger, hits, bucket_keys
starts_at, ends_atperiod_start, period_end
dedupe_keymonitor.id + trigger.id (+ bucket_keys), пустые части выбрасываются; вместо незаполненного id берётся имя
generator_urlurl

Шкала severity у плагина инвертирована (1 — самая высокая) и содержит ровно те же пять уровней, по которым сортируется очередь дежурного, — перевод взаимно однозначный.

Закрытие группы. Плагин шлёт восстановление отдельным действием: на том же триггере заведите вторую action с action_execution_policy.actionable_alerts: [COMPLETED] и тем же шаблоном, где "status": "resolved".

Bucket-level мониторы. Один триггер срабатывает сразу по нескольким бакетам. Добавьте в шаблон массив alerts, и конверт разберётся как у Alertmanager — N алертов в одной транзакции под одним advisory-локом интеграции:

json
{
  "monitor": { "id": "{{ctx.monitor._id}}", "name": "{{ctx.monitor.name}}" },
  "trigger": { "id": "{{ctx.trigger._id}}", "severity": "{{ctx.trigger.severity}}" },
  "alerts": [ {{#ctx.newAlerts}} { "bucket_keys": "{{bucket_keys}}" }, {{/ctx.newAlerts}} ]
}

Пустой alerts: [] — ошибка 400: конверт без алертов означает сломанный шаблон, а не событие, которое нечего обрабатывать.

2.7. Kibana Rules и Elasticsearch Watcher ​

Оба продукта тоже шаблонизируются оператором, поэтому у них один эндпоинт и один нормализатор; различаются они тем, чем называют алерт — правилом и его инстансом или watch'ем.

Webhook connector в Kibana:

json
{
  "status": "{{alert.actionGroup}}",
  "severity": "critical",
  "rule": { "id": "{{rule.id}}", "name": "{{rule.name}}" },
  "alert": { "id": "{{alert.id}}" },
  "message": "{{context.message}}",
  "url": "{{context.viewInAppUrl}}",
  "date": "{{date}}"
}

Action webhook в Watcher:

json
{
  "watch_id": "{{ctx.watch_id}}",
  "execution_time": "{{ctx.execution_time}}",
  "hits": "{{ctx.payload.hits.total}}",
  "metadata": { "severity": "warning", "team": "db" }
}
Внутреннее полеОткуда
titlerule.name → watch_id → message → Elasticsearch alert
statusresolved при alert.actionGroup = recovered (и при resolved/ok/closed), иначе firing
severityseverity из шаблона → metadata.severity → warning
labelsвсё из metadata плюс непустые rule, watch, hits
starts_atdate → execution_time
dedupe_keyrule.id (или rule.name, или watch_id) + alert.id
generator_urlurl

Группу закрывает действие в группе recovered — заведите его на том же правиле с тем же шаблоном. Ключ дедупликации при этом обязан совпасть с тем, что открыл группу, поэтому rule.id и alert.id в шаблоне восстановления не пропускайте.

Своего понятия severity нет ни у Kibana Rules, ни у Watcher, поэтому в шаблоне она задаётся литералом. Значение по умолчанию — warning, а не unknown: unknown имеет ранг ниже любого известного уровня и утопил бы такие алерты в самый низ очереди дежурного.

2.8. Legacy-пул NXS (/v2/alert/pool) ​

Совместимость с nxs-alert. Обязательны triggerMessage и monitoringURL. title — первая строка triggerMessage, обрезанная до 160 рун. Severity — critical при isEmergencyAlert: true, иначе warning. alertChannel разбирается в список каналов; если в нём нет ни telegram, ни call, добавляются оба, и всегда добавляется email.

3. Ключ дедупликации ​

Группировка идёт по паре (integration_id, dedupe_key) среди нерезолвленных групп. Ключ берётся из первого доступного:

  1. dedupe_key, если его прислал источник (или подставил нормализатор: fingerprint, dedup_key, entity_id, groupKey);
  2. иначе — по полю интеграции group_by: k1=v1|k2=v2 из перечисленных лейблов, которые фактически есть на алерте;
  3. иначе — title=<заголовок>.

Отсюда практическое следствие: пайплайн влияет на группировку. Вырезанный из заголовка build id склеивает ночную серию падений в один инцидент; добавленный лейбл, попавший в group_by, наоборот разносит алерты по разным группам.

3.1. Повторный firing уже открытой группы ​

Один и тот же алерт источник обычно шлёт повторно, пока проблема жива: Alertmanager — каждые repeat_interval, остальные — со своим периодом. Такой повторный firing попадает в ту же группу и делает ровно три вещи: сохраняется отдельной строкой в alerts, увеличивает alert_count и обновляет last_received_at, severity, title и лейблы группы.

Чего он не делает:

  • не двигает эскалацию. Позиция в цепочке — это обещание про время: WAIT 10 минут означает, что следующий шаг выполнится через десять минут, а не в тот момент, когда источник повторил алерт. Таймер (next_run_at) принадлежит worker, и повторный приём его не расходует и не перезапускает;
  • не снимает подтверждение. ACK — это дежурный сказал «я знаю, не буди меня». Источник, повторяющий тот же алерт, не отменяет это решение, иначе подтверждённая группа звонила бы человеку на каждом повторе.

Эскалация запускается заново только когда алерт открывает группу — новую или ту, что вернулась в open.

Политика возврата подтверждённой группы.NXS_ANOMALY_REOPEN_ACKED_ON_NEW_ALERT=true включает противоположное поведение: любой новый алерт на подтверждённой группе возвращает её в open, начинает новый эпизод и проходит цепочку с нулевого шага (не с той позиции, на которой её остановил ACK). По умолчанию политика выключена. Включать её осмысленно там, где источник шлёт firing только по факту нового события, а не по таймеру повторов, — иначе она превращается в постоянный подъём дежурного.

Отдельный инцидент после закрытия — это другой случай и он работает всегда: резолвленная группа в поиск по (integration_id, dedupe_key) не попадает, и следующий firing открывает новую группу.

4. Пайплайн: обогащение и удаление данных ​

Поле pipeline интеграции — список этапов, который переписывает алерт после выбора маршрута и до всего остального.

4.1. Почему маршрут выше пайплайна ​

Обогащение правят часто и разные люди: лейбл team для дашборда, namespace, вытащенный из заголовка. Если бы это влияло на выбор маршрута, каждая такая правка меняла бы то, кого поднимут ночью, руками человека, который про эскалацию не думал. Поэтому маршрут следует из алерта в том виде, в каком его прислал источник, и чтение маршрутов интеграции даёт полную картину, куда уходят её алерты.

Всё ниже по потоку видит уже обогащённый алерт: ключ дедупликации и, значит, группировка; сохранённый алерт и его лейблы; текст уведомления и UI.

Единственное, чего порядок не позволяет: правилом перенаправить алерт на другую цепочку эскалации. В этом и смысл.

4.2. Этапы ​

Каждый этап — одно действие и необязательное условие if. Два действия в одном этапе отклоняются при сохранении интеграции: порядок между ними не был бы виден в конфиге, а порядок здесь и есть вся семантика.

ДействиеФормаЧто делает
extract{"from": "<поле>", "pattern": "…(?P<имя>…)"}вытаскивает именованные группы регулярки в лейблы
set{"<лейбл>": "<значение>", …}добавляет или перезаписывает лейблы
rename{"<старое>": "<новое>", …}переименовывает лейбл
remove["<лейбл>", …]удаляет лейблы
gsub{"field": "<поле>", "pattern": "…", "replace": "…"}переписывает поле регуляркой
truncate{"field": "<поле>", "max": N}ограничивает длину поля (N — байты, рез на границе руны)
droptrueотбрасывает алерт целиком

Адресуемые поля: title, message, severity и label:<имя>. Больше ничего: этап не дотягивается до сырого payload и не может создать структуру, которой остальной приём не ожидает.

Условие if — ровно одна проверка: equals, matches или exists.

json
{
  "pipeline": [
    { "extract": { "from": "title", "pattern": "pod (?P<pod>\\S+) in (?P<namespace>\\S+)" } },
    { "if": { "field": "label:namespace", "matches": "^pay" }, "set": { "team": "payments" } },
    { "remove": ["__name__", "prometheus_replica", "customer_email"] },
    { "gsub": { "field": "title", "pattern": "\\s+run-[0-9a-f]+$", "replace": "" } },
    { "truncate": { "field": "message", "max": 2000 } },
    { "if": { "field": "label:severity", "equals": "info" }, "drop": true }
  ]
}

4.3. Правила, которые стоит знать заранее ​

  • extract не перезаписывает то, что прислал источник. Он добавляет контекст; чтобы именно заменить лейбл, поставьте после него set — так замена читается как замена.
  • drop без if отклоняется. Безусловный сброс молча выключает интеграцию: она продолжает отвечать 202, но не будит никого. Сброшенный алерт возвращает result: dropped_by_pipeline — это 202, а не ошибка: отправитель доставил алерт, получатель по конфигу решил не действовать.
  • Ошибка этапа не роняет алерт. Этап пропускается, в лог идёт alert_pipeline_stage_skipped с номером этапа. Недоставленный алерт хуже необогащённого: первое — пропущенный инцидент, второе — косметика.
  • Пустое значение не затирает поле. Обратно в алерт title, message и severity пишутся, только если пайплайн оставил их непустыми.
  • Некорректное правило отклоняется при сохранении интеграции (400), а не при первом боевом алерте.
  • Лимиты: до 32 этапов, регулярка до 512 символов, поле длиннее 16 КБ не обрабатывается (этап пропускается), до 32 именованных групп в одном extract. Регулярки Go — это RE2, катастрофического бэктрекинга нет, поэтому лимиты про латентность на горячем пути приёма, а не про ReDoS.
  • Кэш компиляции. Скомпилированный пайплайн кэшируется по отпечатку самого определения, поэтому правка применяется без рестарта, а неизменённая интеграция стоит одного поиска в карте на алерт.

4.4. Проверка правила до боевого алерта ​

POST /api/v1/routes/debug/{key} прогоняет пайплайн так же, как приём, и возвращает блок pipeline:

Поле ответаЧто показывает
labels_before / labels_afterлейблы до и после пайплайна
labels_addedчего не было у источника
labels_changed{"<лейбл>": {"from": …, "to": …}}
labels_removedчто удалено
title_before / title_afterзаголовок до и после

Маршрут в ответе считается по исходным лейблам — ровно как при приёме, поэтому предпросмотр показывает то, что произойдёт с боевым алертом.

5. Шаблоны уведомлений ​

5.1. Где задаются ​

templates интеграции — объект {"<канал>": "<шаблон>"}. Ключ default применяется, если для канала своего шаблона нет. Пустое значение или отсутствие ключа — рендерится встроенный формат (§5.2).

bash
curl -X PUT "$API/api/v1/integrations/{id}" -d '{
  "templates": {
    "default": "[{{ .severity }}] {{ .title }}\n{{ .reason }}\nGroup: {{ .group_id }}",
    "telegram": "🔥 {{ .title }}\npod={{ .label_pod }} ns={{ .label_namespace }}\n{{ .reason }}"
  }
}'

Какие каналы читают шаблон. Сегодня — только telegram и email; каждый берёт ключ со своим именем, а если его нет — default. Остальные каналы шаблон игнорируют, и это надо учитывать, задавая default:

КаналТекст сообщения
telegramtemplates.telegram → templates.default → встроенный формат
emailtemplates.email → templates.default → встроенный формат
slack, mattermostвсегда встроенный формат
chatopsвсегда встроенный формат
logвсегда встроенный формат (строка лога notification_log_delivery)
webhookне текст: уходит JSON в форме Alertmanager
callфраза для синтеза: Alert. <title>. See messages for details. (Emergency alert. при critical)
mobilepush-нагрузка, шаблон не применяется
issueсвои subject_template / body_template на шаге цепочки, см. §5.6

Шаблоны кэшируются в процессе на время TTL референс-кэша (равен интервалу опроса воркера). Правка через API сбрасывает кэш в том поде, который её обслужил; остальные реплики подхватят её по истечении TTL — не мгновенно, но и не до рестарта.

5.2. Встроенный формат (когда шаблона нет) ​

[<severity>] <title>
<reason>
<labels other than alertname and severity, as k=v, k=v>
Alert group: <group_id>

Строка лейблов сортируется (один и тот же алерт всегда читается одинаково) и обрезается на 400 символах с многоточием: у Telegram и SMS есть свои лимиты, а алерт Alertmanager может нести десятки лейблов.

5.3. Переменные ​

ПеременнаяЗначение
titleзаголовок алерта (по умолчанию Alert notification)
severityважность (по умолчанию unknown)
reasonпричина уведомления: шаг эскалации, alert resolved и т.п.
group_idID группы алертов
statusстатус группы (по умолчанию open)
labelsвсе лейблы одной строкой k=v, k=v
label_<имя>значение одного лейбла
user_name, user_usernameполучатель уведомления

label_<имя>: имя приводится к нижнему регистру, всё вне [a-z0-9_] становится подчёркиванием — kubernetes.io/name доступен как {{ .label_kubernetes_io_name }}. Обращение вида {{ .labels.pod }} не работает: контекст перед рендером превращается в плоскую карту строк, поэтому у лейбла есть только плоский ключ. Если лейбл называется так, что его ключ совпадает со встроенной переменной, побеждает встроенная.

5.4. Синтаксис ​

Движок — text/template. Поддерживаются формы {{ .title }}, {{ title }}, {{title}} (легаси-плейсхолдеры переписываются в точечную форму) и CamelCase-алиасы: {{ .Title }}, {{ .Severity }}, {{ .GroupID }}, {{ .UserName }} — так их пишут примеры Terraform-провайдера. Доступны обычные конструкции: {{ if .severity }}…{{ else }}…{{ end }}, {{ range }}, {{ with }}.

Значения подставляются буквально: текст, похожий на плейсхолдер, внутри заголовка алерта повторно не разворачивается.

5.5. Что происходит при ошибке в шаблоне ​

Доставка не срывается. Шаблон рендерится запасным путём — простой заменой известных плейсхолдеров, — и неизвестный плейсхолдер остаётся в тексте как есть. В лог пишется notification_template_parse_failed (синтаксическая ошибка) или notification_template_render_failed (неизвестный ключ; в этой же записи перечислены поддерживаемые). Второе логируется один раз на шаблон, а не на каждое уведомление.

5.6. Шаблоны шага CREATE_ISSUE ​

У шага эскалации CREATE_ISSUE свои два шаблона, задаются на шаге цепочки, а не на интеграции:

ПолеЗначение по умолчанию
subject_template[{{ severity }}] {{ title }}
body_templateAlert group: {{ group_id }}\n\nTitle: {{ title }}\nSeverity: {{ severity }}

Контекст здесь у́же: title, severity, group_id, status, labels. Переменных получателя нет — у задачи в трекере нет адресата.

6. Удаление данных ​

Удаление живёт на трёх разных уровнях, и путать их не надо: первый решает, что вообще попадёт в базу, второй — что увидит читающий, третий — сколько это хранится.

6.1. При приёме — пайплайн ​

Единственное место, где данные можно не сохранять вовсе.

  • remove — выкинуть лейблы до записи. Так убирают технический мусор (__name__, prometheus_replica) и, что важнее, значения, которых в системе оповещения быть не должно: адреса и телефоны клиентов, попавшие в лейблы мониторинга.
  • gsub — вырезать или замаскировать фрагмент внутри title, message или лейбла, когда целиком поле нужно.
  • truncate — ограничить длину поля.
  • drop — не сохранять алерт целиком.

Ограничение, о котором стоит знать: пайплайн работает с title, message, severity и лейблами. Исходное тело запроса сохраняется в payload алерта как есть и пайплайном не правится. Если удалить надо именно оттуда — либо источник не должен это присылать, либо горизонт хранения групп (§6.3) должен быть настроен под это.

6.2. На чтении — редакция ​

Поля, похожие на учётные данные, маскируются на пути чтения API (*** + четыре последних символа): push-токен мобильного устройства и webhook_url ChatOps-канала. Доставка читает те же строки через store и видит настоящие значения — это осознанное разделение: путь доставки это код, путь чтения это ответ человеку. webhook_url остаётся видимым тем, кто может править конфигурацию, иначе форму настроек нельзя было бы сохранить, не затерев значение.

6.3. По сроку — retention ​

Свип идёт не чаще раза в минуту, по категориям, независимо друг от друга. 0 — хранить вечно; это же и дефолт для новых категорий, потому что обновление версии не должно начинать удалять данные, которых никто не просил удалять.

КатегорияПеременнаяДефолтЧто удаляет
alert_groupsNXS_ANOMALY_ALERT_GROUP_TTL_DAYS30резолвленные группы и их алерты вместе с payload
chatops_messagesNXS_ANOMALY_CHATOPS_MESSAGES_TTL_DAYS30зеркало ChatOps-переписки
audit_eventsNXS_ANOMALY_AUDIT_RETENTION_DAYS0аудит: актор, IP, действие
notificationsNXS_ANOMALY_NOTIFICATION_RETENTION_DAYS0кого, куда и когда разбудили
delivery_attemptsNXS_ANOMALY_DELIVERY_ATTEMPT_RETENTION_DAYS0попытки доставки: ответы провайдеров, тексты ошибок
web_sessionsNXS_ANOMALY_WEB_SESSION_RETENTION_DAYS0сессии браузера: IP и user-agent

Удаление видно в логе (retention_deleted, уровень info) и в метрике nxs_anomaly_retention_deleted_total{category}. Категория с заданным сроком и плоским счётчиком — это свип, который перестал работать. Ошибка свипа пишется уровнем error: данные, которые должны были уйти, всё ещё здесь.

Ручной аналог для двух категорий доступен через API — архивация резолвленных групп и ChatOps-сообщений.

6.4. По запросу человека — экспорт и стирание ​

Отдельные административные операции над данными конкретного пользователя (export_personal_data, erase_personal_data), обе аудируются — включая стирание. Запись об удалении не называет ни одного персонального значения: ID, актор, время и счётчики. Подробности и полный каталог того, что где лежит, — в DATA_INVENTORY.md.

7. Наблюдаемость приёма ​

СигналО чём
result в ответе приёмаingested, resolved, resolved_without_group, dropped_by_pipeline
alert_pipeline_stage_skippedэтап пайплайна не отработал; в записи номер этапа и интеграция
alert_pipeline_ignoredпайплайн интеграции не компилируется и целиком проигнорирован
notification_template_parse_failedшаблон не разобрался, ушёл запасной рендер
notification_template_render_failedнеизвестный плейсхолдер; в записи список поддерживаемых
спан ingest.alertтрассировка приёма; через ID группы связывается с эскалацией и доставкой (см. TRACING.md)

Журнал группы (logs) фиксирует и стадию приёма: group_created, alert_attached, source_resolve.

nxs-anomaly · Documentation