Skip to content

Высокая доступность (HA) ​

Документ описывает эталонную HA-схему nxs-anomaly, отказы, которые она переживает, и drill, которым это подтверждается. Восстановление из резервной копии (когда отказала вся площадка) описано в BACKUP_RESTORE.md. HA и DR дополняют друг друга. HA удерживает сервис при отказе узла, DR возвращает его после потери данных или площадки.

Принцип ​

Приложение не хранит состояния. API и worker можно убить в любой момент, вся информация лежит в PostgreSQL. Worker-ы координируются через саму базу: claim уведомлений и advisory-локи шардов эскалации. Поэтому два и более worker-а безопасны, и единственного планировщика как точки отказа нет.

Отсюда следует, что HA сервиса — это HA PostgreSQL плюс несколько реплик приложения в разных зонах.

              ┌──────── zone A ────────┐  ┌──────── zone B ────────┐  ┌── zone C ──┐
 Ingress ───▶ │ api ×1   worker ×1     │  │ api ×1   worker ×1     │  │ api ×1     │
              │ frontend ×1            │  │ frontend ×1            │  │            │
              └───────────┬────────────┘  └───────────┬────────────┘  └─────┬──────┘
                          │   DSN: только primary (target_session_attrs)   │
              ┌───────────▼────────────┐  ┌───────────▼────────────┐
              │ PostgreSQL primary     │══│ PostgreSQL sync standby│   + WAL-архив (PITR)
              └────────────────────────┘  └────────────────────────┘

Установка ​

bash
helm install nxs-anomaly oci://registry.nixys.ru/<helm-project>/nxs-anomaly \
  -f values-production.yaml -f values-ha.yaml \
  --set existingSecret.name=nxs-anomaly-env \
  --set networkPolicy.extraIngress[0].namespaceSelector.matchLabels.kubernetes\.io/metadata\.name=monitoring

values-ha.yaml задаёт следующее:

КомпонентРепликиPDB minAvailableРаспределение
API32по зонам (ScheduleAnyway), строго по узлам (DoNotSchedule + nodeTaintsPolicy: Honor)
Worker21так же
Frontend21так же

Строгое распределение по узлам безопасно только вместе с nodeTaintsPolicy: Honor и matchLabelKeys: [pod-template-hash] (Kubernetes ≥ 1.27). Второе заставляет учитывать только поды текущей ревизии: иначе rolling update расставляет новые поды с оглядкой на старые, и после их удаления две реплики API оказываются на одном узле. Без него выведенный из работы или упавший узел продолжает считаться доменом с нулём подов, и замену выселенного пода нельзя поставить на оставшиеся узлы: она висит в Pending всё время обслуживания или аварии.

Поды упавшего узла пресет заменяет через 30 с (tolerations для node.kubernetes.io/unreachable и not-ready), а не через 300 с по умолчанию. Запросы, которые Service успел направить на под мёртвого узла до того, как узел помечен NotReady (~40–50 с, параметр кластера node-monitor-grace-period), получают ошибку. Их покрывают повторы отправителя: в kind это 14 из 1612 запросов, потерь алертов нет.

Ещё пресет задаёт ожидание базы на старте 120 с, ротацию соединений раз в 10 минут и health-check пула раз в 15 с (см. «Что делает приложение при failover»).

PostgreSQL ​

Нужен PostgreSQL с автоматическим failover. DSN (NXS_ANOMALY_DB_DSN в Secret) должен вести только на primary.

ВариантDSN
CloudNativePGpostgres://nxs_anomaly@<cluster>-rw.<ns>.svc:5432/nxs_anomaly?sslmode=require&target_session_attrs=primary
Patroni / несколько адресовpostgres://nxs_anomaly@pg1:5432,pg2:5432,pg3:5432/nxs_anomaly?sslmode=require&target_session_attrs=primary
Managed (с standby)endpoint записи провайдера плюс target_session_attrs=primary

target_session_attrs=primary полезен и за -rw-сервисом CloudNativePG: если сервис на секунды отстал от смены primary, новое соединение не останется на standby.

PgBouncer поддерживается только в режиме session pooling (см. SETUP.md).

Синхронная репликация и RPO ​

РепликацияRPO при отказе primaryЦена
Синхронная (synchronous_standby_names, в CNPG — minSyncReplicas: 1)0 для всех алертов, на которые API ответил 2xxЗадержка записи равна RTT до standby. Без живого standby запись ждёт, поэтому standby нужно ≥ 2 (CNPG: instances: 3)
Асинхроннаялаг репликации (обычно < 1 с, под нагрузкой больше)Последние подтверждённые алерты могут пропасть

Ответ 2xx означает для отправителя, что алерт можно забыть. Поэтому для production рекомендуется синхронная репликация. При асинхронной алерт, принятый за долю секунды до падения primary, не попадёт на новый primary, и Alertmanager повторять его не станет.

Матрица отказов ​

ОтказЧто происходитПотери
Под APIIngress уводит трафик на остальные. PDB не даёт сделать drain ниже 2нет
Под workerВторой worker берёт шарды на следующем цикле. Claim-ы упавшего освобождает reaperнет, задержка ≤ цикла
Узел или зонаКак два случая выше, поды распределены по зонамнет
Primary PostgreSQLОператор продвигает standby. Пока его нет, ingest отвечает 503 + Retry-After (не 500), отправители повторяютпри синхронной репликации нет
Старый primary вернулся как standbyСоединения на нём сбрасываются при первой же ошибке записи (см. ниже)нет
Kafka / ClickHouse (аналитика)Outbox копится в PostgreSQL и дописывается после восстановления. Алерты и эскалации от них не зависятнет
Потеря площадки целикомЭто DR: BACKUP_RESTORE.mdпо RPO копии (≤ 5 мин с PITR)

Что делает приложение при failover ​

  • Ошибки соединения и 57P01/08xxx классифицируются как временные, ingest отвечает 503 + Retry-After. Это было и раньше.
  • 25006 read_only_sql_transaction (запись попала на standby) тоже считается временной ошибкой. Первая такая ошибка сбрасывает пул (не чаще раза в 5 с), все соединения переоткрываются через DSN и попадают на новый primary. Без этого соединения на понижённом узле жили бы до MaxConnLifetime: ping на standby проходит, и health-check их не отсеивает.
  • Advisory-локи шардов не берутся на standby. PostgreSQL выдаёт advisory-локи и на hot standby. Worker, чьё соединение с локом осталось бы на понижённом узле, «держал» бы шард там, второй worker взял бы тот же шард на primary, и обработка задвоилась бы. TryAdvisoryLock проверяет pg_is_in_recovery() и на standby лок не выдаёт.
  • LISTEN-соединение не ставится на standby. Standby не получает NOTIFY primary, и worker-ы до перезапуска работали бы только на интервальном опросе.

Чего приложение не делает: fencing старого primary. Если после разделения сети оба узла принимают запись (split-brain), предотвратить это должен HA-менеджер (Patroni через DCS, CNPG через Kubernetes API), а не клиент.

Drill: tests/failover_drill.sh ​

В CI подключён как test:failover-drill (docker-in-docker, запускается на тегах и при изменениях internal/store/**). Отчёт failover-drill.json сохраняется артефактом релиза.

primary + синхронный streaming standby
  → API и worker на multi-host DSN (target_session_attrs=primary)
  → непрерывный приём, отправитель повторяет не-2xx до 300 с (как Alertmanager)
  → АВАРИЯ: docker kill primary → через 10 с (время обнаружения) pg_promote
  → замер: до readiness database=ok и worker=ok (RTO) и до первого 2xx (простой приёма)
  → проверка: КАЖДЫЙ алерт, на который API ответил 2xx, есть на новом primary

Drill падает, если пропал хотя бы один подтверждённый алерт, если отправитель так и не дождался 2xx или если RTO превысил бюджет (по умолчанию 120 с).

bash
bash tests/failover_drill.sh
NXS_ANOMALY_DRILL_REPORT=/tmp/failover.json bash tests/failover_drill.sh   # с отчётом

Параметры: NXS_ANOMALY_FAILOVER_DETECT_DELAY (время обнаружения, 10 с), NXS_ANOMALY_FAILOVER_RTO_BUDGET (120 с), NXS_ANOMALY_FAILOVER_SENDER_RETRY (300 с).

Границы применимости. Drill проверяет поведение приложения при смене primary. Время обнаружения отказа и promote у реального HA-менеджера своё. Приёмка на целевой площадке выполняется так: штатный switchover и затем принудительный failover средствами оператора под нагрузкой tests/loadtest с проверкой потерь и readiness по шагу 7 drill-а.

Целевые показатели ​

ПоказательЦельЧем подтверждается
RPO при отказе primary0 (синхронная репликация)failover-drill.json: lost = 0
RTO при отказе primary≤ 2 мин (включая обнаружение)failover-drill.json: rto_seconds
RPO при потере площадки≤ 5 минpitr-drill.json, BACKUP_RESTORE.md
RTO при потере площадки≤ 30 минrestore-drill.json, BACKUP_RESTORE.md

Runbook: плановый switchover ​

  1. Убедиться, что readiness зелёный и standby в состоянии sync (pg_stat_replication).
  2. Выполнить switchover средствами оператора (kubectl cnpg promote / patronictl switchover).
  3. Следить за nxs_anomaly_ingest_errors_total и логом db_pool_reset_standby. Всплеск 503 на несколько секунд ожидаем и покрывается повторами отправителей.
  4. Проверить readiness (database и worker = ok) и что очередь уведомлений разбирается (nxs_anomaly_oldest_pending_delivery_age_seconds, nxs_anomaly_notifications_retry_queue_depth).

nxs-anomaly · Documentation