Высокая доступность (HA)
Документ описывает эталонную HA-схему nxs-anomaly, отказы, которые она переживает, и drill, которым это подтверждается. Восстановление из резервной копии (когда отказала вся площадка) описано в BACKUP_RESTORE.md. HA и DR дополняют друг друга. HA удерживает сервис при отказе узла, DR возвращает его после потери данных или площадки.
Принцип
Приложение не хранит состояния. API и worker можно убить в любой момент, вся информация лежит в PostgreSQL. Worker-ы координируются через саму базу: claim уведомлений и advisory-локи шардов эскалации. Поэтому два и более worker-а безопасны, и единственного планировщика как точки отказа нет.
Отсюда следует, что HA сервиса — это HA PostgreSQL плюс несколько реплик приложения в разных зонах.
┌──────── zone A ────────┐ ┌──────── zone B ────────┐ ┌── zone C ──┐
Ingress ───▶ │ api ×1 worker ×1 │ │ api ×1 worker ×1 │ │ api ×1 │
│ frontend ×1 │ │ frontend ×1 │ │ │
└───────────┬────────────┘ └───────────┬────────────┘ └─────┬──────┘
│ DSN: только primary (target_session_attrs) │
┌───────────▼────────────┐ ┌───────────▼────────────┐
│ PostgreSQL primary │══│ PostgreSQL sync standby│ + WAL-архив (PITR)
└────────────────────────┘ └────────────────────────┘Установка
helm install nxs-anomaly oci://registry.nixys.ru/<helm-project>/nxs-anomaly \
-f values-production.yaml -f values-ha.yaml \
--set existingSecret.name=nxs-anomaly-env \
--set networkPolicy.extraIngress[0].namespaceSelector.matchLabels.kubernetes\.io/metadata\.name=monitoringvalues-ha.yaml задаёт следующее:
| Компонент | Реплики | PDB minAvailable | Распределение |
|---|---|---|---|
| API | 3 | 2 | по зонам (ScheduleAnyway), строго по узлам (DoNotSchedule + nodeTaintsPolicy: Honor) |
| Worker | 2 | 1 | так же |
| Frontend | 2 | 1 | так же |
Строгое распределение по узлам безопасно только вместе с nodeTaintsPolicy: Honor и matchLabelKeys: [pod-template-hash] (Kubernetes ≥ 1.27). Второе заставляет учитывать только поды текущей ревизии: иначе rolling update расставляет новые поды с оглядкой на старые, и после их удаления две реплики API оказываются на одном узле. Без него выведенный из работы или упавший узел продолжает считаться доменом с нулём подов, и замену выселенного пода нельзя поставить на оставшиеся узлы: она висит в Pending всё время обслуживания или аварии.
Поды упавшего узла пресет заменяет через 30 с (tolerations для node.kubernetes.io/unreachable и not-ready), а не через 300 с по умолчанию. Запросы, которые Service успел направить на под мёртвого узла до того, как узел помечен NotReady (~40–50 с, параметр кластера node-monitor-grace-period), получают ошибку. Их покрывают повторы отправителя: в kind это 14 из 1612 запросов, потерь алертов нет.
Ещё пресет задаёт ожидание базы на старте 120 с, ротацию соединений раз в 10 минут и health-check пула раз в 15 с (см. «Что делает приложение при failover»).
PostgreSQL
Нужен PostgreSQL с автоматическим failover. DSN (NXS_ANOMALY_DB_DSN в Secret) должен вести только на primary.
| Вариант | DSN |
|---|---|
| CloudNativePG | postgres://nxs_anomaly@<cluster>-rw.<ns>.svc:5432/nxs_anomaly?sslmode=require&target_session_attrs=primary |
| Patroni / несколько адресов | postgres://nxs_anomaly@pg1:5432,pg2:5432,pg3:5432/nxs_anomaly?sslmode=require&target_session_attrs=primary |
| Managed (с standby) | endpoint записи провайдера плюс target_session_attrs=primary |
target_session_attrs=primary полезен и за -rw-сервисом CloudNativePG: если сервис на секунды отстал от смены primary, новое соединение не останется на standby.
PgBouncer поддерживается только в режиме session pooling (см. SETUP.md).
Синхронная репликация и RPO
| Репликация | RPO при отказе primary | Цена |
|---|---|---|
Синхронная (synchronous_standby_names, в CNPG — minSyncReplicas: 1) | 0 для всех алертов, на которые API ответил 2xx | Задержка записи равна RTT до standby. Без живого standby запись ждёт, поэтому standby нужно ≥ 2 (CNPG: instances: 3) |
| Асинхронная | лаг репликации (обычно < 1 с, под нагрузкой больше) | Последние подтверждённые алерты могут пропасть |
Ответ 2xx означает для отправителя, что алерт можно забыть. Поэтому для production рекомендуется синхронная репликация. При асинхронной алерт, принятый за долю секунды до падения primary, не попадёт на новый primary, и Alertmanager повторять его не станет.
Матрица отказов
| Отказ | Что происходит | Потери |
|---|---|---|
| Под API | Ingress уводит трафик на остальные. PDB не даёт сделать drain ниже 2 | нет |
| Под worker | Второй worker берёт шарды на следующем цикле. Claim-ы упавшего освобождает reaper | нет, задержка ≤ цикла |
| Узел или зона | Как два случая выше, поды распределены по зонам | нет |
| Primary PostgreSQL | Оператор продвигает standby. Пока его нет, ingest отвечает 503 + Retry-After (не 500), отправители повторяют | при синхронной репликации нет |
| Старый primary вернулся как standby | Соединения на нём сбрасываются при первой же ошибке записи (см. ниже) | нет |
| Kafka / ClickHouse (аналитика) | Outbox копится в PostgreSQL и дописывается после восстановления. Алерты и эскалации от них не зависят | нет |
| Потеря площадки целиком | Это DR: BACKUP_RESTORE.md | по RPO копии (≤ 5 мин с PITR) |
Что делает приложение при failover
- Ошибки соединения и
57P01/08xxxклассифицируются как временные, ingest отвечает 503 + Retry-After. Это было и раньше. 25006 read_only_sql_transaction(запись попала на standby) тоже считается временной ошибкой. Первая такая ошибка сбрасывает пул (не чаще раза в 5 с), все соединения переоткрываются через DSN и попадают на новый primary. Без этого соединения на понижённом узле жили бы доMaxConnLifetime: ping на standby проходит, и health-check их не отсеивает.- Advisory-локи шардов не берутся на standby. PostgreSQL выдаёт advisory-локи и на hot standby. Worker, чьё соединение с локом осталось бы на понижённом узле, «держал» бы шард там, второй worker взял бы тот же шард на primary, и обработка задвоилась бы.
TryAdvisoryLockпроверяетpg_is_in_recovery()и на standby лок не выдаёт. - LISTEN-соединение не ставится на standby. Standby не получает NOTIFY primary, и worker-ы до перезапуска работали бы только на интервальном опросе.
Чего приложение не делает: fencing старого primary. Если после разделения сети оба узла принимают запись (split-brain), предотвратить это должен HA-менеджер (Patroni через DCS, CNPG через Kubernetes API), а не клиент.
Drill: tests/failover_drill.sh
В CI подключён как test:failover-drill (docker-in-docker, запускается на тегах и при изменениях internal/store/**). Отчёт failover-drill.json сохраняется артефактом релиза.
primary + синхронный streaming standby
→ API и worker на multi-host DSN (target_session_attrs=primary)
→ непрерывный приём, отправитель повторяет не-2xx до 300 с (как Alertmanager)
→ АВАРИЯ: docker kill primary → через 10 с (время обнаружения) pg_promote
→ замер: до readiness database=ok и worker=ok (RTO) и до первого 2xx (простой приёма)
→ проверка: КАЖДЫЙ алерт, на который API ответил 2xx, есть на новом primaryDrill падает, если пропал хотя бы один подтверждённый алерт, если отправитель так и не дождался 2xx или если RTO превысил бюджет (по умолчанию 120 с).
bash tests/failover_drill.sh
NXS_ANOMALY_DRILL_REPORT=/tmp/failover.json bash tests/failover_drill.sh # с отчётомПараметры: NXS_ANOMALY_FAILOVER_DETECT_DELAY (время обнаружения, 10 с), NXS_ANOMALY_FAILOVER_RTO_BUDGET (120 с), NXS_ANOMALY_FAILOVER_SENDER_RETRY (300 с).
Границы применимости. Drill проверяет поведение приложения при смене primary. Время обнаружения отказа и promote у реального HA-менеджера своё. Приёмка на целевой площадке выполняется так: штатный switchover и затем принудительный failover средствами оператора под нагрузкой tests/loadtest с проверкой потерь и readiness по шагу 7 drill-а.
Целевые показатели
| Показатель | Цель | Чем подтверждается |
|---|---|---|
| RPO при отказе primary | 0 (синхронная репликация) | failover-drill.json: lost = 0 |
| RTO при отказе primary | ≤ 2 мин (включая обнаружение) | failover-drill.json: rto_seconds |
| RPO при потере площадки | ≤ 5 мин | pitr-drill.json, BACKUP_RESTORE.md |
| RTO при потере площадки | ≤ 30 мин | restore-drill.json, BACKUP_RESTORE.md |
Runbook: плановый switchover
- Убедиться, что readiness зелёный и standby в состоянии
sync(pg_stat_replication). - Выполнить switchover средствами оператора (
kubectl cnpg promote/patronictl switchover). - Следить за
nxs_anomaly_ingest_errors_totalи логомdb_pool_reset_standby. Всплеск 503 на несколько секунд ожидаем и покрывается повторами отправителей. - Проверить readiness (
databaseиworker= ok) и что очередь уведомлений разбирается (nxs_anomaly_oldest_pending_delivery_age_seconds,nxs_anomaly_notifications_retry_queue_depth).