Skip to content

Резервное копирование, восстановление, обновление и откат (BETA-041) ​

Всё постоянное состояние nxs-anomaly живёт в одной базе PostgreSQL — алерты, группы алертов, пользователи, расписания, цепочки эскалации, интеграции, состояние уведомлений и журнал аудита, доступный только на добавление. Другого хранилища состояния у приложения нет (остальные хранилища — приёмник ниже по потоку). Поэтому вся история про аварийное восстановление — это история про резервное копирование PostgreSQL, описанная ниже.

Отказ одного узла (под, зона, primary PostgreSQL) — это HA, а не восстановление из копии: эталонная схема, синхронная репликация и drill отказа primary — в HA.md.

Целевые показатели восстановления ​

ПоказательЦельЧем обеспечивается
RPO (максимальная потеря данных)≤ 5 минНепрерывное архивирование WAL / PITR либо managed-инстанс с гранулярностью PITR ≤ 5 мин. Одного ночного pg_dump для этого недостаточно.
RTO (время до восстановления сервиса)≤ 30 минОтсчитывается от аварии до момента, когда /readiness сообщает database и worker = ok — восстановленная база, из которой никого не разбудить, сервисом не является. Автоматический drill измеряет это на каждом прогоне и падает при превышении бюджета.

RPO — свойство частоты копирования, а не скорости восстановления: дамп раз в сутки даёт RPO до 24 часов, как бы быстро ни шло восстановление. Чтобы уложиться в ≤ 5 минут, нужен PITR (архивирование WAL) либо managed PostgreSQL с окном восстановления на точку во времени ≤ 5 минут. Логический pg_dump держите как переносимый, независимый от версии, вторичный вариант.

Резервное копирование ​

Вариант A — managed PostgreSQL (рекомендуется для production) ​

Включите автоматические резервные копии провайдера и PITR с retention, покрывающим ваше окно восстановления, и задайте гранулярность PITR ≤ 5 минут. Ничего специфичного для приложения не требуется: состояния вне базы у него нет.

Вариант B — самостоятельный PITR ​

Непрерывно архивируйте WAL (archive_mode=on, archive_command=… в объектное хранилище) плюс периодический базовый бэкап (pg_basebackup). Именно это даёт RPO ≤ 5 минут для самостоятельно управляемого инстанса.

Вариант C — логический дамп (переносимый; держите всегда) ​

bash
pg_dump --format=custom --file=nxs-anomaly-$(date -u +%Y%m%dT%H%M%SZ).dump \
  "postgres://USER:PASS@HOST:5432/nxs_anomaly?sslmode=require"

Храните дампы вне кластера (объектное хранилище), зашифрованными, с настроенным жизненным циклом и retention.

Резервная копия — отдельная копия персональных данных. Вызов POST /api/v1/users/{id}/erase меняет живую базу, но не переписывает уже созданные WAL, снапшоты и дампы. Срок их хранения и порядок недопущения «возвращения» удалённого профиля после restore должны быть частью процедуры оператора; приложение честно перечисляет backups в out_of_scope ответа erase. См. DATA_INVENTORY.md.

Секреты и конфигурация не лежат в базе — они приходят из Kubernetes Secret и ConfigMap (см. Helm chart). Копируйте их обычным процессом для кластера или GitOps; резервная копия базы их не содержит.

Как сообщить о копии самому nxs-anomaly ​

Все три варианта выше происходят снаружи приложения: снапшот провайдера, архив WAL и дамп в объектное хранилище ему не видны. Поэтому проверка готовности (страница Setup, GET /api/v1/readiness) не может наблюдать ваши копии — об этом должна сообщить сама джоба, которая их делает:

bash
curl -fsS -X POST "$NXS_ANOMALY_URL/api/v1/backups/report" \
  -H "X-API-Key: $NXS_ANOMALY_ADMIN_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"kind":"pg_dump"}'

Вызывайте только после успешного завершения копирования — вызов до него превратил бы проверку в отчёт о намерении вместо отчёта о факте. Оба поля необязательны: at (ISO-8601) по умолчанию «сейчас», kind — произвольная метка, показываемая в отчёте.

Эндпоинт требует admin-ключа. Он записывает утверждение, которому дальше доверяет гейт готовности, поэтому заявлять такое не должны учётные данные меньшего уровня; у джобы копирования и так есть доступ к дампу базы, а это привилегия выше.

Готовность считает резервную копию блокером, если о ней ни разу не сообщали или последняя старше 26 часов (RPO выше плюс запас на задержавшуюся ночную джобу). Пилот, осознанно работающий без копий, может зафиксировать это решение на странице готовности, а не молча игнорировать предупреждение.

Восстановление ​

  1. Подготовьте пустую базу (или свежий managed-инстанс, или восстановленную точку PITR).
  2. Восстановите:
    • PITR: восстановление на нужную отметку времени средствами провайдера или через recovery_target_time;
    • логический дамп: pg_restore --dbname="postgres://USER:PASS@HOST:5432/nxs_anomaly" --clean --if-exists nxs-anomaly-….dump
  3. Направьте NXS_ANOMALY_DB_DSN приложения на восстановленную базу. При старте приложение само применит недостающие миграции под advisory-локом (отдельная Job не нужна; параллельный старт реплик безопасен).
  4. Проверьте прохождение алерта, а не только количество строк. Автоматический drill (ниже) делает именно это: канареечная интеграция на месте, и свежий приём алерта создаёт новую группу.

Автоматические drill-ы ​

Их два, потому что «база вернулась» и «сервис вернулся» — разные утверждения, а RPO ≤ 5 минут держится на WAL, а не на дампах.

1. Логическое восстановление + готовность сервиса + откат (tests/restore_drill.sh) ​

В CI подключён как test:restore-drill:

засеять полный поток алерта → pg_dump (это и есть точка восстановления / RPO)
  → DROP базы (авария) → восстановление из дампа
  → проверить, что засеянные данные уцелели И что свежий приём по-прежнему
    создаёт группу алертов
  → поднять настоящие API и worker на восстановленной базе и дождаться,
    пока GET /api/v1/readiness сообщит database=ok И worker=ok
  → запустить ПРЕДЫДУЩИЙ релиз против восстановленной схемы и принять через него алерт
  → проверить RTO ≤ бюджета (по умолчанию 1800 с)

RTO измеряется до готовности сервиса, а не до конца импорта. Восстановленная база, из которой никого нельзя разбудить, — это не восстановленный сервис, и разница не академическая: локальный прогон показывает ~5 с импорта и ещё ~13 с до зелёной готовности. Сообщать только первое число значило бы занизить восстановление втрое. Гейт готовности — это собственный ответ продукта (worker=ok требует, чтобы worker записал heartbeat в восстановленную базу), а не его заменитель.

Последний шаг — это путь отката из контракта миграций ниже, проверенный, а не задекларированный: предыдущий релизный тег собирается и направляется на восстановленную, уже мигрированную схему, и обязан и отвечать на /health, и принять алерт. Шаг падает громко, если предыдущего тега нет (в поверхностном клоне его не будет — в CI задано GIT_DEPTH: 0); пропуск требует явного NXS_ANOMALY_DRILL_SKIP_ROLLBACK=1 и сообщает об этом в выводе.

Локальный запуск (нужен Docker; поднимает собственный одноразовый postgres):

bash
bash tests/restore_drill.sh

Против существующей базы (как в CI) задайте NXS_ANOMALY_TEST_DATABASE_URL и команды NXS_ANOMALY_DRILL_DUMP / _PSQL / _RESET. Проверяющая половина — это Go-тест tests/restore_drill_test.go с тегом restoredrill, поэтому она работает с настоящими store и engine, а не с SQL-приближением.

2. Восстановление на точку во времени (tests/pitr_drill.sh) ​

В CI подключён как test:pitr-drill (docker-in-docker — drill настраивает archive_mode и пересобирает каталог данных, чего база из services: в CI предоставить не может):

включить архивирование WAL → базовый бэкап → запись, отметка целевой точки,
  ещё запись → уничтожить кластер → восстановить базовый бэкап, доиграть WAL
  до целевой точки
  → проверить: запись до точки вернулась, запись ПОСЛЕ точки ОТСУТСТВУЕТ,
    схема приложения уцелела, кластер поднялся на запись

Значимая проверка здесь — отсутствие записи, сделанной после целевой точки. Восстановление, доигрывающее WAL до конца, на зелёном прогоне неотличимо от успешного PITR — и при этом молча не сможет отмотать назад случайный DELETE, ради чего PITR и существует. Drill также ждёт pg_is_in_recovery() = false, а не pg_isready: кластер, ещё доигрывающий журнал, отвечает на соединения и падает на каждой записи с «read-only transaction».

bash
bash tests/pitr_drill.sh

Границы применимости: drill доказывает работоспособность механизма PITR на настоящей схеме. На managed PostgreSQL та же возможность живёт за консолью или API провайдера, а на целевом кластере восстановление — инфраструктурная операция: выполните восстановление средствами провайдера, затем прогоните шаг проверки готовности из drill-а 1 против восстановленного инстанса. Именно эта комбинация на реальной production-топологии остаётся ручным шагом приёмки DR.

Оба drill-а рассчитаны на то, что другой человек или агент выполнит их по этому документу — это и есть планка приёмки BETA-041.

Миграции: контракт обратной совместимости ​

Автоматическая миграция при старте удобна, но безопасна только вместе с контрактом отката. Правило:

Миграция обязана оставить схему читаемой и записываемой предыдущей выпущенной версией приложения, минимум на один релиз.

Конкретно: внутри одного релиза миграция может делать только аддитивные и обратно совместимые изменения:

  • ✅ добавить таблицу, nullable-колонку, новый индекс, новое значение по умолчанию;
  • ✅ дозаполнить данные; добавить constraint — только после того, как код перестал его нарушать;
  • ❌ удалить или переименовать колонку/таблицу, которую ещё читает предыдущий релиз;
  • ❌ сузить тип или добавить NOT NULL без значения по умолчанию в том же релизе.

Разрушающие изменения делаются в два релиза по схеме expand/contract: релиз N добавляет новую форму и пишет в обе; релиз N+1 (после того, как N полностью раскатан и откатываться дальше него вы не собираетесь) удаляет старую. Именно это делает безопасным сценарий «обновились, посмотрели, при необходимости откатились»: откат на N работает против схемы, мигрированной в N+1, потому что N+1 удалил лишь то, чем N уже не пользовался.

Правило не только задокументировано, но и проверяется: последний шаг tests/restore_drill.sh запускает предыдущий релиз против мигрированной схемы и роняет сборку, если тот не может обслуживать запросы и принимать алерты.

Миграции лежат в internal/store/migrations/NNNN_*.sql и применяются по порядку однократно.

Обновление и откат ​

Перед любым обновлением:

  1. Сделайте свежую резервную копию (дамп по варианту C быстр и переносим) и запишите её отметку времени — это ваша точка восстановления при откате.
  2. Просмотрите новые миграции в internal/store/migrations/ на соответствие контракту выше.

Обновление (Helm; образы и chart имеют одну версию):

bash
helm upgrade nxs-anomaly oci://registry.nixys.ru/<helm-project>/nxs-anomaly \
  --version <новая> -f values-production.yaml --reset-then-reuse-values

--reset-then-reuse-values (Helm 3.14+), а не --reuse-values: второй флаг берёт values прошлого chart-а целиком, без ключей, которые добавил новый.

Миграции применяются при старте. Следите за /ready worker-а и метриками доставки.

Откат:

  • Только приложение (новые миграции аддитивны — обычный случай): откатите образы. Предыдущая версия работает против мигрированной схемы, потому что изменения были обратно совместимы.

    bash
    helm rollback nxs-anomaly            # предыдущий релиз
    # либо: helm upgrade … --version <предыдущая>
  • Схему тоже нужно вернуть (только если релиз нарушил контракт или требуется восстановить данные): восстановите резервную копию, снятую до обновления, и разверните предыдущую версию на неё. Данные, записанные между копией и откатом, будут потеряны — в пределах вашего RPO.

Никогда не откатывайте приложение дальше релиза, чья миграция уже выполнила contract-фазу (удалила старые колонки) — это ровно та граница, которую защищает правило двух релизов.

nxs-anomaly · Documentation