Резервное копирование, восстановление, обновление и откат (BETA-041)
Всё постоянное состояние nxs-anomaly живёт в одной базе PostgreSQL — алерты, группы алертов, пользователи, расписания, цепочки эскалации, интеграции, состояние уведомлений и журнал аудита, доступный только на добавление. Другого хранилища состояния у приложения нет (остальные хранилища — приёмник ниже по потоку). Поэтому вся история про аварийное восстановление — это история про резервное копирование PostgreSQL, описанная ниже.
Отказ одного узла (под, зона, primary PostgreSQL) — это HA, а не восстановление из копии: эталонная схема, синхронная репликация и drill отказа primary — в HA.md.
Целевые показатели восстановления
| Показатель | Цель | Чем обеспечивается |
|---|---|---|
| RPO (максимальная потеря данных) | ≤ 5 мин | Непрерывное архивирование WAL / PITR либо managed-инстанс с гранулярностью PITR ≤ 5 мин. Одного ночного pg_dump для этого недостаточно. |
| RTO (время до восстановления сервиса) | ≤ 30 мин | Отсчитывается от аварии до момента, когда /readiness сообщает database и worker = ok — восстановленная база, из которой никого не разбудить, сервисом не является. Автоматический drill измеряет это на каждом прогоне и падает при превышении бюджета. |
RPO — свойство частоты копирования, а не скорости восстановления: дамп раз в сутки даёт RPO до 24 часов, как бы быстро ни шло восстановление. Чтобы уложиться в ≤ 5 минут, нужен PITR (архивирование WAL) либо managed PostgreSQL с окном восстановления на точку во времени ≤ 5 минут. Логический pg_dump держите как переносимый, независимый от версии, вторичный вариант.
Резервное копирование
Вариант A — managed PostgreSQL (рекомендуется для production)
Включите автоматические резервные копии провайдера и PITR с retention, покрывающим ваше окно восстановления, и задайте гранулярность PITR ≤ 5 минут. Ничего специфичного для приложения не требуется: состояния вне базы у него нет.
Вариант B — самостоятельный PITR
Непрерывно архивируйте WAL (archive_mode=on, archive_command=… в объектное хранилище) плюс периодический базовый бэкап (pg_basebackup). Именно это даёт RPO ≤ 5 минут для самостоятельно управляемого инстанса.
Вариант C — логический дамп (переносимый; держите всегда)
pg_dump --format=custom --file=nxs-anomaly-$(date -u +%Y%m%dT%H%M%SZ).dump \
"postgres://USER:PASS@HOST:5432/nxs_anomaly?sslmode=require"Храните дампы вне кластера (объектное хранилище), зашифрованными, с настроенным жизненным циклом и retention.
Резервная копия — отдельная копия персональных данных. Вызов POST /api/v1/users/{id}/erase меняет живую базу, но не переписывает уже созданные WAL, снапшоты и дампы. Срок их хранения и порядок недопущения «возвращения» удалённого профиля после restore должны быть частью процедуры оператора; приложение честно перечисляет backups в out_of_scope ответа erase. См. DATA_INVENTORY.md.
Секреты и конфигурация не лежат в базе — они приходят из Kubernetes Secret и ConfigMap (см. Helm chart). Копируйте их обычным процессом для кластера или GitOps; резервная копия базы их не содержит.
Как сообщить о копии самому nxs-anomaly
Все три варианта выше происходят снаружи приложения: снапшот провайдера, архив WAL и дамп в объектное хранилище ему не видны. Поэтому проверка готовности (страница Setup, GET /api/v1/readiness) не может наблюдать ваши копии — об этом должна сообщить сама джоба, которая их делает:
curl -fsS -X POST "$NXS_ANOMALY_URL/api/v1/backups/report" \
-H "X-API-Key: $NXS_ANOMALY_ADMIN_API_KEY" \
-H 'Content-Type: application/json' \
-d '{"kind":"pg_dump"}'Вызывайте только после успешного завершения копирования — вызов до него превратил бы проверку в отчёт о намерении вместо отчёта о факте. Оба поля необязательны: at (ISO-8601) по умолчанию «сейчас», kind — произвольная метка, показываемая в отчёте.
Эндпоинт требует admin-ключа. Он записывает утверждение, которому дальше доверяет гейт готовности, поэтому заявлять такое не должны учётные данные меньшего уровня; у джобы копирования и так есть доступ к дампу базы, а это привилегия выше.
Готовность считает резервную копию блокером, если о ней ни разу не сообщали или последняя старше 26 часов (RPO выше плюс запас на задержавшуюся ночную джобу). Пилот, осознанно работающий без копий, может зафиксировать это решение на странице готовности, а не молча игнорировать предупреждение.
Восстановление
- Подготовьте пустую базу (или свежий managed-инстанс, или восстановленную точку PITR).
- Восстановите:
- PITR: восстановление на нужную отметку времени средствами провайдера или через
recovery_target_time; - логический дамп:
pg_restore --dbname="postgres://USER:PASS@HOST:5432/nxs_anomaly" --clean --if-exists nxs-anomaly-….dump
- PITR: восстановление на нужную отметку времени средствами провайдера или через
- Направьте
NXS_ANOMALY_DB_DSNприложения на восстановленную базу. При старте приложение само применит недостающие миграции под advisory-локом (отдельная Job не нужна; параллельный старт реплик безопасен). - Проверьте прохождение алерта, а не только количество строк. Автоматический drill (ниже) делает именно это: канареечная интеграция на месте, и свежий приём алерта создаёт новую группу.
Автоматические drill-ы
Их два, потому что «база вернулась» и «сервис вернулся» — разные утверждения, а RPO ≤ 5 минут держится на WAL, а не на дампах.
1. Логическое восстановление + готовность сервиса + откат (tests/restore_drill.sh)
В CI подключён как test:restore-drill:
засеять полный поток алерта → pg_dump (это и есть точка восстановления / RPO)
→ DROP базы (авария) → восстановление из дампа
→ проверить, что засеянные данные уцелели И что свежий приём по-прежнему
создаёт группу алертов
→ поднять настоящие API и worker на восстановленной базе и дождаться,
пока GET /api/v1/readiness сообщит database=ok И worker=ok
→ запустить ПРЕДЫДУЩИЙ релиз против восстановленной схемы и принять через него алерт
→ проверить RTO ≤ бюджета (по умолчанию 1800 с)RTO измеряется до готовности сервиса, а не до конца импорта. Восстановленная база, из которой никого нельзя разбудить, — это не восстановленный сервис, и разница не академическая: локальный прогон показывает ~5 с импорта и ещё ~13 с до зелёной готовности. Сообщать только первое число значило бы занизить восстановление втрое. Гейт готовности — это собственный ответ продукта (worker=ok требует, чтобы worker записал heartbeat в восстановленную базу), а не его заменитель.
Последний шаг — это путь отката из контракта миграций ниже, проверенный, а не задекларированный: предыдущий релизный тег собирается и направляется на восстановленную, уже мигрированную схему, и обязан и отвечать на /health, и принять алерт. Шаг падает громко, если предыдущего тега нет (в поверхностном клоне его не будет — в CI задано GIT_DEPTH: 0); пропуск требует явного NXS_ANOMALY_DRILL_SKIP_ROLLBACK=1 и сообщает об этом в выводе.
Локальный запуск (нужен Docker; поднимает собственный одноразовый postgres):
bash tests/restore_drill.shПротив существующей базы (как в CI) задайте NXS_ANOMALY_TEST_DATABASE_URL и команды NXS_ANOMALY_DRILL_DUMP / _PSQL / _RESET. Проверяющая половина — это Go-тест tests/restore_drill_test.go с тегом restoredrill, поэтому она работает с настоящими store и engine, а не с SQL-приближением.
2. Восстановление на точку во времени (tests/pitr_drill.sh)
В CI подключён как test:pitr-drill (docker-in-docker — drill настраивает archive_mode и пересобирает каталог данных, чего база из services: в CI предоставить не может):
включить архивирование WAL → базовый бэкап → запись, отметка целевой точки,
ещё запись → уничтожить кластер → восстановить базовый бэкап, доиграть WAL
до целевой точки
→ проверить: запись до точки вернулась, запись ПОСЛЕ точки ОТСУТСТВУЕТ,
схема приложения уцелела, кластер поднялся на записьЗначимая проверка здесь — отсутствие записи, сделанной после целевой точки. Восстановление, доигрывающее WAL до конца, на зелёном прогоне неотличимо от успешного PITR — и при этом молча не сможет отмотать назад случайный DELETE, ради чего PITR и существует. Drill также ждёт pg_is_in_recovery() = false, а не pg_isready: кластер, ещё доигрывающий журнал, отвечает на соединения и падает на каждой записи с «read-only transaction».
bash tests/pitr_drill.shГраницы применимости: drill доказывает работоспособность механизма PITR на настоящей схеме. На managed PostgreSQL та же возможность живёт за консолью или API провайдера, а на целевом кластере восстановление — инфраструктурная операция: выполните восстановление средствами провайдера, затем прогоните шаг проверки готовности из drill-а 1 против восстановленного инстанса. Именно эта комбинация на реальной production-топологии остаётся ручным шагом приёмки DR.
Оба drill-а рассчитаны на то, что другой человек или агент выполнит их по этому документу — это и есть планка приёмки BETA-041.
Миграции: контракт обратной совместимости
Автоматическая миграция при старте удобна, но безопасна только вместе с контрактом отката. Правило:
Миграция обязана оставить схему читаемой и записываемой предыдущей выпущенной версией приложения, минимум на один релиз.
Конкретно: внутри одного релиза миграция может делать только аддитивные и обратно совместимые изменения:
- ✅ добавить таблицу, nullable-колонку, новый индекс, новое значение по умолчанию;
- ✅ дозаполнить данные; добавить constraint — только после того, как код перестал его нарушать;
- ❌ удалить или переименовать колонку/таблицу, которую ещё читает предыдущий релиз;
- ❌ сузить тип или добавить NOT NULL без значения по умолчанию в том же релизе.
Разрушающие изменения делаются в два релиза по схеме expand/contract: релиз N добавляет новую форму и пишет в обе; релиз N+1 (после того, как N полностью раскатан и откатываться дальше него вы не собираетесь) удаляет старую. Именно это делает безопасным сценарий «обновились, посмотрели, при необходимости откатились»: откат на N работает против схемы, мигрированной в N+1, потому что N+1 удалил лишь то, чем N уже не пользовался.
Правило не только задокументировано, но и проверяется: последний шаг tests/restore_drill.sh запускает предыдущий релиз против мигрированной схемы и роняет сборку, если тот не может обслуживать запросы и принимать алерты.
Миграции лежат в internal/store/migrations/NNNN_*.sql и применяются по порядку однократно.
Обновление и откат
Перед любым обновлением:
- Сделайте свежую резервную копию (дамп по варианту C быстр и переносим) и запишите её отметку времени — это ваша точка восстановления при откате.
- Просмотрите новые миграции в
internal/store/migrations/на соответствие контракту выше.
Обновление (Helm; образы и chart имеют одну версию):
helm upgrade nxs-anomaly oci://registry.nixys.ru/<helm-project>/nxs-anomaly \
--version <новая> -f values-production.yaml --reset-then-reuse-values--reset-then-reuse-values (Helm 3.14+), а не --reuse-values: второй флаг берёт values прошлого chart-а целиком, без ключей, которые добавил новый.
Миграции применяются при старте. Следите за /ready worker-а и метриками доставки.
Откат:
Только приложение (новые миграции аддитивны — обычный случай): откатите образы. Предыдущая версия работает против мигрированной схемы, потому что изменения были обратно совместимы.
bashhelm rollback nxs-anomaly # предыдущий релиз # либо: helm upgrade … --version <предыдущая>Схему тоже нужно вернуть (только если релиз нарушил контракт или требуется восстановить данные): восстановите резервную копию, снятую до обновления, и разверните предыдущую версию на неё. Данные, записанные между копией и откатом, будут потеряны — в пределах вашего RPO.
Никогда не откатывайте приложение дальше релиза, чья миграция уже выполнила contract-фазу (удалила старые колонки) — это ровно та граница, которую защищает правило двух релизов.