Capacity & chaos envelope (BETA-022)
Как измерить пропускную способность nxs-anomaly и убедиться, что при beta-нагрузке он держит целевые показатели и не теряет уведомления при сбоях. Harness и правила приёмки — в tests/loadtest/loadtest.go, запуск — tests/run_load_test.sh.
Что измеряется
Harness гоняет движок против настоящего PostgreSQL с фиксированными профилями, встраивает время приёма алерта в его заголовок и на стороне webhook-стаба считает:
- ingest→first-attempt latency — от
IngestAlertдо первой доставки по группе (p50/p95/p99/max); - потери — доставлена ли каждая группа (
delivered_groups == alerts); - дубли — доставлена ли группа своим получателям более одного раза (
double_deliveries), в т.ч. между репликами; - дренаж backlog — вернулась ли очередь
delivery_scheduled/retry/deliveringк нулю после прекращения ingest.
Профили и сценарии
run_load_test.sh прогоняет матрицу (по умолчанию alerts=1500, rate=150/с, переопределяются LOADTEST_ALERTS/LOADTEST_RATE):
| Профиль | workers | интеграций | scenario | Что проверяет |
|---|---|---|---|---|
| baseline-1 | 1 | 1 | baseline | одна реплика worker |
| baseline-2 | 2 | 1 | baseline | две реплики, нет дублей |
| baseline-4 | 4 | 1 | baseline | масштабирование по репликам |
| baseline-multi | 2 | 8 | baseline | приём разложен по источникам: сериализация на интеграцию перестаёт быть общей |
| slow-provider | 2 | 1 | provider_timeout | ~20% доставок медленные (2с) |
| worker-kill | 2 | 1 | worker_kill | реплику убивают на середине — потерь нет |
| retry-storm | 2 | 1 | retry_storm | провайдер отдаёт 500 первую треть — всё дошло |
У каждого профиля свой бюджет дренажа: он свойство сценария, а не сюиты. Все профили задаются одним списком в tests/run_load_test.sh; число получателей везде 3.
Правила приёмки (harness падает с exit 1)
- p95 ingest→first-attempt < 10 c для всех профилей, кроме
provider_timeout(там задержка внесена намеренно — проверяется отсутствие потерь, а не латентность); - дублей не больше, чем реклеймов (
double_deliveries <= reclaimed_stale_claims), включая multi-worker. На здоровых профилях реклеймов нет, и порог равен нулю. Наworker_killон не может быть нулём: воркер, убитый между POST'ом провайдеру и сохранением, оставляет claim, который реаппер возвращает, а повторная отправка — это работающий at-least-once, а не дефект. Дубль, за которым нет реклейма, — это два воркера на одном уведомлении, то есть настоящая потеря эксклюзивности, и падать надо именно на нём; - ноль потерь — при сошедшемся дренаже доставлены все группы;
- backlog дренится в пределах
-drain-timeout: пусты все четыре in-flight статуса, включая оба транзитных claim-а (delivering,retrying).
worker_kill и retry_storm — прямая проверка «crash не теряет уведомление»: claim реклеймится (ReclaimStaleClaims) и досылается другой репликой. Для worker_kill harness укорачивает аренду claim-а до 15 с: дефолт (defaultClaimTimeout, пол — 5 минут) выведен из худшей стадии доставки и длиннее любого разумного бюджета дренажа, поэтому с ним сценарий проходил только тогда, когда убийство приходилось в промежуток между доставками — то есть когда оно ничего не оставляло и путь реклейма, ради которого сценарий существует, не выполнялся вовсе.
Как запустить
# Starts a throwaway postgres:17-alpine and runs every profile:
tests/run_load_test.sh
# Against an existing database:
NXS_ANOMALY_TEST_DATABASE_URL='postgres://user:pass@host:5432/db?sslmode=disable' \
tests/run_load_test.sh
# One profile by hand:
go run -tags loadtest ./tests/loadtest \
-alerts 2000 -rate 200 -workers 2 -recipients 3 -scenario baselineКаждый профиль печатает JSON-отчёт (p95_seconds, double_deliveries, reclaimed_stale_claims, backlog_drained, pass, …).
Измеренный envelope
Числа зависят от CPU, диска и латентности PostgreSQL — «канонической» цифры нет, перезапустите harness в своём окружении. Ниже — эталонный прогон
alerts=1500, recipients=3(4500 доставок/профиль) на dev-окружении WSL2 / 4 vCPU /postgres:17-alpineв Docker.
| Профиль | workers | интеграций | drain | ingest | алертов/с | p95 | дубли | потери |
|---|---|---|---|---|---|---|---|---|
| baseline | 1 | 1 | 60s | 72.1s | 20.8 | 0.20s | 0 | 0 |
| baseline | 2 | 1 | 60s | 77.0s | 19.5 | 0.16s | 0 | 0 |
| baseline | 4 | 1 | 60s | 73.5s | 20.4 | 0.12s | 0 | 0 |
| baseline | 2 | 8 | 60s | 78.8s | 19.0 | 0.16s | 0 | 0 |
| provider_timeout | 2 | 1 | 180s | 52.5s | 28.6 | 68.08s | 0 | 0 |
| worker_kill | 2 | 1 | 90s | 73.6s | 20.4 | 0.20s | 3 (= реклеймов) | 0 |
| retry_storm | 2 | 1 | 90s | 74.4s | 20.2 | 0.22s | 0 | 0 |
Выводы:
- Пропускная способность приёма — ~20 алертов/с и она больше не зависит от того, сколько групп уже открыто. Раньше ingest внутри advisory-лока загружал все незакрытые группы интеграции, поэтому стоимость одного алерта росла линейно с бэклогом: 16.6 мс при 50 открытых группах, 148.1 мс при 800, то есть ~0.174 мс на группу, а серия из n алертов стоила O(n²). Закрытие 800 групп возвращало латентность к 17.0 мс, что и показало причину. С narrowed LoadSpec тот же прогон в 1500 алертов идёт 81.5 с вместо 204.6 с.
- Число воркеров на приём не влияет (20.8 / 19.5 / 20.4 а/с при 1 / 2 / 4): узкое место в пути приёма, а не в доставке. Воркеры сужают хвост доставки — p95 падает с 0.222 с до 0.136 с, — но пропускную способность приёма не двигают.
- Число интеграций тоже не помогает (19.0 а/с на восьми против 20.8 на одной). Приём сериализуется на интеграцию через advisory-лок, поэтому раскладка по источникам теоретически должна была масштабировать — не масштабирует. Значит после устранения загрузки групп предел лежит в чём-то общем (пул соединений, запись в PostgreSQL), а не в per-integration локе. Это следующее, что стоит измерять; сужать лок смысла нет.
- p95 ingest→first-attempt на baseline — 0.12–0.20 с, на два порядка ниже целевых 10 с.
- provider_timeout и retry_storm дают высокую латентность у затронутой доли доставок — это ожидаемо (2-секундный провайдер и retry-backoff), поэтому SLO-гейт p95 применяется только к baseline. Обе целостности при этом держатся.
- Бюджет дренажа задаётся профилем, а не одной константой. provider_timeout держит ~20% из 4500 доставок за 2-секундным провайдером; в 60 с он укладывался лишь потому, что медленный приём растягивал работу. После ускорения приёма тот же прогон доставил 1335/1500 за 60 с и 1500/1500 за 180 с — ничего не потеряно, дренажу просто дали меньше времени. Критерий приёмки, который держится на медлительности продюсера, — это совпадение, а не критерий.
- worker_kill (реплику убивают на середине) — ноль потерь: брошенные claim-ы реклеймятся и досылаются второй репликой. Дубли при этом ровно те, что объясняются реклеймами (3 из 4500 на прогоне выше): уведомление, которое убитый воркер успел отправить провайдеру, но не успел сохранить, приходит получателю дважды. Это цена at-least-once, а не дефект; ноль здесь означал бы, что убийство ничего не задело.
- Абсолютные цифры сильно зависят от машины. Прогон, давший таблицу выше, и прогон до правки LoadSpec делались на одной машине с разной фоновой нагрузкой: ~73 с против 204.6 с. Само по себе это сравнение не контролируемое. Контролируемое — замер кривой «латентность против числа открытых групп» встык, и обратный опыт с закрытием групп; они и доказывают механизм. Перезапускайте harness у себя, сравнивайте с собой.
DB restart из исходной формулировки harness напрямую не инжектирует (нужен внешний оркестратор контейнера/брокера); claim-реклейм и outbox-повтор, которые они бы проверяли, покрыты worker_kill/retry_storm и тестами integration-suite.
Рекомендуемые ресурсы (стартовые)
Для целевой beta-аудитории (1–3 SRE-команды, десятки интеграций, пики сотни алертов/мин):
| Компонент | Реплики | CPU (req/limit) | Memory (req/limit) | Заметки |
|---|---|---|---|---|
API (serve --no-scheduler) | 2 | 100m / 500m | 128Mi / 256Mi | масштабируется горизонтально |
Worker (run-worker) | 1–2 | 200m / 1000m | 128Mi / 256Mi | claim-модель допускает несколько реплик без дублей |
| PostgreSQL | 1 (+HA по вкусу) | 500m / 2000m | 512Mi / 2Gi | горячий путь — claim и upsert notifications |
Пул соединений БД задаётся NXS_ANOMALY_DB_POOL_MIN/_MAX; при росте nxs_anomaly_db_pool_empty_acquire_total под нагрузкой — поднимайте _MAX, но учитывайте замечание в SETUP.md: увеличение пула помогает только тогда, когда у базы остаётся свободный CPU. Порог worker-простоя для readiness — NXS_ANOMALY_WORKER_STALL_TIMEOUT_SECONDS (по умолчанию max(30s, 4×poll)).