Skip to content

Capacity & chaos envelope (BETA-022) ​

Как измерить пропускную способность nxs-anomaly и убедиться, что при beta-нагрузке он держит целевые показатели и не теряет уведомления при сбоях. Harness и правила приёмки — в tests/loadtest/loadtest.go, запуск — tests/run_load_test.sh.

Что измеряется ​

Harness гоняет движок против настоящего PostgreSQL с фиксированными профилями, встраивает время приёма алерта в его заголовок и на стороне webhook-стаба считает:

  • ingest→first-attempt latency — от IngestAlert до первой доставки по группе (p50/p95/p99/max);
  • потери — доставлена ли каждая группа (delivered_groups == alerts);
  • дубли — доставлена ли группа своим получателям более одного раза (double_deliveries), в т.ч. между репликами;
  • дренаж backlog — вернулась ли очередь delivery_scheduled/retry/delivering к нулю после прекращения ingest.

Профили и сценарии ​

run_load_test.sh прогоняет матрицу (по умолчанию alerts=1500, rate=150/с, переопределяются LOADTEST_ALERTS/LOADTEST_RATE):

ПрофильworkersинтеграцийscenarioЧто проверяет
baseline-111baselineодна реплика worker
baseline-221baselineдве реплики, нет дублей
baseline-441baselineмасштабирование по репликам
baseline-multi28baselineприём разложен по источникам: сериализация на интеграцию перестаёт быть общей
slow-provider21provider_timeout~20% доставок медленные (2с)
worker-kill21worker_killреплику убивают на середине — потерь нет
retry-storm21retry_stormпровайдер отдаёт 500 первую треть — всё дошло

У каждого профиля свой бюджет дренажа: он свойство сценария, а не сюиты. Все профили задаются одним списком в tests/run_load_test.sh; число получателей везде 3.

Правила приёмки (harness падает с exit 1) ​

  • p95 ingest→first-attempt < 10 c для всех профилей, кроме provider_timeout (там задержка внесена намеренно — проверяется отсутствие потерь, а не латентность);
  • дублей не больше, чем реклеймов (double_deliveries <= reclaimed_stale_claims), включая multi-worker. На здоровых профилях реклеймов нет, и порог равен нулю. На worker_kill он не может быть нулём: воркер, убитый между POST'ом провайдеру и сохранением, оставляет claim, который реаппер возвращает, а повторная отправка — это работающий at-least-once, а не дефект. Дубль, за которым нет реклейма, — это два воркера на одном уведомлении, то есть настоящая потеря эксклюзивности, и падать надо именно на нём;
  • ноль потерь — при сошедшемся дренаже доставлены все группы;
  • backlog дренится в пределах -drain-timeout: пусты все четыре in-flight статуса, включая оба транзитных claim-а (delivering, retrying).

worker_kill и retry_storm — прямая проверка «crash не теряет уведомление»: claim реклеймится (ReclaimStaleClaims) и досылается другой репликой. Для worker_kill harness укорачивает аренду claim-а до 15 с: дефолт (defaultClaimTimeout, пол — 5 минут) выведен из худшей стадии доставки и длиннее любого разумного бюджета дренажа, поэтому с ним сценарий проходил только тогда, когда убийство приходилось в промежуток между доставками — то есть когда оно ничего не оставляло и путь реклейма, ради которого сценарий существует, не выполнялся вовсе.

Как запустить ​

bash
# Поднимет одноразовый postgres:17-alpine и прогонит все профили:
tests/run_load_test.sh

# Против готовой БД:
NXS_ANOMALY_TEST_DATABASE_URL='postgres://user:pass@host:5432/db?sslmode=disable' \
  tests/run_load_test.sh

# Один профиль вручную:
go run -tags loadtest ./tests/loadtest \
  -alerts 2000 -rate 200 -workers 2 -recipients 3 -scenario baseline

Каждый профиль печатает JSON-отчёт (p95_seconds, double_deliveries, reclaimed_stale_claims, backlog_drained, pass, …).

Измеренный envelope ​

Числа зависят от CPU, диска и латентности PostgreSQL — «канонической» цифры нет, перезапустите harness в своём окружении. Ниже — эталонный прогон alerts=1500, recipients=3 (4500 доставок/профиль) на dev-окружении WSL2 / 4 vCPU / postgres:17-alpine в Docker.

Профильworkersинтеграцийdrainingestалертов/сp95дублипотери
baseline1160s72.1s20.80.20s00
baseline2160s77.0s19.50.16s00
baseline4160s73.5s20.40.12s00
baseline2860s78.8s19.00.16s00
provider_timeout21180s52.5s28.668.08s00
worker_kill2190s73.6s20.40.20s3 (= реклеймов)0
retry_storm2190s74.4s20.20.22s00

Выводы:

  • Пропускная способность приёма — ~20 алертов/с и она больше не зависит от того, сколько групп уже открыто. Раньше ingest внутри advisory-лока загружал все незакрытые группы интеграции, поэтому стоимость одного алерта росла линейно с бэклогом: 16.6 мс при 50 открытых группах, 148.1 мс при 800, то есть ~0.174 мс на группу, а серия из n алертов стоила O(n²). Закрытие 800 групп возвращало латентность к 17.0 мс, что и показало причину. С narrowed LoadSpec тот же прогон в 1500 алертов идёт 81.5 с вместо 204.6 с.
  • Число воркеров на приём не влияет (20.8 / 19.5 / 20.4 а/с при 1 / 2 / 4): узкое место в пути приёма, а не в доставке. Воркеры сужают хвост доставки — p95 падает с 0.222 с до 0.136 с, — но пропускную способность приёма не двигают.
  • Число интеграций тоже не помогает (19.0 а/с на восьми против 20.8 на одной). Приём сериализуется на интеграцию через advisory-лок, поэтому раскладка по источникам теоретически должна была масштабировать — не масштабирует. Значит после устранения загрузки групп предел лежит в чём-то общем (пул соединений, запись в PostgreSQL), а не в per-integration локе. Это следующее, что стоит измерять; сужать лок смысла нет.
  • p95 ingest→first-attempt на baseline — 0.12–0.20 с, на два порядка ниже целевых 10 с.
  • provider_timeout и retry_storm дают высокую латентность у затронутой доли доставок — это ожидаемо (2-секундный провайдер и retry-backoff), поэтому SLO-гейт p95 применяется только к baseline. Обе целостности при этом держатся.
  • Бюджет дренажа задаётся профилем, а не одной константой. provider_timeout держит ~20% из 4500 доставок за 2-секундным провайдером; в 60 с он укладывался лишь потому, что медленный приём растягивал работу. После ускорения приёма тот же прогон доставил 1335/1500 за 60 с и 1500/1500 за 180 с — ничего не потеряно, дренажу просто дали меньше времени. Критерий приёмки, который держится на медлительности продюсера, — это совпадение, а не критерий.
  • worker_kill (реплику убивают на середине) — ноль потерь: брошенные claim-ы реклеймятся и досылаются второй репликой. Дубли при этом ровно те, что объясняются реклеймами (3 из 4500 на прогоне выше): уведомление, которое убитый воркер успел отправить провайдеру, но не успел сохранить, приходит получателю дважды. Это цена at-least-once, а не дефект; ноль здесь означал бы, что убийство ничего не задело.
  • Абсолютные цифры сильно зависят от машины. Прогон, давший таблицу выше, и прогон до правки LoadSpec делались на одной машине с разной фоновой нагрузкой: ~73 с против 204.6 с. Само по себе это сравнение не контролируемое. Контролируемое — замер кривой «латентность против числа открытых групп» встык, и обратный опыт с закрытием групп; они и доказывают механизм. Перезапускайте harness у себя, сравнивайте с собой.

DB restart из исходной формулировки harness напрямую не инжектирует (нужен внешний оркестратор контейнера/брокера); claim-реклейм и outbox-повтор, которые они бы проверяли, покрыты worker_kill/retry_storm и тестами integration-suite.

Рекомендуемые ресурсы (стартовые) ​

Для целевой beta-аудитории (1–3 SRE-команды, десятки интеграций, пики сотни алертов/мин):

КомпонентРепликиCPU (req/limit)Memory (req/limit)Заметки
API (serve --no-scheduler)2100m / 500m128Mi / 256Miмасштабируется горизонтально
Worker (run-worker)1–2200m / 1000m128Mi / 256Miclaim-модель допускает несколько реплик без дублей
PostgreSQL1 (+HA по вкусу)500m / 2000m512Mi / 2Giгорячий путь — claim и upsert notifications

Пул соединений БД задаётся NXS_ANOMALY_DB_POOL_MIN/_MAX; при росте nxs_anomaly_db_pool_empty_acquire_total под нагрузкой — поднимайте _MAX. Порог worker-простоя для readiness — NXS_ANOMALY_WORKER_STALL_TIMEOUT_SECONDS (по умолчанию max(30s, 4×poll)).

nxs-anomaly · Documentation