Skip to content

Инвентаризация персональных данных ​

Что nxs-anomaly хранит о людях, где именно, чем это ограничено по сроку и что с этим делать по запросу человека.

Документ описывает продукт, а не конкретную инсталляцию. Роли оператора и обработчика, правовые основания и договорные обязательства — вне его: их определяет тот, кто разворачивает систему. Здесь — фактическая карта данных, на которую эти документы опираются.

Три вещи, которые стоит понять до чтения таблицы:

  1. Продукт не собирает персональные данные сам. Всё, что перечислено ниже, попадает в него одним из трёх способов: администратор завёл дежурного, человек вошёл в интерфейс, или система мониторинга прислала алерт с произвольным содержимым. Третий канал самый неудобный: alert payload — это данные, которые никто не классифицировал, и относиться к ним нужно как к потенциально персональным.
  2. Срок хранения по умолчанию — «бессрочно». Это сделано намеренно (апгрейд не должен молча начать удалять историю инцидентов), но для инсталляции с персональными данными отсутствие срока — не значение по умолчанию, а несделанный выбор. Явный values-оверлей задаёт сроки хранения, а readiness-проверка data_retention предупреждает, пока их нет.
  3. Копии за пределами базы живут по своим правилам. Бэкапы, логи, трейсы и и трейсы — независимые хранилища со своим сроком, доступом и географией. Удаление пользователя их не затрагивает; отчёт об удалении называет их прямо, а не умалчивает.

Карта данных ​

1. Идентификация человека ​

ЧтоГдеКак попадаетЧем ограничено
ФИО / отображаемое имяnxs_anomaly_users.data->>'name'создание пользователяживёт, пока живёт пользователь; удаляется/псевдонимизируется через erase
Логинnxs_anomaly_users.usernameто жето же
Emailnxs_anomaly_users.emailто же; используется как адрес доставки канала emailто же
Телефонnxs_anomaly_users.data->>'phone'то же; адрес доставки канала callто же
Telegram IDnxs_anomaly_users.data->>'telegram_id'то же; адрес доставки канала telegramто же
Хеш пароляnxs_anomaly_user_credentials.password_hashустановка паролявынесен из users.data намеренно (миграция 0019): этот JSONB отдаётся дословно через /api/v1/users. В экспорт не попадает никогда — это учётные данные, а не сведения о человеке; экспорт сообщает только факт наличия.

2. Сессии и адреса ​

ЧтоГдеЧем ограничено
IP клиента, User-Agentnxs_anomaly_web_sessions.request_ip / user_agentNXS_ANOMALY_WEB_SESSION_RETENTION_DAYS; истёкшие удаляются отдельно, через сутки после истечения
Хеш токена сессииnxs_anomaly_web_sessions.token_hashхранится SHA-256, не сам токен: дамп базы не выдаёт живые сессии. В экспорт не попадает.
IP запроса в аудитеnxs_anomaly_audit_events.request_ipNXS_ANOMALY_AUDIT_RETENTION_DAYS; при erase заменяется на пустую строку
Мобильные устройства и push-токеныnxs_anomaly_mobile_devices, nxs_anomaly_mobile_sessionsудаляются при erase; отдельного срока нет — запись существует, пока существует устройство

3. Оповещения ​

ЧтоГдеЧем ограничено
Адрес доставки (chat id, email, номер)nxs_anomaly_notifications.data->>'target'NXS_ANOMALY_NOTIFICATION_RETENTION_DAYS; при erase заменяется псевдонимом, строка остаётся
Кого и когда разбудилиnxs_anomaly_notifications (user_id, status, времена)то же; erase это не трогает — это факт, а не персональные данные
Ответ провайдера, текст ошибки, таймингиnxs_anomaly_notification_delivery_attemptsNXS_ANOMALY_DELIVERY_ATTEMPT_RETENTION_DAYS
Зеркало ChatOps-сообщенийnxs_anomaly_chatops_messagesNXS_ANOMALY_CHATOPS_MESSAGES_TTL_DAYS

4. Алерты ​

ЧтоГдеЧем ограничено
Payload алерта: заголовок, метки, произвольные поля источникаnxs_anomaly_alerts.data, nxs_anomaly_alert_groups.dataNXS_ANOMALY_ALERT_GROUP_TTL_DAYS (удаляются разрешённые группы вместе с алертами)

Это единственная категория, содержимое которой продукт не контролирует. Имена хостов, учётные записи, тексты запросов, иногда адреса клиентов — всё, что система мониторинга положила в алерт, доедет сюда дословно. Практический вывод: срок хранения групп алертов — это и есть срок хранения неклассифицированных данных, и он должен выбираться исходя из этого, а не из удобства расследований.

5. Аудит ​

ЧтоГдеЧем ограничено
Кто, что и над чем сделалnxs_anomaly_audit_eventsNXS_ANOMALY_AUDIT_RETENTION_DAYS
Имя актораactor_nameпри erase заменяется псевдонимом
IP запросаrequest_ipпри erase очищается

Таблица append-only на уровне триггера. Ровно два пути пишут в неё иначе — retention-свип и псевдонимизация при удалении пользователя, — и оба отключают триггер внутри своей транзакции, так что при сбое он остаётся включённым. Ни один запросный путь туда не ведёт. Подробности и обоснование — в комментариях internal/store/store_audit.go и store_erasure.go.

6. Логи и трейсы ​

ЧтоГдеЧем ограничено
Структурные логи сервиса (LOG_FORMAT=json)stdout → сборщик логов инсталляцииретенцией лог-хранилища, не продукта
Трейсы (при tracing.enabled)OTLP-коллекторретенцией коллектора

Логи содержат идентификаторы объектов, коды интеграций и — на уровне debug — тексты уведомлений. Трейсы содержат ключи интеграций, id групп и тайминги. Обе системы — часть периметра персональных данных, и решение об их размещении принимается вместе с решением о базе. values-оверлей инсталляции поэтому обычно предлагает ровно два состояния трейсинга: выключен или отправляет в коллектор внутри того же периметра.

7. Бэкапы ​

Бэкап содержит ровно то же, что живая база, включая всё перечисленное выше, и живёт по своему сроку. Удаление пользователя на бэкапы не распространяется: восстановление из бэкапа, снятого до удаления, вернёт данные. Это ограничение названо в отчёте об удалении (out_of_scope) и должно быть учтено в процедуре: либо срок хранения бэкапов ограничен, либо удаление повторяется после восстановления.

Процедуры и проверки — BACKUP_RESTORE.md, tests/pitr_drill.sh.

Настройки хранения ​

Все — переменные окружения, задаются через config в чарте. 0 означает «хранить бессрочно».

ПеременнаяЧто ограничиваетПо умолчанию
NXS_ANOMALY_ALERT_GROUP_TTL_DAYSразрешённые группы алертов и их алерты30
NXS_ANOMALY_CHATOPS_MESSAGES_TTL_DAYSзеркало ChatOps30
NXS_ANOMALY_AUDIT_RETENTION_DAYSаудит0
NXS_ANOMALY_NOTIFICATION_RETENTION_DAYSзавершённые уведомления0
NXS_ANOMALY_DELIVERY_ATTEMPT_RETENTION_DAYSпопытки доставки0
NXS_ANOMALY_WEB_SESSION_RETENTION_DAYSweb-сессии (IP, User-Agent)0

Чистка идёт каждым циклом воркера, категориями и партиями (см. internal/engine/retention.go). Удаляются только терминальные уведомления: уведомление в полёте — это работа, а не история, и его удаление означало бы молча пропавший пейдж.

Результат виден в метрике:

nxs_anomaly_retention_deleted_total{category="audit_events"}

Категории: alert_groups, audit_events, chatops_messages, notifications, delivery_attempts, web_sessions. Категория с заданным сроком и плоским счётчиком — это свип, который перестал работать; именно ради этой разницы счётчик и существует. Каждое удаление дополнительно пишется в лог на уровне info: строки, покидающие базу, не должны исчезать молча.


Запросы человека о своих данных ​

Экспорт ​

GET /api/v1/users/{id}/export        # admin only

Собирается чтением записей, а не их пересказом: человек должен увидеть то, что действительно хранится. Разделы: сам пользователь, команды, web-сессии, уведомления и попытки доставки, мобильные устройства и сессии, ChatOps-каналы, расписания, в которых он упомянут, и две выборки аудита — что он делал и что делали с ним. Обе выборки ограничены audit_export_limit, и это число возвращается в ответе, чтобы усечение было видно как усечение.

Хеш пароля и хеши токенов сессий не выгружаются никогда.

Эндпоинт admin-only, несмотря на то что это GET: обычный порог на чтение позволил бы любому аутентифицированному выгрузить чужую историю пейджей.

Удаление ​

POST /api/v1/users/{id}/erase        # admin only
ДействиеНад чем
Удаляетсяучётные данные, web-сессии (в них IP), мобильные устройства и сессии, ChatOps-каналы человека
Псевдонимизируетсязапись пользователя, адреса доставки в уведомлениях и попытках, actor_name и request_ip в аудите
Не трогаетсясами события: что произошло, когда, в каком порядке и под каким непрозрачным id

Запись пользователя остаётся тумбстоуном (erased_at, роль пустая, не на дежурстве). Причина не в удобстве: полное удаление строки осиротило бы историю алертов и уничтожило бы аудит действий этого человека над чужими данными — ровно то, ради чего аудит существует.

Ответ — не обещание, а проверка: после записи данные читаются обратно и в них ищутся исходные идентификаторы.

json
{
  "verified": true,
  "residue": [],
  "counts": {"web_sessions_deleted": 1, "audit_events_pseudonymised": 12},
  "out_of_scope": ["backups …", "log pipeline …", "traces …"]
}

Операция идемпотентна: повторный вызов перепроверяет и отвечает already_erased: true. Само удаление тоже пишется в аудит.


Ограничение внешних каналов ​

Telegram, Slack, Mattermost и произвольные webhooks — это передача вовне того, кто сейчас дежурит и что у клиента ломается. Два независимых рычага:

yaml
config:
  # Channels forbidden installation-wide.
  NXS_ANOMALY_BLOCKED_CHANNELS: "telegram,slack,mattermost"
  # Where delivery may go at all: hostnames (a leading dot covers subdomains)
  # and/or CIDRs. Empty means no restriction.
  NXS_ANOMALY_EGRESS_ALLOWLIST: ".example.com,10.20.0.0/16"

Проверка стоит в трёх местах, и это не дублирование:

  • при настройке — сохранить цель на запрещённом канале нельзя, иначе оператор узнает о запрете в ночь, когда никого не разбудили;
  • при доставке — объекты, настроенные до ужесточения политики, всё равно не уедут; уведомление завершается терминальным skipped с причиной (channel_blocked_by_policy / destination_not_allowlisted), а не «ничего не произошло»;
  • на редиректах — 302 ведёт туда, куда инсталляция не соглашалась, и allowlist проверяется на каждом хопе.

Allowlist судит адрес как он записан; SSRF-guard (NXS_ANOMALY_BLOCK_PRIVATE_WEBHOOKS) идёт по DNS и судит то, во что имя разрешилось. Они дополняют друг друга: разрешённое имя, указывающее внутрь кластера, всё равно будет отклонено.

Readiness-проверка channel_policy — блокер, пока хоть один пользователь, шаг эскалации или ChatOps-канал указывает на запрещённый канал или неразрешённый адрес. Не потому, что что-то утечёт (не утечёт), а потому, что в ростере это выглядит как способ дозвониться до человека, а по факту им не является.


Что этот документ не решает ​

  • Правовые основания, уведомления и договорное распределение ролей.
  • Локализацию: где физически стоят база, бэкапы, лог-хранилище и коллектор трейсов. Values-оверлей инсталляции задаёт форму (внешний PostgreSQL с TLS и PITR, трейсинг либо выключен, либо внутри периметра), но проверить географию из чарта нельзя.
  • Процедуру реагирования на инцидент с данными.

nxs-anomaly · Documentation