Инвентаризация персональных данных
Что nxs-anomaly хранит о людях, где именно, чем это ограничено по сроку и что с этим делать по запросу человека.
Документ описывает продукт, а не конкретную инсталляцию. Роли оператора и обработчика, правовые основания и договорные обязательства — вне его: их определяет тот, кто разворачивает систему. Здесь — фактическая карта данных, на которую эти документы опираются.
Три вещи, которые стоит понять до чтения таблицы:
- Продукт не собирает персональные данные сам. Всё, что перечислено ниже, попадает в него одним из трёх способов: администратор завёл дежурного, человек вошёл в интерфейс, или система мониторинга прислала алерт с произвольным содержимым. Третий канал самый неудобный:
alert payload— это данные, которые никто не классифицировал, и относиться к ним нужно как к потенциально персональным. - Срок хранения по умолчанию — «бессрочно». Это сделано намеренно (апгрейд не должен молча начать удалять историю инцидентов), но для инсталляции с персональными данными отсутствие срока — не значение по умолчанию, а несделанный выбор. Явный values-оверлей задаёт сроки хранения, а readiness-проверка
data_retentionпредупреждает, пока их нет. - Копии за пределами базы живут по своим правилам. Бэкапы, логи, трейсы и и трейсы — независимые хранилища со своим сроком, доступом и географией. Удаление пользователя их не затрагивает; отчёт об удалении называет их прямо, а не умалчивает.
Карта данных
1. Идентификация человека
| Что | Где | Как попадает | Чем ограничено |
|---|---|---|---|
| ФИО / отображаемое имя | nxs_anomaly_users.data->>'name' | создание пользователя | живёт, пока живёт пользователь; удаляется/псевдонимизируется через erase |
| Логин | nxs_anomaly_users.username | то же | то же |
nxs_anomaly_users.email | то же; используется как адрес доставки канала email | то же | |
| Телефон | nxs_anomaly_users.data->>'phone' | то же; адрес доставки канала call | то же |
| Telegram ID | nxs_anomaly_users.data->>'telegram_id' | то же; адрес доставки канала telegram | то же |
| OIDC subject | nxs_anomaly_users.data->>'oidc_subject' | первый вход через OIDC | то же |
| Хеш пароля | nxs_anomaly_user_credentials.password_hash | установка пароля | вынесен из users.data намеренно (миграция 0019): этот JSONB отдаётся дословно через /api/v1/users. В экспорт не попадает никогда — это учётные данные, а не сведения о человеке; экспорт сообщает только факт наличия. |
2. Сессии и адреса
| Что | Где | Чем ограничено |
|---|---|---|
| IP клиента, User-Agent | nxs_anomaly_web_sessions.request_ip / user_agent | NXS_ANOMALY_WEB_SESSION_RETENTION_DAYS; истёкшие удаляются отдельно, через сутки после истечения |
| Хеш токена сессии | nxs_anomaly_web_sessions.token_hash | хранится SHA-256, не сам токен: дамп базы не выдаёт живые сессии. В экспорт не попадает. |
| IP запроса в аудите | nxs_anomaly_audit_events.request_ip | NXS_ANOMALY_AUDIT_RETENTION_DAYS; при erase заменяется на пустую строку |
| Мобильные устройства и push-токены | nxs_anomaly_mobile_devices, nxs_anomaly_mobile_sessions | удаляются при erase; отдельного срока нет — запись существует, пока существует устройство |
3. Оповещения
| Что | Где | Чем ограничено |
|---|---|---|
| Адрес доставки (chat id, email, номер) | nxs_anomaly_notifications.data->>'target' | NXS_ANOMALY_NOTIFICATION_RETENTION_DAYS; при erase заменяется псевдонимом, строка остаётся |
| Кого и когда разбудили | nxs_anomaly_notifications (user_id, status, времена) | то же; erase это не трогает — это факт, а не персональные данные |
| Ответ провайдера, текст ошибки, тайминги | nxs_anomaly_notification_delivery_attempts | NXS_ANOMALY_DELIVERY_ATTEMPT_RETENTION_DAYS |
| Зеркало ChatOps-сообщений | nxs_anomaly_chatops_messages | NXS_ANOMALY_CHATOPS_MESSAGES_TTL_DAYS |
4. Алерты
| Что | Где | Чем ограничено |
|---|---|---|
| Payload алерта: заголовок, метки, произвольные поля источника | nxs_anomaly_alerts.data, nxs_anomaly_alert_groups.data | NXS_ANOMALY_ALERT_GROUP_TTL_DAYS (удаляются разрешённые группы вместе с алертами) |
Это единственная категория, содержимое которой продукт не контролирует. Имена хостов, учётные записи, тексты запросов, иногда адреса клиентов — всё, что система мониторинга положила в алерт, доедет сюда дословно. Практический вывод: срок хранения групп алертов — это и есть срок хранения неклассифицированных данных, и он должен выбираться исходя из этого, а не из удобства расследований.
5. Аудит
| Что | Где | Чем ограничено |
|---|---|---|
| Кто, что и над чем сделал | nxs_anomaly_audit_events | NXS_ANOMALY_AUDIT_RETENTION_DAYS |
| Имя актора | actor_name | при erase заменяется псевдонимом |
| IP запроса | request_ip | при erase очищается |
Таблица append-only на уровне триггера. Ровно два пути пишут в неё иначе — retention-свип и псевдонимизация при удалении пользователя, — и оба отключают триггер внутри своей транзакции, так что при сбое он остаётся включённым. Ни один запросный путь туда не ведёт. Подробности и обоснование — в комментариях internal/store/store_audit.go и store_erasure.go.
6. Логи и трейсы
| Что | Где | Чем ограничено |
|---|---|---|
Структурные логи сервиса (LOG_FORMAT=json) | stdout → сборщик логов инсталляции | ретенцией лог-хранилища, не продукта |
Трейсы (при tracing.enabled) | OTLP-коллектор | ретенцией коллектора |
Логи содержат идентификаторы объектов, коды интеграций и — на уровне debug — тексты уведомлений. Трейсы содержат ключи интеграций, id групп и тайминги. Обе системы — часть периметра персональных данных, и решение об их размещении принимается вместе с решением о базе. values-оверлей инсталляции поэтому обычно предлагает ровно два состояния трейсинга: выключен или отправляет в коллектор внутри того же периметра.
7. Бэкапы
Бэкап содержит ровно то же, что живая база, включая всё перечисленное выше, и живёт по своему сроку. Удаление пользователя на бэкапы не распространяется: восстановление из бэкапа, снятого до удаления, вернёт данные. Это ограничение названо в отчёте об удалении (out_of_scope) и должно быть учтено в процедуре: либо срок хранения бэкапов ограничен, либо удаление повторяется после восстановления.
Процедуры и проверки — BACKUP_RESTORE.md, tests/pitr_drill.sh.
8. Аналитика (ClickHouse)
Включается отдельно (kafkaConsumer.enabled) и по умолчанию выключена, в том числе в РФ-пресете: это вторая копия потока алертов во втором хранилище со своими правами доступа, сроком и бэкапами.
Что туда попадает:
- Не попадает никогда: адреса доставки, токены, URL, email, телефоны, тела ответов провайдеров и payload исходного алерта. Отсев идёт по имени поля (
redactedKeyTokensвinternal/engine/analytics_events.go) в момент постройки события, а не на стороне потребителя. - Попадает: идентификаторы (
user_id,team_id, id групп и уведомлений), времена и статусы. - При
NXS_ANOMALY_ANALYTICS_PSEUDONYMISE=trueидентификаторы человека и команды заменяются односторонним дайджестом. Что это даёт, точно: аналитическое хранилище само по себе перестаёт соединяться с таблицей пользователей — для перехода от дайджеста к человеку нужна прод-база. Что не даёт: это не анонимизация, события одного человека по-прежнему связываются между собой.
Срок хранения сырых событий — kafkaConsumer.analytics.rawRetentionDays (0 = бессрочно). См. KAFKA.md.
Настройки хранения
Все — переменные окружения, задаются через config в чарте. 0 означает «хранить бессрочно».
| Переменная | Что ограничивает | По умолчанию |
|---|---|---|
NXS_ANOMALY_ALERT_GROUP_TTL_DAYS | разрешённые группы алертов и их алерты | 30 |
NXS_ANOMALY_CHATOPS_MESSAGES_TTL_DAYS | зеркало ChatOps | 30 |
NXS_ANOMALY_AUDIT_RETENTION_DAYS | аудит | 0 |
NXS_ANOMALY_NOTIFICATION_RETENTION_DAYS | завершённые уведомления | 0 |
NXS_ANOMALY_DELIVERY_ATTEMPT_RETENTION_DAYS | попытки доставки | 0 |
NXS_ANOMALY_WEB_SESSION_RETENTION_DAYS | web-сессии (IP, User-Agent) | 0 |
| kafkaConsumer.analytics.rawRetentionDays (чарт) | сырые события в ClickHouse | 0 |
Чистка идёт каждым циклом воркера, категориями и партиями (см. internal/engine/retention.go). Удаляются только терминальные уведомления: уведомление в полёте — это работа, а не история, и его удаление означало бы молча пропавший пейдж.
Результат виден в метрике:
nxs_anomaly_retention_deleted_total{category="audit_events"}Категории: alert_groups, audit_events, chatops_messages, notifications, delivery_attempts, web_sessions. Категория с заданным сроком и плоским счётчиком — это свип, который перестал работать; именно ради этой разницы счётчик и существует. Каждое удаление дополнительно пишется в лог на уровне info: строки, покидающие базу, не должны исчезать молча.
Запросы человека о своих данных
Экспорт
GET /api/v1/users/{id}/export # только adminСобирается чтением записей, а не их пересказом: человек должен увидеть то, что действительно хранится. Разделы: сам пользователь, команды, web-сессии, уведомления и попытки доставки, мобильные устройства и сессии, ChatOps-каналы, расписания, в которых он упомянут, и две выборки аудита — что он делал и что делали с ним. Обе выборки ограничены audit_export_limit, и это число возвращается в ответе, чтобы усечение было видно как усечение.
Хеш пароля и хеши токенов сессий не выгружаются никогда.
Эндпоинт admin-only, несмотря на то что это GET: обычный порог на чтение позволил бы любому аутентифицированному выгрузить чужую историю пейджей.
Удаление
POST /api/v1/users/{id}/erase # только admin| Действие | Над чем |
|---|---|
| Удаляется | учётные данные, web-сессии (в них IP), мобильные устройства и сессии, ChatOps-каналы человека |
| Псевдонимизируется | запись пользователя, адреса доставки в уведомлениях и попытках, actor_name и request_ip в аудите |
| Не трогается | сами события: что произошло, когда, в каком порядке и под каким непрозрачным id |
Запись пользователя остаётся тумбстоуном (erased_at, роль пустая, не на дежурстве). Причина не в удобстве: полное удаление строки осиротило бы историю алертов и уничтожило бы аудит действий этого человека над чужими данными — ровно то, ради чего аудит существует.
Ответ — не обещание, а проверка: после записи данные читаются обратно и в них ищутся исходные идентификаторы.
{
"verified": true,
"residue": [],
"counts": {"web_sessions_deleted": 1, "audit_events_pseudonymised": 12},
"out_of_scope": ["бэкапы …", "лог-пайплайн …", "трейсы …"]
}Операция идемпотентна: повторный вызов перепроверяет и отвечает already_erased: true. Само удаление тоже пишется в аудит.
Ограничение внешних каналов
Telegram, Slack, Mattermost и произвольные webhooks — это передача вовне того, кто сейчас дежурит и что у клиента ломается. Два независимых рычага:
config:
# Каналы, запрещённые на уровне инсталляции.
NXS_ANOMALY_BLOCKED_CHANNELS: "telegram,slack,mattermost"
# Куда вообще разрешено ходить: имена хостов (ведущая точка = и поддомены)
# и/или CIDR. Пусто = ограничения нет.
NXS_ANOMALY_EGRESS_ALLOWLIST: ".example.ru,10.20.0.0/16"Проверка стоит в трёх местах, и это не дублирование:
- при настройке — сохранить цель на запрещённом канале нельзя, иначе оператор узнает о запрете в ночь, когда никого не разбудили;
- при доставке — объекты, настроенные до ужесточения политики, всё равно не уедут; уведомление завершается терминальным
skippedс причиной (channel_blocked_by_policy/destination_not_allowlisted), а не «ничего не произошло»; - на редиректах — 302 ведёт туда, куда инсталляция не соглашалась, и allowlist проверяется на каждом хопе.
Allowlist судит адрес как он записан; SSRF-guard (NXS_ANOMALY_BLOCK_PRIVATE_WEBHOOKS) идёт по DNS и судит то, во что имя разрешилось. Они дополняют друг друга: разрешённое имя, указывающее внутрь кластера, всё равно будет отклонено.
Readiness-проверка channel_policy — блокер, пока хоть один пользователь, шаг эскалации или ChatOps-канал указывает на запрещённый канал или неразрешённый адрес. Не потому, что что-то утечёт (не утечёт), а потому, что в ростере это выглядит как способ дозвониться до человека, а по факту им не является.
Что этот документ не решает
- Правовые основания, уведомления и договорное распределение ролей.
- Локализацию: где физически стоят база, бэкапы, лог-хранилище и коллектор трейсов. Values-оверлей инсталляции задаёт форму (внешний PostgreSQL с TLS и PITR, трейсинг либо выключен, либо внутри периметра), но проверить географию из чарта нельзя.
- Процедуру реагирования на инцидент с данными.