Обфускация данных

Описание

Обфускация данных — это процесс маскирования с деперсонификацией данных для обеспечения конфиденциальности, защиты персональной и другой чувствительной информации. Данная функциональность применяется для сохранения возможности работы с данными, при этом обеспечивая их непригодность для анализа в неконтролируемых условиях. Обфускация может использоваться в тестовых средах, для вывода информации на экраны, в отчетах и в других случаях, когда важно сохранить структуру и формат данных, но скрыть их реальное содержание.

Функциональность позволяет:

• маскировать данные непосредственно внутри экземпляра СУБД без использования внешнего инструмента;
• заменять реальные данные каждый раз, когда утилита выгрузки данных обращается к СУБД;
• реализовать обфускацию атрибутов отношений (столбцов) применительно к набору ролей базы данных.

Описываемое решение основано на свободно распространяемом расширении postgresql_anonymizer с доработками внутри продукта Platform V Pangolin DB.

Для выгрузки и записи дампа используются стандартные инструменты СУБД – pg_dump, pg_dumpall, pg_restore, psql, поддерживающие:

• форматы дампа: plain, custom, dir и tar;
• выгрузку данных в несколько потоков.

примечание

Поддерживается использование узла реплики в качестве источника для экспорта.

Доступ к обфусцированным данным можно получить тремя способами:

• Анонимные дампы: экспорт замаскированных данных;
• Статическое маскирование: удаление персональных данных в соответствии с правилами;
• Динамическое маскирование: скрытие личных данных только для замаскированных пользователей.

Методы маскирования данных

Методы статического маскирования:

• Искажение — добавление погрешности в атрибуты с итерируемыми типами данных.
• Перестановка — рандомизация значений атрибутов в пределах отношения.

Методы динамического маскирования:

• Удаление атрибута.
• Подмена атрибута константой (например, CONFIDENTIAL).
• Частичное маскирование (например, номер телефона в виде 79** *** ** 88).
• Искажение — значение генерируется в пределах определенного пользователем диапазона, относительно исходного значения (применяется только для числовых типов и типов, основанных на дате/времени).
• Обобщение — подменяемое значение генерируется как диапазон, содержащий исходное значения. Начало диапазона определяется как целое от деления исходного значения на ширину диапазона (применяется только для числовых типов и типов, основанных на дате/времени).
• Рандомизация — генерация случайного значения атрибута.
• Фальсификация — выбор случайного значения из таблицы подстановок.
• Псевдонимизация — вычисление хеша исходного значения с учетом соли (salted hash) с последующим выбором фальсифицированного значения на основе остатка от деления хеша на размер таблицы подстановок. Поддерживаются все атрибуты, перечисленные в алгоритме фальсификации, а также генератор текста Lorem Ipsum определенной длины.
• Хеширование текстовых данных — вычисление хеша исходного значения с учетом соли (salted hash). Метод не является криптографически устойчивым для словарных атак.

Генерация и фальсификация атрибутов

В функциональности предусмотрена генерация следующих атрибутов:

• целое значение в пределах заданного диапазона;
• дата;
• дата в указанном диапазоне;
• целое число в указанном диапазоне;
• хеш текста;
• значение массива;
• интервал времени;
• интервал целого числа;
• ENUM-значение;
• ИНН (юридического лица, физического лица) с проверкой контрольной суммы;
• ОГРН (юридического лица или индивидуального предпринимателя) с проверкой контрольной суммы;
• номер телефона;
• СНИЛС;
• строка;
• почтовый индекс.

В решении реализована фальсификация следующих атрибутов:

• адрес;
• город;
• компания (юридическое или физическое лицо);
• страна (полное название);
• e-mail;
• ФИО (допускается маска, позволяющая выбрать комбинацию фамилии, имени, отчества в любом составе и порядке. Возможна отдельная генерация фамилии, имени, отчества отдельно из более полного набора подстановок);
• почтовый индекс;
• SIRET;
• IBAN;
• ИНН;
• ОГРН;
• СНИЛС.

Важная информация

1. При выборе алгоритма маскирования следует обращать внимание на типизацию атрибута.

   Например, не следует использовать подмену константой CONFIDENTIAL для атрибута с типом timestamp.

2. Алгоритм «Смещение» не является статистически устойчивым.

   Многократное применение алгоритма к одному и тому же значению позволяет предсказать искомое значение, как среднее по выборке.

3. Алгоритмы «Смещение» и «Обобщение» предполагают применение смещения к исходному значению.

   Применение отклонения к таким значениям как: NULL, NaN, +Infinity, -Infinity и т.п. фактически не изменят исходное значение и не приводит к ошибке.

4. Алгоритм «Обобщение» не совместим с функциональностью снятия логических дампов, поскольку меняет тип данных атрибута.

5. Алгоритм «Перестановка» является необратимым и приводит к фактическому изменению значений атрибута. Ценность алгоритма в сохранении ссылочной целостности.

6. Алгоритмы «Рандомизация», «Фальсификация» используют предопределенные значения для локалей en_US, fr_FR, ru_RU.

   Выбор локали осуществляется перед инициализацией расширения. Допускается дополнение списков элементов для этих алгоритмов. В составе решения поставляется пример генератора данных на основе библиотеки Faker.

7. Алгоритмы маскирования, определенные для партиционированных таблиц не наследуются от партиционированной таблицы к секциям.

8. При выгрузке данных в логический дамп, создание метки SECURITY LABEL для отношений происходит до загрузки данных в таблицу.

   Валидация функции анонимизации на атрибут происходит в момент создания метки для атрибута, что может привести к ситуации, когда тип данных в таблице не соответствует как типу аргументов маскирующей функции, так и ее результату.

Настройка

Обозначения

Далее в разделе:

• <database_name>: название базы данных;
• <locale>: локаль инициализации таблиц подстановок;
• <sensitive_schema>: схема, содержащая сенситивные данные. Определяется с помощью GUC anon.sourceschema;
• <sensitive_rel>: отношение (таблица) с сенситивными данными;
• <sensitive_attr>: атрибут (колонка) с сенситивными данными;
• <sensitive_user>: пользователь или роль БД, от которых скрываются сенситивные данные;
• <const_value>: константа, соответствующая типу маскируемого поля;
• <function_name>: функция, соответствующая типу маскируемого поля и стратегии маскирования.

Для начала использования функциональности выполните следующие действия:

1. Установите rpm/deb-пакет расширения из поставляемой 3rd Party части дистрибутива:

   SberLinux, РЕД ОС, CentOS

   sudo dnf install pangolin-pg-anon-{version_component}-{OS}.x86_64.rpm

   Red Hat Enterprise Linux

   sudo yum install pangolin-pg-anon-{version_component}-{OS}.x86_64.rpm

   Astra Linux

   sudo apt install pangolin-pg-anon_{version_component}_amd64.deb

   Альт СП

   sudo apt-get install pangolin-pg-anon-{version_component}-{OS}.x86_64.rpm
   Подсказка

   Пример заполненной команды:

   cd $PGHOME/3rdparty/pg_anon
   
   sudo dnf install pangolin-pg-anon-1.3.1-sberlinux8.x86_64.rpm

2. Определите необходимые конфигурационные параметры. Пример:

   ALTER DATABASE <database_name> SET session_preload_libraries='anon';
   ALTER DATABASE <database_name> SET anon.default_locale='<locale>'; -- en_US,fr_FR,ru_RU
   ALTER DATABASE <database_name> SET anon.sourceschema='sensitive_schema';
   ALTER DATABASE <database_name> SET anon.maskschema='mask';
   Подсказка

   Параметры функциональности описаны далее в разделе «Конфигурационные параметры». Применение изменений данных параметров требует перечитывания конфигурации (SELECT pg_reload_conf()). Параметры можно определить для всего экземпляра (в файле конфигурации postgresql.conf или с помощью ALTER SYSTEM), либо на уровне базы данных (ALTER DATABASE).

3. Активируйте расширение anon для нужной БД. Используйте команду:

   \c <database_name>
   CREATE EXTENSION anon;

4. С помощью функции anon.init() инициализируйте расширение anon:

   SELECT * FROM anon.init();

   При инициализации загружаются таблицы псевдонимизации, случайно генерируются заполнение таблиц ИНН, ОГРН, СНИЛС, случайно выбираются до 2500 значений ФИО по соответствию пола.

5. Задайте правило маскирования с маскирующей функцией при выгрузке данных из <database_name>:

   SECURITY LABEL FOR anon ON DATABASE <database_name> IS 'EXPORTED WITH FUNCTION anon.mask_select';
   Подсказка

   Правила маскирования объявляются с помощью SECURITY LABEL. Для определения правил маскирования доступны различные функции маскировки.

   После настройки обфускации необходимых данных задайте SECURITY LABEL-метки для ролей, от которого скрываются сенситивные данные.

Использование динамического маскирования

С помощью функции anon.start_dynamic_masking инициализируется старт динамического маскирования, при котором:

1. Инициализируется схема данных для псевдонимизации (если она не была инициализирована ранее).
2. Отзываются права пользователя <sensitive_user> на схему <sensitive_schema>.
3. Создается схема для генерации анонимизированных данных, определенная параметром anon.maskschema.
4. Создается представление, соответствующее имени <sensitive_rel> и содержащее правила маскирования.

Далее определяются правила маскирования путем указания меток с заданными функциями.

Использование статического маскирования

При статическом маскировании безвозвратно заменяются исходные данные.

SELECT anon.<function_name>();

В <function_name> должна быть определена функция статического метода.

Конфигурационные параметры

Параметр	Значение по умолчанию	Описание
anon.algorithm	sha256	Алгоритм хеширования, применяемый методом псевдонимизации. Поддерживаются md5, sha1, sha224, sha256, sha384 и sha512
anon.allow_constraints_masking	false	Флаг, допускающий обфускацию для атрибутов, входящих в ограничение целостности
anon.default_locale	en_US	Локаль инициализации таблиц подстановок, применяемых в методах фальсификации и псевдонимизации
anon.k_anonymity_provider	k_anonymity	Имя SECURITY PROVIDER, используемого для метода K-Anonimity
anon.masking_policies	anon	Схема БД, используемая расширением обфускации данных и содержащая таблицы и функции подстановок
anon.maskschema	mask	Схема БД, используемая для генерации анонимизированных данных
anon.privacy_by_default	off	Выбор стратегии маскирования атрибутов, не имеющих метки SECURITY LABEL. При включении параметра — для всех атрибутов, имеющих значения по умолчанию — будут использоваться они. Для атрибутов, допускающих NULL — подставлен NULL
anon.restrict_to_trusted_schemas	on	Признак использования функций маскирования, расположенных только в схемах с атрибутом TRUSTED
anon.salt	Отсутствует	Соль, используемая для метода псевдонимизации
anon.sourceschema	public	Схема БД по умолчанию, содержащая исходные данные. В случае использования нескольких схем — каждая из них должна быть помечена атрибутом TRUSTED
anon.strict_mode	on	Требования соответствия типа подстановочного значения типу исходного значения
anon.transparent_dynamic_masking	off	Режим динамического маскирования

Объекты функциональности

Таблицы подстановок

В таблице ниже представлены таблицы подстановок предоставляемые функциональностью:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
anon.address	-	-	Адрес
anon.city	-	-	Город
anon.company	-	-	Компания
anon.country	-	-	Страна
anon.email	-	-	e-mail
anon.first_name	-	-	Имя физического лица
anon.iban	-	-	IBAN
anon.identifier	-	-	Идентификатор атрибута для автоматической разметки БД в целях анонимизации
anon.identifiers_category	-	-	Категория идентификатора для автоматической разметки БД в целях анонимизации
anon.inn	-	-	ИНН
anon.last_name	-	-	Фамилия физического лица
anon.lorem_ipsum	-	-	Текстовые данные для генератора текстовых данных
anon.middle_name	-	-	Отчество физического лица
anon.ogrn	-	-	ОГРН
anon.personal_name	-	-	ФИО физического лица
anon.postcode	-	-	Почтовый индекс
anon.siret	-	-	SIRET
anon.snils	-	-	СНИЛС

Представления

Представления предоставляемые функциональностью:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
pg_identifiers	-	attrelid::oid, attnum::integer, relname::name, attname::name, format_type::text, col_description::text, indirect_identifier::boolean, priority::integer	Список автоматически созданных правил маскировки, при использовании функции anon.detect()
pg_masked_roles	-	rolname::name, rolsuper::boolean, rolinherit::boolean, rolcreaterole::boolean, rolcreatedb::boolean, rolcanlogin::boolean, rolreplication::boolean, rolconnlimit::integer, rolpassword::text, rolvaliduntil::timestamp with time zone, rolbypassrls::boolean, rolconfig::text[], oid::oid, grace_period::interval, grace_period_source::text, grace_time_left::interval, rolprevpassword::text, hasmask::boolean	Список ролей экземпляра, дополненный признаком маскирования роли
pg_masking_rules	-	attrelid::oid, attnum::integer, relnamespace::regnamespace, relname::name, attname::name, format_type::text, col_description::text, masking_function::text, masking_value::text, priority::integer, masking_filter::text, trusted_schema::boolean	Список правил маскировки
pg_masks	-	attrelid::oid, attnum::integer, relnamespace::regnamespace, relname::name, attname::name, format_type::text, col_description::text, masking_function::text, masking_value::text, priority::integer, masking_filter::text, trusted_schema::boolean	Список правил маскировки (deprecated)

Функции и процедуры

Динамическое маскирование

В разделе представлены функции и процедуры методов динамического маскирования.

Частичное маскирование

Функции метода частичного маскирования:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.partial	ov text, prefix integer, padding text, suffix integer	text	Частичное маскирование текстовых данных
FUNCTION anon.partial_email	ov text	text	Частичное маскирование e-mail

Искажение

Функции метода искажения:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.noise	noise_value anyelement, ratio double precision	anyelement	Искажение с числовым интервалом
FUNCTION anon.dnoise	noise_value anyelement, noise_range interval	anyelement	Искажение с интервалом дата/время

Обобщение

Функции обобщения:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.generalize_daterange	val date, step text DEFAULT 'decade'::text	daterange	Обобщение для типа данных date
FUNCTION anon.generalize_int4range	val integer, step integer DEFAULT 10	int4range	Обобщение для типа данных integer
FUNCTION anon.generalize_int8range	val bigint, step bigint DEFAULT 10	int8range	Обобщение для типа данных bigint
FUNCTION anon.generalize_numrange	val numeric, step integer DEFAULT 10	numrange	Обобщение для типа данных numeric
FUNCTION anon.generalize_tsrange	val timestamp without time zone, step text DEFAULT 'decade'::text	tsrange	Обобщение для типа данных timestamp
FUNCTION anon.generalize_tstzrange	val timestamp with time zone, step text DEFAULT 'decade'::text	tstzrange	Обобщение для типа данных timestamptz

Рандомизация

Функции метода рандомизации:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.random_bigint_between	int_start bigint, int_stop bigint	bigint	Рандомизация для типа данных bigint
FUNCTION anon.random_date	-	timestamp with time zone	Генерация случайной даты
FUNCTION anon.random_date_between	date_start timestamp with time zone, date_end timestamp with time zone	timestamp with time zone	Генерация случайной даты в диапазоне
FUNCTION anon.random_hash	seed text	text	Генерация случайного хеша
FUNCTION anon.random_in	a anyarray	anyelement	Генерация случайного значения из массива
FUNCTION anon.random_in_daterange	r daterange	date	Генерация случайной даты из диапазона
FUNCTION anon.random_in_enum	element anyelement	anyelement	Генерация случайного значения ENUM
FUNCTION anon.random_in_int4range	r int4range	integer	Генерация случайного значения в диапазоне integer
FUNCTION anon.random_in_int8range	r int8range	bigint	Генерация случайного значения в диапазоне bigint
FUNCTION anon.random_in_numrange	r numrange	numeric	Генерация случайного значения в диапазоне numeric
FUNCTION anon.random_in_tsrange	r tsrange	timestamp without time zone	Генерация случайного значения в диапазоне tsrange
FUNCTION anon.random_in_tstzrange	r tstzrange	timestamp with time zone	Генерация случайного значения в диапазоне tstzrange
FUNCTION anon.random_inn10	-	text	Генерация случайного значения ИНН юридического лица (с вычислением контрольной суммы)
FUNCTION anon.random_inn12	-	text	Генерация случайного значения ИНН физического лица (с вычислением контрольной суммы)
FUNCTION anon.random_int_between	int_start integer, int_stop integer	integer	Генерация случайного значения в диапазоне integer
FUNCTION anon.random_ogrn	-	text	Генерация случайного значения ОГРН юридического лица (с вычислением контрольной суммы)
FUNCTION anon.random_ogrnip	-	text	Генерация случайного значения ОГРН физического лица (с вычислением контрольной суммы)
FUNCTION anon.random_phone	phone_prefix text DEFAULT '0'::text	text	Генерация случайного значения телефонного номера с заданным префиксом
FUNCTION anon.random_snils	-	text	Генерация случайного значения СНИЛС физического лица (с вычислением контрольной суммы)
FUNCTION anon.random_string	l integer	text	Генерация случайного значения слова заданной длины (заглавная латиница + цифры)
FUNCTION anon.random_zip	-	text	Генерация случайного значения почтового индекса
FUNCTION anon.lorem_ipsum	paragraphs integer DEFAULT 5, words integer DEFAULT 0, characters integer DEFAULT 0	text	Генерация случайного значения текста заданной длины

Фальсификация

Функции метода фальсификации:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.fake_address	-	text	Фальсифицированный адрес
FUNCTION anon.fake_city	-	text	Фальсифицированный город
FUNCTION anon.fake_company	-	text	Фальсифицированная компания
FUNCTION anon.fake_country	-	text	Фальсифицированная страна
FUNCTION anon.fake_email	-	text	Фальсифицированный e-mail
FUNCTION anon.fake_first_name	-	text	Фальсифицированное имя
FUNCTION anon.fake_iban	-	text	Фальсифицированный IBAN
FUNCTION anon.fake_inn	-	text	Фальсифицированный ИНН
FUNCTION anon.fake_last_name	-	text	Фальсифицированная фамилия
FUNCTION anon.fake_middle_name	-	text	Фальсифицированное отчество
FUNCTION anon.fake_ogrn	-	text	Фальсифицированный ОГРН
FUNCTION anon.fake_personal_name	mask text DEFAULT '%1$s %2$s %3$s'::text	text	Фальсифицированное ФИО (по маске, где: %1 - Имя, %2 - Фамилия, %3 - Отчество)
FUNCTION anon.fake_postcode	-	text	Фальсифицированный почтовый индекс
FUNCTION anon.fake_siret	-	text	Фальсифицированный SIRET
FUNCTION anon.fake_snils	-	text	Фальсифицированный СНИЛС

Псевдонимизация

Функции метода псевдонимизации:

Для всего блока:

• seed - исходное значение;
• salt - соль. Если не задана — используется GUC anon.salt, иначе - null.

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.pseudo_address	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный адрес
FUNCTION anon.pseudo_city	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный город
FUNCTION anon.pseudo_company	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированная компания
FUNCTION anon.pseudo_country	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированная страна
FUNCTION anon.pseudo_email	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный e-mail
FUNCTION anon.pseudo_first_name	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированное имя
FUNCTION anon.pseudo_iban	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный IBAN
FUNCTION anon.pseudo_inn	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный ИНН
FUNCTION anon.pseudo_last_name	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированная фамилия
FUNCTION anon.pseudo_middle_name	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированное отчество
FUNCTION anon.pseudo_ogrn	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный ОГРН
FUNCTION anon.pseudo_personal_name	seed anyelement, salt text DEFAULT NULL::text, mask text DEFAULT '%1$s %2$s %3$s'::text	text	Псевдонимизированное ФИО (по маске, где: %1 - Имя, %2 - Фамилия, %3 - Отчество)
FUNCTION anon.pseudo_postcode	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный почтовый индекс
FUNCTION anon.pseudo_siret	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный SIRET
FUNCTION anon.pseudo_snils	seed anyelement, salt text DEFAULT NULL::text	text	Псевдонимизированный СНИЛС

Хеширование текстовых данных

Функции метода хеширования тестовых данных:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.hash	seed text	text	Хеш текста
FUNCTION anon.digest	val text, salt text, algorithm text	text	Хеш текста (с выбором соли и алгоритма)

Статическое маскирование

В разделе представлены функции и процедуры методов статического маскирования.

Перестановка

Функции метода перестановки:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.shuffle_column	shuffle_table regclass, shuffle_column name, primary_key name	boolean	Генерация колонки с перестановкой элементов

Искажение

Функции метода искажения:

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.add_noise_on_datetime_column	noise_table regclass, noise_column text, variation interval	boolean	Искажение временного типа
FUNCTION anon.add_noise_on_numeric_column	noise_table regclass, noise_column text, ratio double precision	boolean	Искажение числового типа

Реализация правил динамического маскирования в статическом режиме

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.anonymize_column	tablename regclass, colname name	boolean	Маскирование атрибута
FUNCTION anon.anonymize_database	-	boolean	Маскирование базы данных
FUNCTION anon.anonymize_table	tablename regclass	boolean	Маскирование таблицы

Служебные функции и процедуры

Для всего блока приводятся описания только объектов, предназначенных для пользовательского пространства.

Объект	Аргументы, атрибуты	Возвращаемое значение	Описание
FUNCTION anon.build_anonymize_column_assignment	tablename regclass, colname name	text	Создание маппинга имя колонки = замена
FUNCTION anon.column_exists	table_relid regclass, column_name name	boolean	Аналог функции concat. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.concat	text, text	text	Аналог функции date_add. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.date_add	timestamp with time zone, interval	timestamp with time zone	Аналог функции date_part. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.date_part	text, timestamp without time zone	double precision	Аналог функции date_part. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.date_part	text, interval	double precision	Аналог функции date_subtract. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.date_subtract	timestamp with time zone,interval	timestamp with time zone	Аналог функции date_trunc. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.date_trunc	text, timestamp without time zone	timestamp without time zone	Аналог функции date_trunc. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.date_trunc	text, interval	interval	Аналог функции date_trunc. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.date_trunc	text, timestamp with time zone, text	timestamp with time zone	Автодетектирование масок анонимизации для предопределенной локали. Используются атрибуты всех отношений текущей БД, за исключением служебных схем и схемы, определенной GUC anon.maskschema. Поиск ведется по соответствию имени атрибута, локали в anon.identifier. Категория и маскирующая функция определяется по anon.identifier_category
FUNCTION anon.detect	dict_lang text DEFAULT 'en_US'::text	TABLE(table_name regclass, column_name name, identifiers_category text, direct boolean)	-
FUNCTION anon.get_attrdef	relid integer, num integer	text	-
FUNCTION anon.get_function_schema	text	text	-
FUNCTION anon.get_relname	t text	text	-
FUNCTION anon.get_schema	t text	text	-
FUNCTION anon.get_tablesample_ratio	relid oid	text	-
FUNCTION anon.hasmask	role regrole, masking_policy text DEFAULT 'anon'::text	boolean	-
FUNCTION anon.hex_to_int	hexval text	integer	-
FUNCTION anon.init	-	boolean	Инициализация расширения. Локаль инициализации должна быть выбрана перед запуском. При инициализации загружаются таблицы псевдонимизации, случайно генерируются заполнение таблиц ИНН, ОГРН, СНИЛС. При инициализации случайно выбираются до 2500 значений ФИО по соответствию пола
FUNCTION anon.init	datapath text	boolean	Инициализация расширения с возможностью задания собственного пути расположения csv-данных таблиц псевдонимизации
FUNCTION anon.init_masking_policies	-	boolean	-
FUNCTION anon.is_initialized	-	boolean	-
FUNCTION anon.k_anonymity	relid regclass	integer	Получение идентификаторов K-Anonymity для отношения. Процедура производит оценку стойкости идентификаторов для отношения
FUNCTION anon."left"	text	text	Аналог функции left. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.load	-	boolean	-
FUNCTION anon.load	text	boolean	-
FUNCTION anon.load_csv	dest_table regclass, csv_file text	boolean	-
FUNCTION anon.lower	text	text	Аналог функции lower. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.make_date	integer, integer, integer	date	Аналог функции make_date. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.mask_columns	source_relid oid	TABLE(attname name, masking_filter text, format_type text)	-
FUNCTION anon.mask_create_view	relid oid	boolean	Создание маскированного представления для динамических методов
FUNCTION anon.mask_drop_view	relid oid	boolean	Удаление маскированного представления для динамических методов
FUNCTION anon.mask_filters	relid oid	text	Формирования тела запроса, используемого для mask_create_view
FUNCTION anon.mask_role	maskedrole regrole	boolean	Действия, накладываемые на маскируемую роль. Изменение функции может быть полезно в случае использования собственной ролевой модели
FUNCTION anon.mask_select	relid oid	text	Формирование SELECT запроса для динамических методов. Метод также используется для логического дампа
FUNCTION anon.mask_update	-	boolean	Функция используется для обновления правил маскирования, вызывается после каждой из команд SECURITY LABEL FOR anon
FUNCTION anon.masking_expressions_for_table	oid, text	text	-
FUNCTION anon.masking_value_for_column	oid, integer, text	text	-
FUNCTION anon.md5	text, integer	text	-
FUNCTION anon.notice_if_not_init	-	text	-
FUNCTION anon.projection_to_oid	seed anyelement, salt text, last_oid bigint	integer	-
FUNCTION anon.register_masking_policy	policy text	boolean	-
FUNCTION anon.remove_masks_for_all_columns	-	boolean	Очистка масок всех атрибутов
FUNCTION anon.remove_masks_for_all_roles	-	boolean	Очистка масок всех ролей
FUNCTION anon.reset	-	boolean	Очистка таблиц псевдонимизации
FUNCTION anon."right"	text, integer	text	Аналог функции right. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.start_dynamic_masking	autoload boolean DEFAULT true	boolean	Старт динамического маскирования: загрузка данных для псевдонимизации, создание схемы для маскирования (anon.maskschema), обновление масок
FUNCTION anon.stop_dynamic_masking	-	boolean	Остановка динамического маскирования
FUNCTION anon.substr	text, integer	text	Аналог функции substr. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.substr	text, integer, integer	text	Аналог функции substr. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.ternary	condition boolean, then_val anyelement, else_val anyelement	anyelement	Аналог функции CASE WHEN THEN. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.trg_check_trusted_schemas	-	event_trigger	-
FUNCTION anon.trg_mask_update	-	event_trigger	-
FUNCTION anon.unload	-	boolean	Выгрузка расширения
FUNCTION anon.unmask_role	maskedrole regrole	boolean	-
FUNCTION anon.upper	text	text	Аналог функции upper. Перенос функции связан с ограничением anon.restriict_to_trusted_schemas
FUNCTION anon.version	-	text	Версия расширения

Управление

Назначение прав

Назначение прав пользователю, под которым ведется работа с сенситивными данными:

SECURITY LABEL FOR anon ON ROLE <sensitive_user> IS 'MASKED';

Назначение прав пользователю, под которым производятся логические дампы с применением обфускации:

SECURITY LABEL FOR anon ON ROLE <sensitive_user> IS 'MASKED DUMP';

Назначение правил маскирования

Назначение правил маскирования на данные:

SECURITY LABEL FOR anon ON SCHEMA <sensitive_schema> IS 'TRUSTED';
SECURITY LABEL FOR anon ON COLUMN <sensitive_schema>.<sensitive_rel>.<sensitive_attr> IS 'MASKED WITH [VALUE $$<const_value>$$ | MASKED WITH FUNCTION <function_name>([<function_args>])]';

примечание

Выделенные SECURITY LABEL флагами, данные, скопированные в другую схему базы данных могут быть представлены как таблицами, так и представлениями.

Вывод правил маскирования

Чтобы отобразить все правила маскирования, объявленные в текущей базе данных, воспользуйтесь представлением anon.pg_masking_rules:

SELECT * FROM anon.pg_masking_rules;

Удаление правил маскирования

Удаление правила маскирования происходит следующим образом:

SECURITY LABEL FOR anon ON COLUMN <column_name> IS NULL;

Для удаления всех правил сразу, необходимо использовать:

SELECT anon.remove_masks_for_all_columns();

Изменения утилит командной строки

Для функциональности были произведены изменения в утилитах командной строки для создания логических дампов (pg_dump и pg_dumpall). Изменения связаны с возможностью их применения на системах, не имеющих в своем составе расширения anon. В частности, для использования в продукте под редакцией Standard используются pg_dump и pg_dumpall.

Был добавлен аргумент --no-extension для указания расширений, которые не требуется добавлять в выгрузку резервной копии:

# Дополнительные ключи командной строки для pg_dump
pg_dump --help
 --no-extension=PATTERN                 do not dump specified extension

# Дополнительные ключи командной строки для pg_dumpall
pg_dumpall --help
  --no-extension=PATTERN                 do not dump specified extension

Обфускация экспортируемых данных

Для работы утилит pg_dump, pg_dumpall на уровне каждой базы данных должна быть задана функция обфускации. К функции предъявляются требования:

• Функция должна быть объявлена на уровне базы данных с помощью SECURITY LABEL FOR anon ON DATABASE <database_name> IS 'EXPORTED WITH FUNCTION anon.mask_select';.
• Функция должна принимать единственный аргумент - oid::regclass экспортируемого объекта.
• Функция должна возвращать форматированный запрос, соответствующий выборке обфусцированных данных из объекта.
• Для автоматического использования функции при экспорте пользователю необходимо назначить флаг SECURITY LABEL FOR anon ON ROLE <role_name> IS 'MASKED DUMP';.

1. Пример вывода информации об исходной таблице:

   \d+ public.people01
   
                                                                Table "public.people01"
   ┌───────────┬───────────────┬───────────┬──────────┬──────────────────────────────────────┬──────────┬─────────────┬──────────────┬─────────────┐
   │  Column   │     Type      │ Collation │ Nullable │               Default                │ Storage  │ Compression │ Stats target │ Description │
   ├───────────┼───────────────┼───────────┼──────────┼──────────────────────────────────────┼──────────┼─────────────┼──────────────┼─────────────┤
   │ id        │ integer       │           │ not null │ nextval('people01_id_seq'::regclass) │ plain    │             │              │             │
   │ firstname │ text          │           │          │                                      │ extended │             │              │             │
   │ lastname  │ text          │           │          │                                      │ extended │             │              │             │
   │ phone     │ text          │           │          │                                      │ extended │             │              │             │
   │ balance   │ numeric(17,2) │           │          │                                      │ main     │             │              │             │
   └───────────┴───────────────┴───────────┴──────────┴──────────────────────────────────────┴──────────┴─────────────┴──────────────┴─────────────┘
   
   Indexes:
       "people01_pkey" PRIMARY KEY, btree (id)
   Access method: heap

2. Пример вывода информации о SECURITY LABELS таблицы:

   SELECT * FROM anon.pg_masking_rules WHERE relname='people01';
   
   ┌──────────┬────────┬──────────────┬──────────┬──────────┬─────────────┬────────────────────┬──────────────────┬───────────────┬──────────┬────────────────┬────────────────┐
   │ attrelid │ attnum │ relnamespace │ relname  │ attname  │ format_type │  col_description   │ masking_function │ masking_value │ priority │ masking_filter │ trusted_schema │
   ├──────────┼────────┼──────────────┼──────────┼──────────┼─────────────┼────────────────────┼──────────────────┼───────────────┼──────────┼────────────────┼────────────────┤
   │    51909 │      3 │ public       │ people01 │ lastname │ text        │ MASKED WITH VALUE …│ NULL             │ NULL          │      100 │ NULL           │ f              │
   │          │        │              │          │          │             │…NULL               │                  │               │          │                │                │
   └──────────┴────────┴──────────────┴──────────┴──────────┴─────────────┴────────────────────┴──────────────────┴───────────────┴──────────┴────────────────┴────────────────┘

3. Результат работы функции:

   SELECT * FROM anon.mask_select('public.people01'::regclass);
   
   ┌────────────────────────────────────────────────────────────────────────────────────────┐
   │                                      mask_select                                       │
   ├────────────────────────────────────────────────────────────────────────────────────────┤
   │ SELECT id,firstname,CAST(NULL AS text) AS lastname,phone,balance FROM public.people01  │
   └────────────────────────────────────────────────────────────────────────────────────────┘

Выгрузка логического дампа БД

Команда для выгрузки анонимизированного дампа БД с обфусцированными данными:

pg_dump -Fc -U <sensitive_user> --no-security-labels --exclude-schema=anon,mask --f <database_name>.pgdmp <database_name>

Параметры:

• -Fc - выгрузка базы данных в специальном формате;
• -U <sensitive_user> - пользователь, под которым производится дамп с применением обфускации;
• --no-security-labels - удаление правила маскировки из анонимного дампа, поскольку «замаскированные» пользователи не должны иметь доступа к политике маскировки;
• --exclude-schema=anon,mask - исключение схемы anon и mask так как они системные, содержащие таблицы подстановок и данные для генерации анонимизированных данных;
• --f <database_name>.pgdmp - наименование файла дампа;
• <database_name> - наименование базы данных для выгрузки.

Схема процесса выгрузки анонимизированного дампа:

Дополнительный синтаксис

Обозначения

Далее в примере:

• database_name - имя базы данных;
• role_name - роль СУБД;
• schema_name - схема БД;
• relation_name - отношение (таблица, материализованное представление);
• column_name - атрибут (колонка);
• k_anonimity_provider - имя провайдера K-Anonimity.

Значения указанные в квадратных скобках [] через вертикальную черту | обозначают выбор одного из перечисленных значений, это эквивалентно логическому оператору «ИЛИ».

Работа с базой данных

Синтаксис:

SECURITY LABEL FOR anon ON DATABASE database_name IS 'anon_database_security_label';

anon_database_security_label :=
[ TABLESAMPLE tablesample_method(tablesample_value) |
EXPORTED WITH FUNCTION <function> |
NULL
]

Описание:

1. Задание процента выборки БД при выгрузке в логический дамп или при применении статических методов.
2. Задание маскирующей функции при выгрузке с использованием pg_dump, pg_dumpall.
3. Удаление SECURITY LABEL.

Работа с ролью

Синтаксис:

SECURITY LABEL FOR anon ON ROLE role_name IS 'anon_role_security_label';

anon_role_security_label :=
[ MASKED |
MASKED DUMP |
NULL
]

Описание:

1. Задание признака маскирования для роли.
2. Задания признака маскирования данных при экспорте для роли.
3. Удаление признака маскирования для роли.

Работа со схемой

Синтаксис:

SECURITY LABEL FOR anon ON SCHEMA schema_name IS 'anon_schema_security_label';

anon_schema_secuirty_label :=
[ TRUSTED |
NULL
]

Описание:

1. Задание признака доверенной схемы (данные должны быть скрыты для пользователя с признаком MASKED). По умолчанию устанавливается на схемы anon, pg_catalog, information_schema. Установка на схему, обозначенную параметром anon.maskedschema не допускается.
2. Удаление признака доверенной схемы.

Работа с отношением

Синтаксис:

SECURITY LABEL FOR anon ON TABLE [schema_name.]relation_name IS 'anon_relation_security_label';

anon_relation_secuirty_label :=
[ TABLESAMPLE tablesample_method(tablesample_value) |
NULL
]

Описание:

1. Задание процента выборки отношения при выполнении статического маскирования.
2. Удаление процента выборки отношения при выполнении статического маскирования.

Работа с атрибутами

Синтаксис:

SECURITY LABEL FOR anon ON COLUMN [[schema_name.]relation_name.]column_name IS 'anon_column_security_label';

anon_relation_secuirty_label :=
   [ NOT MASKED |
      MASKED WITH FUNCTION function_name(function_args) |
      MASKED WITH VALUE $$value$$ |
      NULL
   ]

Описание:

1. Задание признака «атрибут не маскируется». В отличие от отсутствия признака — атрибут не будет маскироваться при настройке anon.privacy_by_default=true.
2. Устанавливаются признаки маскирования по функции.
3. Признак маскирования по значению. Допускается использование immutable-функции по имени атрибута, например: MASKED WITH VALUE substring(<column>,1,2)||'****'.
4. Удаление признака маскирования.

Синтаксис:

SECURITY LABEL FOR k_anonymity_provider ON COLUMN [[schema_name.]relation_name.]column_name IS 'k-anonimity_column_security_label';

k-anonimity_relation_secuirty_label :=
   [ QUASI IDENTIFIER | INDIRECT IDENTIFIER |
      NULL
   ]

Описание:

1. Задание атрибута k-anonimity: quasi identifier (indirect identifier).
2. Удаление атрибута k-anonimity.

Изменения данных для псевдонимизации, ненастоящих данных

Для изменения таблиц подстановочных данных может быть использован генератор, основанный на модуле Faker.

generator.py

generator.py:

#!/usr/bin/python3

import sys
import csv
import argparse
import random
import faker
import importlib


def address():
    return [[oid, f.unique.address().replace('\n', ', ')]
            for oid in range(lines)]


def city():
    return [[oid, f.unique.city()] for oid in range(lines)]


def company():
    return [[oid, f.unique.company()] for oid in range(lines)]


# The dataset is too small, we're extracting the values directly
def country():
    values = []
    for loc in locales:
        m = importlib.import_module('faker.providers.address.'+loc)
        values += list(set(m.Provider.countries))
    random.shuffle(values)
    return [[oid, values[oid]]
            for oid in range(min(len(values), lines))]


def email():
    return [[oid, f.unique.email()] for oid in range(lines)]


# The dataset is too small, we're extracting the values directly
def first_name():
    values = []
    for loc in locales:
        m = importlib.import_module('faker.providers.person.'+loc)
        values += list("m"+fn for fn in m.Provider.first_names_male)
        values += list("f"+fn for fn in m.Provider.first_names_female)
    random.shuffle(values)
    return [[oid, values[oid][:1], values[oid][1:]]
            for oid in range(min(len(values), lines))]

# The dataset is too small, we're extracting the values directly
def middle_name():
    values = []
    for loc in locales:
        if loc == 'ru_RU':
            m = importlib.import_module('faker.providers.person.ru_RU')
            values += list("m"+fn for fn in m.Provider.middle_names_male)
            values += list("f"+fn for fn in m.Provider.middle_names_female)
    random.shuffle(values)
    return [[oid,  values[oid][:1], values[oid][1:]]
            for oid in range(min(len(values), lines))]

def iban():
    return [[oid, f.unique.iban()] for oid in range(lines)]


# The dataset is too small, we're extracting the values directly
def last_name():
    values = []
    for loc in locales:
        m = importlib.import_module('faker.providers.person.'+loc)
        if hasattr(m.Provider,'last_names_male'):
            values += list("m"+fn for fn in m.Provider.last_names_male)
            values += list("f"+fn for fn in m.Provider.last_names_female)
        else:
            values += list("m"+fn for fn in m.Provider.last_names)
            values += list("f"+fn for fn in m.Provider.last_names)
    random.shuffle(values)
    return [[oid, values[oid][:1], values[oid][1:]]
            for oid in range(min(len(values), lines))]


def lorem_ipsum():
    return [[oid, f.unique.paragraph(nb_sentences=8)] for oid in range(lines)]


def postcode():
    return [[oid, f.unique.postcode()] for oid in range(lines)]


def siret():
    # override the locales this data is only relevant in France
    french_faker = faker.Faker('fr_FR')
    return [[oid, french_faker.unique.siret()] for oid in range(lines)]


generator_methods = [
  'address', 'city', 'company', 'country', 'email', 'first_name', 'iban',
  'last_name', 'middle_name', 'lorem_ipsum', 'postcode', 'siret'
]


# Input
parser = argparse.ArgumentParser()
parser.add_argument(
    '--table',
    help='Type of data ({})'.format(generator_methods),
    choices=generator_methods,
    required=True
)
parser.add_argument(
    '--locales',
    help='Localization of the fake data (comma separated list)',
    default='en'
)
parser.add_argument(
    '--lines',
    help='Number of rows to add to the table',
    type=int,
    default=1000
)
parser.add_argument(
    '--seed',
    help='Initializes the random generator'
)
args = parser.parse_args()

locales = [loc.strip() for loc in args.locales.split(' ')]
lines = args.lines
# Generator
f = faker.Faker(locales)
if args.seed:
    random.seed(args.seed)
    faker.Faker.seed(args.seed)

for row in locals().get(args.table)():
    csv.writer(sys.stdout, delimiter='\t').writerow(row)

Предупреждение!

Для таблиц country, first_name, middle_name, last_name используются все значения, используемые модулем Faker, без ограничения количества.

Таблица middle_name для локалей en_US, fr_FR не заполняется. Для генерации personal_name таблица должна содержать одну строку с oid=0 и пустым значением middle_name.

generator.py --help

generator.py --help:

bash$ generator.py --help
usage: generator.py [-h] --table
                    {address,city,company,country,email,first_name,iban,last_name,middle_name,lorem_ipsum,postcode,siret}
                    [--locales LOCALES] [--lines LINES] [--seed SEED]

optional arguments:
  -h, --help            show this help message and exit
  --table {address,city,company,country,email,first_name,iban,last_name,middle_name,lorem_ipsum,postcode,siret}
                        Type of data (['address', 'city', 'company',
                        'country', 'email', 'first_name', 'iban', 'last_name',
                        'middle_name', 'lorem_ipsum', 'postcode', 'siret'])
  --locales LOCALES     Localization of the fake data (comma separated list)
  --lines LINES         Number of rows to add to the table
  --seed SEED           Initializes the random generator

Пример использования генератора:

bash$
cd $PGHOME/share/extension/anon/ru_RU/fake
for file in *.csv; do echo $file; generator.py --locales=ru_RU --lines=3000 --table $(basename $file .csv) 1>$file; done

Генерация данных ИНН, ОГРН, СНИЛС и ФИО производится динамически при инициализации расширения (:nr_fake_records - количество генерируемых элементов):

• Генерация ИНН:

  INSERT INTO anon.inn(val) SELECT anon.random_inn10() FROM generate_series(1,:nr_fake_records) id;
  Пример

  Генерируется только ИНН юридического лица. При необходимости генерировать ИНН физического лица используйте функцию anon.random_inn12().

• Генерация СНИЛС:

  INSERT INTO anon.snils(val) SELECT anon.random_snils() FROM generate_series(1,:nr_fake_records) id;

• Генерация ОГРН:

  INSERT INTO anon.ogrn(val) SELECT anon.random_ogrn() FROM generate_series(1,:nr_fake_records) id;
  Пример

  Генерируется только ОГРН юридического лица. При необходимости генерировать ОГРН физического лица используйте функцию anon.random_ogrnip().

• Генерация ФИО:

  WITH fname AS (SELECT gender,COALESCE(val,'') first_name FROM anon.first_name),
    mname AS (SELECT gender,COALESCE(val,'') middle_name FROM anon.middle_name),
    lname AS (SELECT gender,COALESCE(val,'') last_name FROM anon.last_name)
  INSERT INTO anon.personal_name(gender,first_name,middle_name,last_name)
  SELECT fname.gender,first_name,middle_name,last_name
  FROM fname
      NATURAL JOIN mname
      NATURAL JOIN lname
  ORDER BY random() LIMIT :nr_fake_records;

Расширение функциональности

При необходимости список алгоритмов обфускации может быть расширен, как и состав данных для псевдонимизации.

Поскольку статические методы необратимо меняют данные, в качестве примера рассматривается любое обновление (UPDATE) таблицы. Кроме того, возможно применение любого динамического метода в статическом режиме с помощью функций:

• anon.anonymize_column();
• anon.anonymize_table();
• anon.anonymize_database().

В качестве примера добавьте собственный динамический метод — генерацию слова из заданных символов с длиной, не превышающей заданный параметр. Метод относится к группе алгоритмов фальсификации и может быть использован для псевдонимизации:

Обозначения

Далее в примере:

• anon_feat - база данных;
• anon_user - пользователь для обфускации;
• anon_admin - пользователь для логического дампа.

1. Настройте базу данных для использования функциональности обфускации:

   DROP DATABASE IF EXISTS anon_feat;
   CREATE DATABASE anon_feat;
   ALTER DATABASE anon_feat SET session_preload_libraries='anon';
   ALTER DATABASE anon_feat SET anon.default_locale='ru_RU';
   ALTER DATABASE anon_feat SET anon.sourceschema='public';
   ALTER DATABASE anon_feat SET anon.maskschema='mask';
   ALTER DATABASE anon_feat SET anon.transparent_dynamic_masking='true';
   \c anon_feat
   CREATE EXTENSION IF NOT EXISTS anon;
   SELECT * FROM anon.init();
   SET search_path=mask,public;

2. Создайте пользователей для работы с динамической типизацией и для работы с логическими копиями:

   DROP USER IF EXISTS anon_user;
   CREATE USER anon_user;
   SECURITY LABEL FOR anon ON ROLE anon_user IS 'MASKED';
   ALTER USER anon_user SET search_path='mask','public';
   DROP USER IF EXISTS anon_dump;
   CREATE USER anon_dump SUPERUSER;
   SECURITY LABEL FOR anon ON ROLE anon_dump IS 'MASKED DUMP';
   SECURITY LABEL FOR anon ON DATABASE anon_feat IS 'EXPORTED WITH FUNCTION anon.mask_select';
   
   CREATE SCHEMA IF NOT EXISTS mask;
   GRANT USAGE ON SCHEMA mask TO anon_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA mask GRANT ALL ON TABLES TO anon_user;
   SELECT anon.start_dynamic_masking();

3. Создайте схему. Пометьте схему, как TRUSTED. Только функции из схемы с атрибутом TRUSTED могут быть использованы для обфускации:

   CREATE SCHEMA IF NOT EXISTS my_anon;
   SECURITY LABEL FOR anon ON SCHEMA my_anon IS 'TRUSTED';

4. Создайте функцию обфускации (elem - массив символов для генерации и max_len - длина генерируемого массива):

   CREATE OR REPLACE FUNCTION my_anon.fake_noise
    (
    elem TEXT DEFAULT 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzАБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЫЪЭЮЯабвгдеёжзиклмнопрстуфхцчшщьыъэюя0123456789_<>',
    max_len integer DEFAULT 10
    )
    RETURNS text
    AS $$
     SELECT array_to_string(
       array(
           select substr(elem,
                         ((random()*(length(elem)-1)+1)::integer)
                         ,1)
           from generate_series(1,(max_len))
       ),''
     );
   $$
     LANGUAGE SQL
     VOLATILE
     PARALLEL RESTRICTED
     SECURITY INVOKER
     SET search_path=''
   ;

5. Выполните проверку работоспособности:

   SELECT id, my_anon.fake_noise(max_len => (32*random())::int4+10)
   FROM generate_series(1,10) id;

   Пример вывода:

   ┌────┬──────────────────────────────────────────┐
   │ id │                fake_noise                │
   ├────┼──────────────────────────────────────────┤
   │  1 │ БEpЯДvю13иUв4V5ш7ршC775qgе               │
   │  2 │ sJФ8Ж6<FEHэзO                            │
   │  3 │ Ш7ЙЛ1BJЖ1ЗХОxзnчЯJQD5ВегVСТс2cyy         │
   │  4 │ лЪЭkVЖРЕРFBХДUК8ZНAВmмпзQkj9пoьWгSбa     │
   │  5 │ kУ_zЛ3iЗяуВхSЦoрзfОj                     │
   │  6 │ tЙГvУбl4XНп2Х9гПShJФCН6хIТ6вUyAП         │
   │  7 │ ыAнtaЪ1lояtм3инжшaщ9ЁIRыЭPVcаууvяО1эдZДБ │
   │  8 │ ОЪg95ЯoАъХз1YЁЮЮщ7рUxWTZkj               │
   │  9 │ ЭQQlZPШщхЬRucЭэВMJeПЛoЬUXaSzуVdKu        │
   │ 10 │ SъGKaqaвKUsоюьщюъжSоУщhzjёмшz1схгщясcА   │
   └────┴──────────────────────────────────────────┘
   (10 rows)

6. Создайте тестовые данные для проверки

   DROP TABLE IF EXISTS public.people;
   CREATE TABLE public.people(
    id serial NOT NULL PRIMARY key,
    firstname TEXT,
    lastname TEXT,
    phone TEXT,
    balance numeric(17,2)
    );
    WITH fname AS (SELECT gender,COALESCE(val,'') first_name FROM anon.first_name),
      lname AS (SELECT gender,COALESCE(val,'') last_name FROM anon.last_name)
    INSERT INTO public.people(firstname,lastname,phone,balance)
    SELECT
      first_name
      ,last_name
      ,format('+7 %1$s',substring(ceil(random()*1e12)::TEXT,1,10))
      ,(random()*1e5-5e4)::numeric(17,2)
    FROM fname
      NATURAL JOIN lname
      ORDER BY random() LIMIT 1e5;

7. Назначьте вновь созданную функцию для обфускации:

   SECURITY LABEL FOR anon ON COLUMN public.people.balance IS NULL;
   SECURITY LABEL FOR anon ON COLUMN public.people.lastname IS NULL;
   SECURITY LABEL FOR anon ON COLUMN public.people.lastname IS 'MASKED WITH FUNCTION my_anon.fake_noise()';

   Проверьте работоспособность:

   SET ROLE anon_user;
   SELECT * FROM mask.people LIMIT 10;

   Пример вывода:

   ┌───────┬───────────┬────────────┬───────────────┬───────────┐
   │  id   │ firstname │  lastname  │     phone     │  balance  │
   ├───────┼───────────┼────────────┼───────────────┼───────────┤
   │ 15688 │ Алла      │ ЛееъyЩehUщ │ +7 1586788872 │ -34703.93 │
   │ 84143 │ Валерьян  │ ДТноеRлАU6 │ +7 8393111953 │  35820.20 │
   │ 14596 │ Эрнст     │ НRрВмбЕsW_ │ +7 1476835007 │ -34000.72 │
   │ 81187 │ Маргарита │ 5Фж7ЖтV4ЩV │ +7 8096235724 │  33986.22 │
   │ 89740 │ Порфирий  │ пХZw>цУщН> │ +7 8952409074 │  42892.93 │
   │ 17042 │ Никифор   │ ХZювГGХ4TУ │ +7 1718701798 │ -3180{major_version}.35 │
   │ 26149 │ Прохор    │ сAd_ВЛМЗwY │ +7 2612167258 │ -22276.37 │
   │ 20473 │ Марфа     │ 4_PкG_СNkУ │ +7 2053565418 │ -26932.25 │
   │ 89709 │ Полина    │ чHXnнсрmЬn │ +7 8949979071 │  41891.58 │
   │ 90{major_version}49 │ Ладислав  │ wЮIбnиCцD6 │ +7 9042466198 │  39378.97 │
   └───────┴───────────┴────────────┴───────────────┴───────────┘
   (10 rows)

   RESET ROLE;

8. На основе функции обфускации создайте функцию псевдонимизации и таблицу подстановок для нее (seed anyelement - значение для подстановки. Одинаковое значение генерирует одинаковый hash; salt - для хеширования, при необходимости):

   CREATE TABLE my_anon.noise (
    oid serial,
    val text
   );
   INSERT INTO my_anon.noise (val) SELECT my_anon.fake_noise() FROM generate_series(1,2500) id;

   CREATE OR REPLACE FUNCTION my_anon.pseudo_noise(
    seed anyelement,
    salt text DEFAULT NULL::text
    )
     RETURNS text
     AS $$
      SELECT COALESCE(val,anon.notice_if_not_init())
      FROM my_anon.noise
      WHERE oid = anon.projection_to_oid(
      seed,
        COALESCE(salt, pg_catalog.current_setting('anon.salt')),
        (SELECT last_value FROM my_anon.noise_oid_seq)
      );
   $$
    LANGUAGE sql
    STABLE
    PARALLEL SAFE
    SECURITY DEFINER
    SET search_path TO ''
   ;
   примечание

   Функция anon.projection_to_oid генерирует остаток от деления вычисляемого хеша на количество элементов подстановок. Из таблицы подстановок выбирается элемент с oid, соответствующего остатку.

9. Назначьте вновь созданную функцию для обфускации:

   SECURITY LABEL FOR anon ON COLUMN public.people.balance IS NULL;
   SECURITY LABEL FOR anon ON COLUMN public.people.lastname IS NULL;
   SECURITY LABEL FOR anon ON COLUMN public.people.lastname IS 'MASKED WITH FUNCTION my_anon.pseudo_noise(lastname)';

   Проверьте работоспособность:

   SET ROLE anon_user;
   SELECT * FROM mask.people LIMIT 10;
   RESET ROLE;

   Пример вывода:

   ┌───────┬───────────┬────────────┬───────────────┬───────────┐
   │  id   │ firstname │  lastname  │     phone     │  balance  │
   ├───────┼───────────┼────────────┼───────────────┼───────────┤
   │ 15688 │ Алла      │ пqсЦмжPTАE │ +7 1586788872 │ -34703.93 │
   │ 84143 │ Валерьян  │ лГvИxJ4ИцЕ │ +7 8393111953 │  35820.20 │
   │ 14596 │ Эрнст     │ ВeysM<gvRЁ │ +7 1476835007 │ -34000.72 │
   │ 81187 │ Маргарита │ IkР_y7ЪvQZ │ +7 8096235724 │  33986.22 │
   │ 89740 │ Порфирий  │ жяQrъDpn6к │ +7 8952409074 │  42892.93 │
   │ 17042 │ Никифор   │ tтcВМeТ5мО │ +7 1718701798 │ -3180{major_version}.35 │
   │ 26149 │ Прохор    │ lii5ыцcY1Р │ +7 2612167258 │ -22276.37 │
   │ 20473 │ Марфа     │ кkCбXээж5_ │ +7 2053565418 │ -26932.25 │
   │ 89709 │ Полина    │ yjьЮЩЁ<Dgи │ +7 8949979071 │  41891.58 │
   │ 90{major_version}49 │ Ладислав  │ 50jY3ВвЛЬХ │ +7 9042466198 │  39378.97 │
   └───────┴───────────┴────────────┴───────────────┴───────────┘
   (10 rows)

   Вывод второго SELECT аналогичен первому. Псевдономизация работает.

10. Пример комбинированного использования функций:

    SECURITY LABEL FOR anon ON COLUMN public.people.balance IS NULL;
    SECURITY LABEL FOR anon ON COLUMN public.people.lastname IS NULL;

    Если balance > 0, то сгенерировать случайное значение в диапазоне [0,50000], иначе null:

    SECURITY LABEL FOR anon ON COLUMN public.people.balance IS 'MASKED WITH FUNCTION anon.ternary(balance > 0,anon.random_in_numrange($$[0,50000]$$),null)';

Ограничения функциональности

1. Требование по объему: 2-10 ТБ данных. По продолжительности выгрузки — до 12 ч. Обеспечивается скорость выгрузки порядка 100-300 МБ/с, в зависимости от производительности СУБД, дисковой подсистемы, свободных процессорных ресурсов и т.д.

2. В одной базе механизм динамического маскирования предполагает только одну схему для маскируемых объектов. Маскируемые таблицы отображаются в схему, определенную параметром anon.maskschema. В случае наличия одноименных таблиц в разных схемах маскируется только одна из них, выбранная случайно.

3. Выполнение модификации данных на восстановленной копии предполагает одну полную перезапись маскируемых таблиц. Для объемных таблиц эта операция занимает много времени и требует большого количества системных ресурсов. К тому же, таблица будет на время перезаписи заблокирована.

4. При доступе от имени недоверенного пользователя (динамическом маскировании):

   • механизм маскирования работает только с одной схемой;

   • разделение правил маскирования для разных ролей не осуществляется;

   • применение множества правил маскирования для одного атрибута не осуществляется, в таком случае может существовать не более одного правила маскирования;

   • при использовании динамического маскирования для множества схем следует учитывать наличие отношений с одинаковыми именами в разных схемах. В случае наличия — динамическое маскирование будет применяться только для одного из отношений;

   • показ планов исполнения (EXPLAIN) для маскируемой роли запрещен;

   • при применении SECURITY LABEL для атрибута производится проверка возвращаемого типа. Данная операция попадает в список pg_stat_statements;

   • повышается время отклика: простейшие запросы при множестве активных правил могут у недоверенных пользователей выполняться с замедлением, линейно коррелирующим с количеством строк исходной таблицы;

   • могут существенно медленнее выполняться планы запросов, предполагающие соединение таблицы по замаскированному ключу с хешированием или псевдонимизацией. Показ планов запросов (EXPLAIN) не осуществляется;

   • расширение будет изменять search_path по своему усмотрению, поэтому:

     • psql может не отображать описания таблиц без явного указания схемы(\dt my_application.*);
     • графические клиенты могут отказываться выбирать данные, обращаясь с полным указанием схемы к заблокированной таблице — их потребуется перенаправить на замаскированное представление.

5. Применение разных правил маскирования для разных пользователей не осуществляется.

6. Применение множества правил маскирования для одного атрибута каждого отношения не осуществляется.

7. При использовании динамического маскирования для множества схем следует учитывать наличие отношений с одинаковыми именами в разных схемах. В случае наличия — динамическое маскирование будет применяться только для одного из отношений.

8. Показ планов запросов для маскируемой роли запрещен.

9. При применении SECURITY LABEL для атрибута производится проверка возвращаемого типа. Данная операция попадает в список pg_stat_statements.

Отключение функциональности

Для отключения функциональности для каждой БД, в которой она используется, следует выполнить следующие команды:

SELECT anon.stop_dynamic_masking();
SELECT anon.remove_masks_for_all_columns();
SELECT anon.remove_masks_for_all_roles();
SELECT anon.unload();
DROP EXTENSION anon;
ALTER DATABASE <database name> RESET session_preload_libraries;

Внимание!

Команда RESET session_preload_libraries используется в случае, если session_preload_libraries для БД содержит только расширение anon. В ином случае — убрать расширение из списка предзагружаемых библиотек.

Для удаления rpm/deb-пакета расширения anon используйте соответствующий пакетный менеджер ОС. Пример команды для ОС SberLinux:

sudo dnf remove pangolin-pg-anon.x86_64

Сценарии использования

Обозначения

Далее в примере:

• anon_feat - основная база данных;
• anon_feat_load_dump - база данных для загрузки дампа;
• anon_user - пользователя для обфускации;
• anon_dump - пользователя для логического дампа.

Подготовка

1. Настройте базу данных для использования функциональности обфускации (описание процесса настройки находится в одноименном разделе данного документа).

2. Создайте\определите пользователей для работы с сенситивными данными. Установите метки маскирования:

   CREATE USER anon_user;
   SECURITY LABEL FOR anon ON ROLE anon_user IS 'MASKED';

3. Создайте таблицу и сгенерируйте в нее данные из таблиц подстановок:

   CREATE TABLE public.people(
      id serial NOT NULL PRIMARY key,
      firstname TEXT,
      lastname TEXT,
      phone TEXT,
      balance numeric(17,2)
   );
   
   WITH fname AS (SELECT gender,COALESCE(val,'') first_name FROM anon.first_name),
      lname AS (SELECT gender,COALESCE(val,'') last_name FROM anon.last_name)
   INSERT INTO public.people(firstname,lastname,phone,balance)
   SELECT
      first_name
      ,last_name
      ,format('+7 %1$s',substring(ceil(random()*1e12)::TEXT,1,10))
      ,(random() * 50000)::numeric(17,2)
   FROM fname
      NATURAL JOIN lname
   ORDER BY random() LIMIT 1e5;

   Пример вывода первых 10 записей:

   SELECT * FROM people ORDER BY id LIMIT 10;

    id |  firstname  |  lastname   |    phone     | balance
   ----+-------------+-------------+--------------+----------
     1 | Евстигней   | Сазонов     | +7 3608378   |   833.42
     2 | Парфен      | Журавлев    | +7 13157505  |  9589.34
     3 | Пантелеймон | Матвеев     | +7 57541811  |  8597.14
     4 | Лука        | Никифоров   | +7 69390590  |  9094.27
     5 | Бронислав   | Архипов     | +7 84119655  | 17099.09
     6 | Ярополк     | Сафонов     | +7 85255937  | 28892.27
     7 | Орест       | Белоусов    | +7 87013575  | 46044.29
     8 | Болеслав    | Назаров     | +7 87945946  | 10744.86
     9 | Фрол        | Андреев     | +7 93773071  |  5445.29
    10 | Нонна       | Панова      | +7 108257250 |  5093.01
   (10 rows)

Использование динамического маскирования методом искажения

1. Выполните подготовку.

2. Настройте использование динамического маскирования:

   SELECT anon.start_dynamic_masking();

3. Задайте правило метода искажения. Пример правила:

   SECURITY LABEL FOR anon ON COLUMN public.people.balance IS 'MASKED WITH FUNCTION anon.noise(balance,0.25)';

   Вывод под пользователем с меткой MASKED:

   SELECT * FROM people ORDER BY id LIMIT 10;

    id |  firstname  | lastname  |    phone     | balance
   ----+-------------+-----------+--------------+----------
     1 | Евстигней   | Сазонов   | +7 3608378   |   879.99
     2 | Парфен      | Журавлев  | +7 13157505  |  9647.95
     3 | Пантелеймон | Матвеев   | +7 57541811  |  8729.25
     4 | Лука        | Никифоров | +7 69390590  | 10491.67
     5 | Бронислав   | Архипов   | +7 84119655  | 14333.70
     6 | Ярополк     | Сафонов   | +7 85255937  | 33957.44
     7 | Орест       | Белоусов  | +7 87013575  | 36534.12
     8 | Болеслав    | Назаров   | +7 87945946  |  9372.26
     9 | Фрол        | Андреев   | +7 93773071  |  5221.42
    10 | Нонна       | Панова    | +7 108257250 |  6090.74
   (10 rows)

   Как можно заметить по выводу, данные из столбца balance подверглись искажению и имеют не исходный вид.

Пример

Для отмены\удаления заданного правила воспользуйтесь командой SECURITY LABEL FOR anon ON COLUMN public.people.balance IS NULL;

Использование динамического маскирования методом частичного маскирования

1. Выполните подготовку.

2. Настройте использование динамического маскирования (описание процесса настройки находится в одноименном разделе данного документа).

3. Задайте правило метода частичного маскирования. Пример правила:

   SECURITY LABEL FOR anon ON COLUMN public.people.phone IS 'MASKED WITH FUNCTION anon.concat(anon.substr(phone, 1, 3), $$*******$$)';

   Вывод под пользователем с меткой MASKED:

   SELECT * FROM people ORDER BY id LIMIT 10;

    id |  firstname  | lastname  |   phone    | balance
   ----+-------------+-----------+------------+----------
     1 | Евстигней   | Сазонов   | +7 ******* |   833.42
     2 | Парфен      | Журавлев  | +7 ******* |  9589.34
     3 | Пантелеймон | Матвеев   | +7 ******* |  8597.14
     4 | Лука        | Никифоров | +7 ******* |  9094.27
     5 | Бронислав   | Архипов   | +7 ******* | 17099.09
     6 | Ярополк     | Сафонов   | +7 ******* | 28892.27
     7 | Орест       | Белоусов  | +7 ******* | 46044.29
     8 | Болеслав    | Назаров   | +7 ******* | 10744.86
     9 | Фрол        | Андреев   | +7 ******* |  5445.29
    10 | Нонна       | Панова    | +7 ******* |  5093.01
   (10 rows)

   Как можно заметить по выводу, данные из столбца telephone подверглись частичной маскировке и имеют не исходный вид.

Пример

Для отмены\удаления заданного правила воспользуйтесь командой SECURITY LABEL FOR anon ON COLUMN public.people.balance IS NULL;

Использование статического маскирования методом перетасовки

Внимание!

Статическое маскирование предполагает безвозвратное изменение исходных данных. При наличии желания сохранить исходную информацию — выполните резервную копию информации (pg_dump).

1. Выполните подготовку.

2. Отключите использование динамического маскирования, если настраивали ранее:

   SELECT anon.stop_dynamic_masking();
   SELECT anon.remove_masks_for_all_columns();

3. Задайте правило метода перетасовки. Пример правила:

   SELECT anon.shuffle_column('people','lastname','id');

   Вывод под пользователем с меткой MASKED:

   SELECT * FROM people ORDER BY id LIMIT 10;

    id |  firstname  |  lastname   |    phone     | balance
   ----+-------------+-------------+--------------+----------
     1 | Евстигней   | Селиверстов | +7 3608378   |   833.42
     2 | Парфен      | Сидоров     | +7 13157505  |  9589.34
     3 | Пантелеймон | Шилова      | +7 57541811  |  8597.14
     4 | Лука        | Попова      | +7 69390590  |  9094.27
     5 | Бронислав   | Калашников  | +7 84119655  | 17099.09
     6 | Ярополк     | Кудряшов    | +7 85255937  | 28892.27
     7 | Орест       | Елисеев     | +7 87013575  | 46044.29
     8 | Болеслав    | Куликов     | +7 87945946  | 10744.86
     9 | Фрол        | Гришин      | +7 93773071  |  5445.29
    10 | Нонна       | Ермакова    | +7 108257250 |  5093.01
   (10 rows)

   Как можно заметить по выводу, данные из столбца lastname подверглись перетасовке и имеют не исходный вид.

Выгрузка логического дампа БД с обфусцированными данными

1. Настройте базу данных для использования функциональности обфускации (описание процесса настройки находится в одноименном разделе данного документа).

2. Создайте пользователя и назначьте метку маскирования для выполнения выгрузки данных:

   CREATE USER anon_dump SUPERUSER;
   SECURITY LABEL FOR anon ON ROLE anon_dump IS 'MASKED DUMP';

3. Создайте таблицу и сгенерируйте в нее данные из таблиц подстановок:

   DROP TABLE IF EXISTS public.people;
   
   CREATE TABLE public.people(
      id serial NOT NULL PRIMARY key,
      firstname TEXT,
      lastname TEXT,
      phone TEXT,
      balance numeric(17,2)
   );
   
   WITH fname AS (SELECT gender,COALESCE(val,'') first_name FROM anon.first_name),
      lname AS (SELECT gender,COALESCE(val,'') last_name FROM anon.last_name)
   INSERT INTO public.people(firstname,lastname,phone,balance)
   SELECT
      first_name
      ,last_name
      ,format('+7 %1$s',substring(ceil(random()*1e12)::TEXT,1,10))
      ,(random() * 50000)::numeric(17,2)
   FROM fname
      NATURAL JOIN lname
   ORDER BY random() LIMIT 1e5;

   Пример вывода первых 10 записей:

   SELECT * FROM people ORDER BY id LIMIT 10;

    id |  firstname  |  lastname  |    phone     | balance
   ----+-------------+------------+--------------+---------
     1 | Мефодий     | Савин      | +7 13941577  |    6.97
     2 | Матвей      | Туров      | +7 18799976  |    9.40
     3 | Валерия     | Симонова   | +7 21774514  |   10.89
     4 | Бронислав   | Никифоров  | +7 28985738  |   14.49
     5 | Еремей      | Власов     | +7 32768119  |   16.38
     6 | Арсений     | Пономарев  | +7 33750744  |   16.88
     7 | Агафон      | Ефимов     | +7 51421805  |   25.71
     8 | Архип       | Овчинников | +7 62573511  |   31.29
     9 | Радим       | Смирнов    | +7 65450{major_version}54  |   32.73
    10 | Влас        | Богданов   | +7 7160{major_version}211  |   35.80

4. Примените правило динамического маскирования метода подмены константой:

   ALTER DATABASE anon_feat SET anon.transparent_dynamic_masking='true';
   SELECT anon.start_dynamic_masking();
   SECURITY LABEL FOR anon ON COLUMN public.people.lastname IS 'MASKED WITH VALUE $$*PVT*$$';

5. Выполните выгрузку. Пример запроса:

   pg_dump -U anon_dump --password --no-security-labels --exclude-schema=anon,mask -f anon_feat_dump_1.sql anon_feat

6. Для проверки выполните создание базы данных и загрузку выполненного дампа:

   createdb anon_feat_load_dump
   psql --table=people -f anon_feat_dump_1.sql anon_feat_load_dump

   Вывод из таблицы базы данных anon_feat_load_dump:

   SELECT * FROM people ORDER BY id LIMIT 10;

    id |  firstname  | lastname |    phone     | balance
   ----+-------------+----------+--------------+---------
     1 | Мефодий     | *PVT*    | +7 13941577  |    6.97
     2 | Матвей      | *PVT*    | +7 18799976  |    9.40
     3 | Валерия     | *PVT*    | +7 21774514  |   10.89
     4 | Бронислав   | *PVT*    | +7 28985738  |   14.49
     5 | Еремей      | *PVT*    | +7 32768119  |   16.38
     6 | Арсений     | *PVT*    | +7 33750744  |   16.88
     7 | Агафон      | *PVT*    | +7 51421805  |   25.71
     8 | Архип       | *PVT*    | +7 62573511  |   31.29
     9 | Радим       | *PVT*    | +7 65450{major_version}54  |   32.73
    10 | Влас        | *PVT*    | +7 7160{major_version}211  |   35.80

   Как можно заметить по выводу, данные из столбца lastname подверглись подмене и имеют не исходный вид.