Хранилища резервных копий

Общие сведения

Copywala поддерживает работу с различными типами хранилищ для размещения резервных копий и WAL-файлов.

Тип и расположение хранилища для резервных копий задаются параметрами в конфигурационных файлах Copywala. Имя конфигурационного файла и набор используемых параметров зависят от типа целевой СУБД и представлены в таблице ниже:

Целевая СУБД	Имя конфигурационного файла	Параметры
PostgreSQL-подобные СУБД	`copywala.yaml`	`backup_destination_uri` – обязательный параметр, определяющий хранилище для резервных копий. `wal_destination_uri` – опциональный параметр, определяющий хранилище для WAL-файлов. Необходимо задавать, если используется архивирование WAL-файлов. примечание `wal_destination_uri` может указывать как на то же хранилище, что и `backup_destination_uri`, так и на отдельное.
Векторные СУБД Platform V Vector DB (VDB) / Qdrant	`copywala-vdb.yaml`	`backup_destination_uri` – обязательный параметр, определяющий хранилище для резервных копий
OceanBase Database	`copywala-ob.yaml`	`backup_destination_uri` – обязательный параметр, определяющий хранилище для резервных копий. `logs_destination_uri` – опциональный параметр, определяющий хранилище для архива логов. Если параметр не задан, используется `backup_destination_uri`.

Поддерживаемые типы хранилищ

В таблице ниже приведены поддерживаемые типы хранилищ:

Тип хранилища	Схема URI	Описание
Local FS	`local-fs://`	Локальная или сетевая файловая система
S2	`s2://`	Хранилище Storage Service обеспечивает запись, чтение и получение информации о резервных копиях. Входит в состав продукта Platform V CopyWala
S3	`s3://`	S3-совместимое объектное хранилище (MinIO, Ceph, AWS S3, Yandex Object Storage и другие)
DDBoost	`ddboost://`	Система дедуплицированного хранения данных Dell EMC Data Domain

Сравнительная таблица возможностей

Возможность	Local FS	S2	S3	DDBoost
Параллельная запись партов (настраивается параметром `backup_policy.write_parts_workers_no` в конфигурационном файле `copywala.yaml` / `copywala-vdb.yaml`)	+	+	+	– (`write_parts_workers_no` всегда = 1)
Объединение резервных копий (copywala merge)	+	+	–	–
Архивирование WAL-файлов в CWL архив	+	–	–	–

Local FS

Хранение резервных копий на локальной или сетевой файловой системе (NFS, GlusterFS и других).

Формат URI

local-fs:///<path-to-backups>

Часть URI	Описание	Пример
`local-fs://`	Схема хранилища	`local-fs://`
`/<path-to-backups>`	Абсолютный путь к директории бэкапов на файловой системе	`/home/postgres/backups/`

Пример значения

backup_destination_uri: local-fs:///home/postgres/backups/

Проверка доступа

Для выполнения проверки ознакомьтесь с разделом Проверка подключения компонента Copywala к хранилищам резервных копий.

S2

Хранилище Storage Service обеспечивает запись, чтение и получение информации о резервных копиях. Входит в состав продукта Platform V CopyWala.

Формат URI

s2://<host>:<port>

Часть URI	Описание	Пример
`s2://`	Схема хранилища	`s2://`
`<host>`	DNS-имя или IP-адрес сервера S2 Storage Service	`s2-storage.example.host`, `192.0.2.0`
`:<port>`	TCP-порт gRPC-сервиса S2 Storage Service (обычно нестандартный)	`:29509`, `:9090`

Пример значения

backup_destination_uri: s2://s2-storage.example.host:29509

Настройка интеграции

Для работы с Storage Service в конфигурационном файле copywala.yaml / copywala-vdb.yaml / copywala-ob.yaml заполните параметры секции s2:

# Конфигурация S2
# --------------------------------------
s2:
  checksum_algorithm: DISABLED # выбор алгоритма вычисления контрольной суммы. Допустимые значения: DISABLED (по умолчанию), CRC32
  storage_path: ""             # значение по умолчанию пустое. Задается пользователем для возможности выбора одного из дополнительных хранилищ, пример: /var/pbr/s2/backups
  tls:                         # опционально
    rootca:
      local_path: tls/root.crt # путь к локальному файлу
      # vault_path: <path>     # путь к секрету в HashiCorp/SecMan
      # vault_key: <key>       # ключ внутри json-секрета
    cert:
      local_path: tls/cert.crt
      # vault_path: <path>     # путь к секрету в HashiCorp/SecMan
      # vault_key: <key>       # ключ внутри json-секрета
    key:
      local_path: tls/cert.key
      # vault_path: <path>     # путь к секрету в HashiCorp/SecMan
      # vault_key: <key>       # ключ внутри json-секрета
  s2tp_enabled: true           # флаг использования протокола S2TP для взаимодействия copywala и storage service (s2). По умолчанию – true. Используется только в рамках операций передачи данных при создании и восстановлении резервных копий. gRPC остается как основной протокол для взаимодействия с S2, кроме переноса данных.
                               # при значении false – используется gRPC для всех взаимодействий
  s2tp:
    addresses:                 # массив адресов сервера s2
      - "<host_1:port_1>"
      - "<host_2:port_2>"
      # ...
      # Важно: порты, указанные в этом массиве должны совпадать с портам из storage-service.yaml блока s2.s2tp.addresses.
      # Хосты, указанные в этом массиве должны совпадать со значением параметра backup_destination_uri файла copywala.yaml.
    enable_tls: true             # флаг использования TLS-протокола
    max_connections: 16          # максимальное количество открытых соединений к серверу (на все указанные в массиве s2tp.addresses адреса)
    read_timeout: 5m             # таймаут для операции чтения
    write_timeout: 5m            # таймаут для операции записи
    tls:                         # опционально
      rootca:
        local_path: tls/root.crt # путь к локальному файлу
        # vault_path: <path>     # путь к секрету в HashiCorp/SecMan
        # vault_key: <key>       # ключ внутри json-секрета
      cert:
        local_path: tls/cert.crt
        # vault_path: <path>     # путь к секрету в HashiCorp/SecMan
        # vault_key: <key>       # ключ внутри json-секрета
      key:
        local_path: tls/cert.key
        # vault_path: <path>     # путь к секрету в HashiCorp/SecMan
        # vault_key: <key>       # ключ внутри json-секрета

# --------------------------------------

Проверка подключения

S3

S3-совместимое объектное хранилище (MinIO, Ceph, AWS S3, Yandex Object Storage и другие).

Формат URI

s3://<host>:<port>/<bucket-name>/<optional-prefix>

Часть URI	Описание	Пример
`s3://`	Схема хранилища	`s3://`
`<host>`	DNS-имя или IP-адрес S3-совместимого endpoint	`minio.example.com`, `s3.ru-central1.storage.cloud.net`
`:<port>`	TCP-порт. Если не указан: 443 для HTTPS, 80 для HTTP	`:8000`, `:9000`, (пустой)
`/<bucket-name>`	Имя бакета в S3 для хранения резервных копий	`/bucket-08-9992`, `/my-backup-bucket`
`/<optional-prefix>`	Опциональный префикс (путь) внутри бакета	`/copywala`, `/backups/pg1`

Примеры значений

backup_destination_uri: s3://s3-storage.example.host:8000/my-backup-bucket

backup_destination_uri: s3://minio.example.com/backups/

backup_destination_uri: s3://s3.ru-central1.storage.cloud.net/my-backup-bucket/copywala

Настройка интеграции

Описание настройки интеграции с S3 описано в руководстве по установке, раздел Настройка интеграции Platform V CopyWala с внешними сервисами, Хранилище S3.

Внимание!

Для корректного взаимодействия с S3-хранилищем, необходимы права доступа для следующих операций:

HeadObject – проверка существования и получение метаданных объекта;
GetObject – загрузка самого объекта из хранилища;
HeadBucket – проверка существования и получение метаданных бакета;
CreateBucket – создание нового бакета в хранилище;
CreateMultipartUpload – инициализация загрузки большого объекта частями (multipart upload);
UploadPart – передача частей загружаемого объекта;
CompleteMultipartUpload – завершение многочастной загрузки объекта;
AbortMultipart – отмена незавершенного процесса multi-part загрузки.

Проверка подключения

DDBoost

к сведению

DDBoost — технология интеграции с системой хранения Dell EMC Data Domain, предназначенная для оптимизации резервного копирования и восстановления данных.

DDBoost выполняет предварительную дедупликацию данных, благодаря чему по сети передаются только уникальные блоки данных. Это позволяет:

снизить нагрузку на сеть;
уменьшить объем передаваемых данных;
повысить производительность операций резервного копирования и восстановления данных;
эффективнее использовать ресурсы системы хранения.

Формат URI

<scheme>://<host>/<storage-unit-name>

Часть URI	Описание	Пример
`<scheme>`	Схема хранилища. Возможные значения: `ddboost` — подключение по TCP/IP; `dfc-ddboost` — подключение через Fibre Channel (DD Boost over FC, префикс `DFC-` определяет FC-режим)	`ddboost`, `dfc-ddboost`
`<host>`	DNS-имя или IP-адрес Dell Data Domain (порт не указывается)	`ddboost-storage.example.host`, `198.51.100.0`
`/<storage-unit-name>`	Имя storage unit на Data Domain (логический контейнер для данных)	`/copywala-storage-unit`, `/pg-backups`

Примеры значений

# Подключение по TCP/IP
backup_destination_uri: ddboost://ddboost-storage.example.host/copywala-storage-unit

# Подключение через Fibre Channel (DD Boost over FC)
backup_destination_uri: dfc-ddboost://ddboost-storage.example.host/copywala-storage-unit

Настройка интеграции

Описание настройки интеграции с DDBoost описано в руководстве по установке, раздел Настройка интеграции Platform V CopyWala с внешними сервисами, DDBoost (Dell EMC Data Domain).

Общие сведения​

Поддерживаемые типы хранилищ​

Сравнительная таблица возможностей​

Local FS​

Формат URI​

Проверка доступа​

S2​

Формат URI​

Настройка интеграции​

Проверка подключения​

S3​

Формат URI​

Настройка интеграции​

Проверка подключения​

DDBoost​

Формат URI​

Настройка интеграции​

Проверка подключения​

Общие сведения

Поддерживаемые типы хранилищ

Сравнительная таблица возможностей

Local FS

Формат URI

Проверка доступа

S2

Формат URI

Настройка интеграции

Проверка подключения

S3

Формат URI

Настройка интеграции

Проверка подключения

DDBoost

Формат URI

Настройка интеграции

Проверка подключения