Восстановление после неудачного обновления исполняемых файлов

В разделе рассматривается процесс восстановления после неудачного обновления исполняемых файлов СУБД Pangolin.

Внимание!

Перед началом выполнения инструкции необходимо убедиться, что yum/dnf-репозитории настроены корректно.

Поскольку инструкция является универсальной для standalone и cluster конфигураций, каждый пункт необходимо выполнить на всех узлах экземпляра СУБД. На узле арбитр производить обновление компонентов только по необходимости.

Восстановление выполняется покомпонентно. Шаги, соответствующие компонентам, отсутствующим в конфигурации, следует пропустить.

Восстановление СУБД может осуществляться пользователем с правами суперпользователя, а также пользователем postgres.

Все команды ниже являются примерами. Их необходимо отредактировать в соответствии с требуемыми параметрами и конфигурациями. В названиях rpm/deb-пакетов и в блоках кода, при необходимости, замените наименование ОС и пакетного менеджера. Также, в данной инструкции, резервная копия файлов компонентов находится в каталоге под названием ~/pangolin/cache/backup, созданная в процессе ручного обновления на «Шаге 1».

Обозначения

В инструкции используются переменные для динамической настройки. Перед выполнением команд эти переменные будут экспортироваться. Скорректируйте значение относительно реализуемого сценария обновления:

• PANGOLIN_VER_OLD – исходная версия СУБД Pangolin (формат - х.х.х);
• PANGOLIN_DBMS_MAJOR – новая мажорная версия СУБД Pangolin (формат - х);
• PANGOLIN_DBMS_MAJOR_OLD – исходная мажорная версия СУБД Pangolin (формат - х);
• PANGOLIN_POSTGIS – новая версия пакета стороннего расширения PostGIS (формат - х.х.х);
• PANGOLIN_POSTGIS_OLD – исходная версия пакета стороннего расширения PostGIS (формат - х.х.х);
• PANGOLIN_PGROUTING – новая версия пакета стороннего расширения pgrouting (формат - х.х.х);
• PANGOLIN_PGROUTING_OLD – исходная версия пакета стороннего расширения pgrouting (формат - х.х.х);
• PANGOLIN_PG_BACKGROUND – новая версия пакета стороннего расширения pg_background (формат - х.х.х);
• PANGOLIN_PG_BACKGROUND_OLD – исходная версия пакета стороннего расширения pg_background (формат - х.х.х);
• PANGOLIN_BACKUP_TOOLS_OLD – исходная версия компонента Pangolin Backup Tools (формат - х.х.х);
• PANGOLIN_BACKUP_TOOLS_VENV_OLD – исходная версия зависимости pangolin-backup-tools-venv (формат - х.х.х);
• PANGOLIN_POOLER_OLD – исходная версия компонента Pangolin Pooler (формат - х.х.х);
• PANGOLIN_MANAGER_OLD – исходная версия компонента Pangolin Manager (формат - х.х.х);
• PANGOLIN_MANAGER_VENV_OLD – исходная версия зависимости pangolin-manager-venv (формат - х.х.х);
• PANGOLIN_TUNER_OLD – исходная версия компонента Pangolin Tuner (формат - х.х.х);
• PANGOLIN_TIMESCALEDB_OLD – исходная версия расширения timescaledb (формат - х.х.х);
• PGDATA – исходный путь до данных СУБД Pangolin (формат - /pgdata/xx);
• PGHOME – исходный путь до серверной части СУБД Pangolin (формат - /opt/pangolin-dbms-server-x);
• PGHOME_CLIENT – исходный путь до клиентской части СУБД Pangolin (формат - /opt/pangolin-dbms-client-x);
• CLUSTERNAME - наименование кластера (по умолчанию clustername).

Шаг 1. Подготовка

1. Убедитесь, что все компоненты остановлены:

   sudo ps aux | grep -E "pangolin-pooler|pangolin-manager|pangolin-dbms|pangolin-certs-rotate|pangolin-auth-reencrypt|etcd" | grep -v grep

2. Если команда вернула результат, то выполните:

   sudo kill -9 <pid>

   примечание

   pid можно получить следующим образом:

   sudo ps aux | grep -E "pangolin-pooler|pangolin-manager|pangolin-dbms|pangolin-certs-rotate|pangolin-auth-reencrypt|etcd" | grep -v grep

Шаг 2. Восстановление компонента pangolin-auth-reencrypt

Произведите восстановление пакета компонента:

export PANGOLIN_VER_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_auth_reencrypt/pangolin-auth-reencrypt-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm
sudo cp -raf ~/pangolin/cache/backup/pangolin_auth_reencrypt/pangolin-auth-reencrypt.service  {path_to_service}/
sudo cp -raf ~/pangolin/cache/backup/pangolin_auth_reencrypt/pangolin-auth-reencrypt@.service {path_to_service}/
sudo cp -raf ~/pangolin/cache/backup/pangolin_auth_reencrypt/enc_util.cfg                     /etc/pangolin-auth-reencrypt/

Где path_to_service - актуальный путь до service-файла компонента. В случае наличия функциональности «Отказ от root» это может быть путь /home/postgres/.config/systemd/user/. В случае отсутствия такой функциональности это может быть /usr/lib/systemd/system/, /lib/systemd/system/ или /etc/systemd/system/.

Шаг 3. Восстановление компонента pangolin-certs-rotate

Произведите восстановление пакета компонента:

export PANGOLIN_VER_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_certs_rotate/pangolin-certs-rotate-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm
sudo cp -raf ~/pangolin/cache/backup/pangolin_certs_rotate/pangolin-certs-rotate.service {path_to_service}/
sudo cp -raf ~/pangolin/cache/backup/pangolin_certs_rotate/pangolin-certs-rotate.yml     /etc/pangolin-certs-rotate/

Где path_to_service - актуальный путь до service-файла компонента. В случае наличия функциональности «Отказ от root» это может быть путь /home/postgres/.config/systemd/user/. В случае отсутствия такой функциональности это может быть /usr/lib/systemd/system/, /lib/systemd/system/ или /etc/systemd/system/.

Внимание!

В случае конфигурации с DCS, произведите дополнительно восстановление на узле арбитр.

Шаг 4. Восстановление компонента pangolin-security-utilities

Произведите восстановление пакета компонента:

export PANGOLIN_VER_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_security_utilities/pangolin-security-utilities-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm

Внимание!

В случае конфигурации с DCS, произведите дополнительно восстановление на узле арбитр.

Шаг 5. Восстановление компонента pangolin-backup-tools

Произведите восстановление пакета компонента:

export PANGOLIN_BACKUP_TOOLS_OLD=x.x.x
export PANGOLIN_BACKUP_TOOLS_VENV_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_backup_tools/pangolin-backup-tools-$PANGOLIN_BACKUP_TOOLS_OLD-sberlinux9.x86_64.rpm
sudo dnf install -y ~/pangolin/cache/backup/pangolin_backup_tools/pangolin-backup-tools-venv-$PANGOLIN_BACKUP_TOOLS_VENV_OLD-sberlinux9.x86_64.rpm
sudo cp -raf ~/pangolin/cache/backup/pangolin_backup_tools/backup-tools-env /etc/pangolin-backup-tools/

Шаг 6. Восстановление компонента Pangolin Pooler

Произведите восстановление пакета компонента:

export PANGOLIN_POOLER_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_pooler/pangolin-pooler-$PANGOLIN_POOLER_OLD-sberlinux9.x86_64.rpm
sudo cp -raf ~/pangolin/cache/backup/pangolin_pooler/pangolin-pooler.service {path_to_service}/
sudo cp -raf ~/pangolin/cache/backup/pangolin_pooler/pangolin-pooler.ini     /etc/pangolin-pooler/
sudo cp -raf ~/pangolin/cache/backup/pangolin_pooler/userlist.txt            /etc/pangolin-pooler/

Где path_to_service - актуальный путь до service-файла компонента. В случае наличия функциональности «Отказ от root» это может быть путь /home/postgres/.config/systemd/user/. В случае отсутствия такой функциональности это может быть /usr/lib/systemd/system/, /lib/systemd/system/ или /etc/systemd/system/.

Шаг 7. Восстановление компонента Pangolin Manager

Произведите восстановление пакета компонента:

export PANGOLIN_MANAGER_OLD=x.x.x
export PANGOLIN_MANAGER_VENV_OLD=x.x.x
export PGDATA=/pgdata/xx
sudo dnf install -y ~/pangolin/cache/backup/pangolin_manager/pangolin-manager-$PANGOLIN_MANAGER_OLD-sberlinux9.x86_64.rpm
sudo dnf install -y ~/pangolin/cache/backup/pangolin_manager/pangolin-manager-venv-$PANGOLIN_MANAGER_VENV_OLD-sberlinux9.x86_64.rpm
sudo cp -raf ~/pangolin/cache/backup/pangolin_manager/pangolin-manager.service {path_to_service}/
sudo cp -raf ~/pangolin/cache/backup/pangolin_manager/postgres.yml             /etc/pangolin-manager/
sudo cp -raf ~/pangolin/cache/backup/pangolin_manager/patroni.dynamic.json     $PGDATA/data/

Где path_to_service - актуальный путь до service-файла компонента. В случае наличия функциональности «Отказ от root» это может быть путь /home/postgres/.config/systemd/user/. В случае отсутствия такой функциональности это может быть /usr/lib/systemd/system/, /lib/systemd/system/ или /etc/systemd/system/.

Внимание!

В случае конфигурации с DCS, произведите дополнительно восстановление на узле арбитр.

Шаг 8. Восстановление компонента серверной части СУБД Pangolin

Произведите восстановление пакета компонента:

export PANGOLIN_VER_OLD=x.x.x
export PANGOLIN_DBMS_MAJOR_OLD=x
export PGDATA=/pgdata/xx
sudo dnf remove -y pangolin-dbms*
sudo dnf install -y ~/pangolin/cache/backup/pangolin_dbms/pangolin-dbms-$PANGOLIN_DBMS_MAJOR_OLD-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm
sudo cp -raf ~/pangolin/cache/backup/pangolin_dbms/                            {path_to_service}/pangolin-dbms.service # для конфигурации без Pangolin Manager
sudo cp -raf ~/pangolin/cache/backup/pangolin_dbms/*.conf                      $PGDATA/data/

Где path_to_service - актуальный путь до service-файла компонента. В случае наличия функциональности «Отказ от root» это может быть путь /home/postgres/.config/systemd/user/. В случае отсутствия такой функциональности это может быть /usr/lib/systemd/system/, /lib/systemd/system/ или /etc/systemd/system/.

Шаг 9. Восстановление компонента клиентской части СУБД Pangolin

Произведите восстановление пакета компонента:

export PANGOLIN_VER_OLD=x.x.x
export PANGOLIN_DBMS_MAJOR_OLD=x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_dbms/pangolin-dbms-$PANGOLIN_DBMS_MAJOR_OLD-client-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm

Шаг 10. Восстановление расширения pangolin-timescaledb

Произведите восстановление пакета расширения:

export PANGOLIN_TIMESCALEDB_OLD=x.x.x
export PANGOLIN_DBMS_MAJOR_OLD=x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_timescaledb/pangolin-timescaledb-$PANGOLIN_DBMS_MAJOR_OLD-apache-$PANGOLIN_TIMESCALEDB_OLD-sberlinux9-x86_64.rpm

Шаг 11. Восстановление компонента pangolin-auth-password

Произведите восстановление пакета компонента:

export PANGOLIN_VER_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_auth_password/pangolin-auth-password-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm

Шаг 12. Восстановление компонента Pangolin Tuner

Произведите восстановление пакета компонента:

export PANGOLIN_TUNER_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_tuner/pangolin-tuner-$PANGOLIN_TUNER_OLD-sberlinux9.x86_64.rpm

Шаг 13. Восстановление компонента pangolin-diagnostic-tool

Произведите восстановление пакета компонента:

export PANGOLIN_VER_OLD=x.x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_diagnostic_tool/pangolin-diagnostic-tool-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm

Шаг 14. Восстановление опциональных пакетов

Произведите восстановление опциональных пакетов:

export PANGOLIN_VER_OLD=x.x.x
export PANGOLIN_DBMS_MAJOR_OLD=x
sudo dnf remove -y pangolin-dbms-*-libpq pangolin-dbms-*-libpq-dev
sudo dnf install -y ~/pangolin/cache/backup/pangolin_dbms_libpq/pangolin-dbms-$PANGOLIN_DBMS_MAJOR_OLD-libpq-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm
sudo dnf install -y ~/pangolin/cache/backup/pangolin_dbms_libpq_dev/pangolin-dbms-$PANGOLIN_DBMS_MAJOR_OLD-libpq-dev-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm

Шаг 15. Восстановление пакетов pangolin-untrusted расширений

Произведите восстановление пакетов расширений:

export PANGOLIN_VER_OLD=x.x.x
export PANGOLIN_DBMS_MAJOR=x
sudo dnf install -y pangolin-dbms-$PANGOLIN_DBMS_MAJOR-{ext_name}-$PANGOLIN_VER_OLD-sberlinux9.x86_64.rpm

Где ext_name - название untrusted-расширения.

Шаг 16. Восстановление пакетов сторонних расширений

Произведите восстановление пакетов расширений:

export PANGOLIN_DBMS_MAJOR_OLD=x
export PANGOLIN_POSTGIS_OLD=x.x.x
export PANGOLIN_PGROUTING_OLD=x.x.x
export PANGOLIN_PG_BACKGROUND_OLD=x.x
sudo dnf install -y ~/pangolin/cache/backup/pangolin_external/{postgis_pkg_name}-$PANGOLIN_POSTGIS_OLD-sberlinux9.x86_64.rpm
sudo dnf install -y ~/pangolin/cache/backup/pangolin_external/{pgrouting_pkg_name}-$PANGOLIN_PGROUTING_OLD-sberlinux9.x86_64.rpm
sudo dnf install -y ~/pangolin/cache/backup/pangolin_external/{pg_background_pkg_name}-$PANGOLIN_PG_BACKGROUND_OLD-sberlinux9.x86_64.rpm

Где:

• postgis_pkg_name - наименование исходного пакета стороннего расширения PostGIS (формат: pangolin-postgis или pangolin-postgis-$PANGOLIN_DBMS_MAJOR_OLD);
• pgrouting_pkg_name - наименование исходного пакета стороннего расширения pgrouting (формат: pangolin-pgrouting или pangolin-pgrouting-$PANGOLIN_DBMS_MAJOR_OLD);
• pg_background_pkg_name - наименование исходного пакета стороннего расширения pg_background (формат: pangolin-pg-background или pangolin-pg-background-$PANGOLIN_DBMS_MAJOR_OLD).

Шаг 17. Восстановление данных системного каталога

Внимание!

Выполните данный шаг, если было выполнено обновление данных системного каталога в процессе обновления на«Шаге 20».

Восстановите системный каталог согласно инструкции в разделе «Ручное восстановление данных системного каталога СУБД».

Шаг 18. Дополнительный действия

Произведите восстановление исходных файлов .bash_profile, .bashrc, dynmotd.sh для пользователей postgres и kmadmin_pg:

sudo cp -raf ~/pangolin/cache/backup/pangolin_general/postgres/.bash_profile   /home/postgres/
sudo cp -raf ~/pangolin/cache/backup/pangolin_general/postgres/.bashrc         /home/postgres/
sudo cp -raf ~/pangolin/cache/backup/pangolin_general/kmadmin_pg/.bash_profile /home/kmadmin_pg/
sudo cp -raf ~/pangolin/cache/backup/pangolin_general/kmadmin_pg/.bashrc       /home/kmadmin_pg/
sudo cp -raf ~/pangolin/cache/backup/pangolin_general/dynmotd.sh               /usr/local/sbin/
sudo cp -raf ~/pangolin/cache/backup/pangolin_general/profile                  /etc/

Внимание!

Дополнительно произведите восстановление на узле арбитр.

Шаг 19. Удаление psql_rotate_password из shared_preload_libraries

Удалите расширение psql_rotate_password из shared_preload_libraries:

1. Выполните команду:

   cat $PDATA/postgresql.conf | grep shared_preload_libraries

2. Если расширение psql_rotate_password присутствует в параметре shared_preload_libraries, его необходимо удалить.

   В случае кластерной конфигурации также необходимо проверить файл /etc/pangolin-manager/postgres.yml на наличие расширения psql_rotate_password (на мастере и на реплике).

   Проверить наличие расширения можно командой:

   cat /etc/pangolin-manager/postgres.yml | grep shared_preload_libraries

Шаг 20. Запуск компонентов СУБД Pangolin

1. Запустите компоненты СУБД Pangolin. В случае кластерной конфигурации действия по запуску произведите сначала на мастере, затем на реплике, после на арбитре:

   Без функциональности «Отказ от root»

   • Для конфигурации с Pangolin Manager и модулем Pangolin DCS:

     • на мастере и реплике:

       sudo systemctl daemon-reload
       sudo systemctl start pangolin-pooler
       sudo systemctl start pangolin-certs-rotate
       sudo systemctl start pangolin-auth-reencrypt@postgres
       sudo systemctl start pangolin-auth-reencrypt@kmadmin_pg
       sudo systemctl start pangolin-manager
       sudo -iu postgres
       export PGHOME=/opt/pangolin-dbms-server-x
       export PGDATA=/pgdata/xx
       $PGHOME/bin/pg_ctl start -D $PGDATA/data
       exit

     • на арбитре:

       sudo systemctl daemon-reload
       sudo systemctl start pangolin-certs-rotate
       sudo systemctl start pangolin-auth-reencrypt@postgres
       sudo systemctl start pangolin-auth-reencrypt@kmadmin_pg
       sudo systemctl start pangolin-manager

   • Для конфигурации с Pangolin Manager и etcd:

     • на мастере и реплике:

       sudo systemctl daemon-reload
       sudo systemctl start pangolin-pooler
       sudo systemctl start pangolin-certs-rotate
       sudo systemctl start pangolin-auth-reencrypt@postgres
       sudo systemctl start pangolin-auth-reencrypt@kmadmin_pg
       sudo systemctl start pangolin-manager
       sudo systemctl start etcd
       sudo -iu postgres
       export PGHOME=/opt/pangolin-dbms-server-x
       export PGDATA=/pgdata/xx
       $PGHOME/bin/pg_ctl start -D $PGDATA/data
       exit

     • на арбитре:

       sudo systemctl daemon-reload
       sudo systemctl start etcd

   • Для конфигурации без Pangolin Manager:

     • на мастере:

       sudo systemctl daemon-reload
       sudo systemctl start pangolin-pooler
       sudo systemctl start pangolin-certs-rotate
       sudo systemctl start pangolin-auth-reencrypt@postgres
       sudo systemctl start pangolin-auth-reencrypt@kmadmin_pg
       # в случае наличия файла `pangolin-dbms`:
       sudo systemctl start pangolin-dbms
       # в случае отсутствия файла `pangolin-dbms`:
       sudo -iu postgres
       export PGHOME=/opt/pangolin-dbms-server-x
       export PGDATA=/pgdata/xx
       $PGHOME/bin/pg_ctl start -D $PGDATA/data
       exit

   С включенной функциональностью «Отказ от root»

   • Для конфигурации с Pangolin Manager и модулем Pangolin DCS:

     • на мастере и реплике:

       sudo -iu postgres
       export PGHOME=/opt/pangolin-dbms-server-x
       export PGDATA=/pgdata/xx
       systemctl --user daemon-reload
       systemctl --user start pangolin-pooler
       systemctl --user start pangolin-certs-rotate
       systemctl --user start pangolin-auth-reencrypt
       systemctl --user start pangolin-manager
       $PGHOME/bin/pg_ctl start -D $PGDATA/data
       exit
       sudo -iu kmadmin_pg
       systemctl --user daemon-reload
       systemctl --user start pangolin-auth-reencrypt
       exit

     • на арбитре:

       sudo -iu postgres
       systemctl --user daemon-reload
       systemctl --user start pangolin-certs-rotate
       systemctl --user start pangolin-auth-reencrypt
       systemctl --user start pangolin-manager
       exit
       sudo -iu kmadmin_pg
       XDG_RUNTIME_DIR=/run/user/$(id -u) DBUS_SESSION_BUS_ADDRESS="unix:path=${XDG_RUNTIME_DIR}/bus" systemctl --user daemon-reload
       XDG_RUNTIME_DIR=/run/user/$(id -u) DBUS_SESSION_BUS_ADDRESS="unix:path=${XDG_RUNTIME_DIR}/bus" systemctl --user start pangolin-auth-reencrypt
       exit

   • Для конфигурации с Pangolin Manager и etcd:

     • на мастере и реплике:

       sudo -iu postgres
       export PGHOME=/opt/pangolin-dbms-server-x
       export PGDATA=/pgdata/xx
       systemctl --user daemon-reload
       systemctl --user start pangolin-pooler
       systemctl --user start pangolin-certs-rotate
       systemctl --user start pangolin-auth-reencrypt
       systemctl --user start pangolin-manager
       systemctl --user start etcd
       $PGHOME/bin/pg_ctl start -D $PGDATA/data
       exit
       sudo -iu kmadmin_pg
       systemctl --user daemon-reload
       systemctl --user start pangolin-auth-reencrypt
       exit

     • на арбитре:

       sudo -iu postgres
       systemctl --user daemon-reload
       systemctl --user start etcd
       exit

   • Для конфигурации без Pangolin Manager:

     • на мастере:

       sudo -iu postgres
       export PGHOME=/opt/pangolin-dbms-server-x
       export PGDATA=/pgdata/xx
       systemctl --user daemon-reload
       systemctl --user start pangolin-pooler
       systemctl --user start pangolin-certs-rotate
       systemctl --user start pangolin-auth-reencrypt
       # в случае наличия файла `pangolin-dbms`:
       systemctl --user start pangolin-dbms
       # в случае отсутствия файла `pangolin-dbms`:
       $PGHOME/bin/pg_ctl start -D $PGDATA/data
       exit
       sudo -iu kmadmin_pg
       systemctl --user daemon-reload
       systemctl --user start pangolin-auth-reencrypt
       exit

2. Запустите сторонние сервисы:

   sudo systemctl restart crond

3. Для конфигурации с Pangolin Manager выведите компонент из режима паузы:

   sudo -iu postgres
   export CLUSTERNAME=clustername
   /opt/pangolin-manager/bin/pangolin-manager-ctl -c /etc/pangolin-manager/postgres.yml edit-config --set 'pause=true' --force
   /opt/pangolin-manager/bin/pangolin-manager-ctl -c /etc/pangolin-manager/postgres.yml restart $CLUSTERNAME
   exit