Перейти к основному содержимому

Восстановление после неудачного обновления исполняемых файлов

В разделе рассматривается процесс восстановления после неудачного обновления исполняемых файлов СУБД Pangolin.

Внимание!

Корректный откат к исходной версии Pangolin (6.1.0/6.1.2/6.1.4) при отсутствии резервной копии осуществить не получится (из-за изменения формата WAL-файлов), поэтому необходимо это учесть при попытке обновиться.

Перед началом выполнения инструкции убедитесь, что yum/dnf-репозитории настроены корректно.

Также для отката потребуется наличие резервного каталога, созданного скриптами во время обновления. Как пример, будет использоваться каталог /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213.

Откат необходимо производить только для тех компонентов, которые были обновлены на новую версию. Иначе, пропустите выполнение шага восстановления компонента.

Поскольку инструкция является универсальной для standalone и cluster-архитектур, каждый пункт необходимо выполнить на всех узлах кластера БД (на мастере и реплике). На узле арбитре обновление компонентов производите только по необходимости (в случае конфигурации с DCS).

Восстановление СУБД может осуществляться пользователем с правами суперпользователя, а также пользователем postgres.

Все команды ниже являются примерами. Их необходимо отредактировать в соответствии с требуемыми параметрами и конфигурациями. В названиях rpm-пакетов, при необходимости, в блоках кода замените наименование ОС и пакетного менеджера.

Обозначения

В инструкции используются переменные для динамической настройки. Перед выполнением команд эти переменные будут экспортироваться. Скорректируйте значение относительно реализуемого сценария обновления:

  • PANGOLIN_VER – новая версия СУБД Pangolin (формат - х.х.х/x.x);
  • PANGOLIN_MAJOR_VER - мажорная версия СУБД Pangolin (формат - 0x);
  • PANGOLIN_MAJOR_OLD_VER - исходная мажорная версия СУБД Pangolin (формат - 0x);
  • PANGOLIN_OLD_VER – исходная версия СУБД Pangolin (формат - х.х.х/x.x);
  • PANGOLIN_FULL_OLD_VER – исходная версия СУБД Pangolin (формат - 0х.00х.0х);
  • PANGOLIN_MANAGER_VER – новая версия компонента pangolin-manager (формат - х.х.х);
  • PANGOLIN_MANAGER_OLD_VER – новая версия компонента pangolin-manager (формат - х.х.х).

Шаг 1. Подготовка​

  1. Убедитесь, что все компоненты остановлены:

    sudo ps aux | grep -E "pgbouncer|pangolin-pooler|pangolin-manager|patroni|postgresql|pangolin-certs-rotate|pg_certs_rotate_agent|pangolin-auth-reencrypt|pangolin_reencrypt|etcd" | grep -v grep

  2. Если команда вернула результат, то выполните:

    sudo kill -9 <pid>
    примечание

    pid можно получить следующим образом:

    sudo ps aux | grep -E "pgbouncer|pangolin-pooler|pangolin-manager|patroni|postgresql|pangolin-certs-rotate|pg_certs_rotate_agent|pangolin-auth-reencrypt|pangolin_reencrypt|etcd" | grep -v grep

Шаг 2. Восстановление компонента pg_auth_reencrypt​

Восстановите исходный rpm-пакет (pangolin-auth-reencrypt) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_FULL_OLD_VER=0x.00x.0x
dnf remove pangolin-auth-reencrypt
rm -rf /etc/postgres/enc_util.cfg /etc/postgres/start_reencrypt.sh /etc/postgres/pg_auth_reencrypt /opt/pangolin-common/bin/pg_auth_reencrypt /etc/postgres/enc_params.cfg.kmadmin_pg /etc/postgres/enc_params.cfg.postgres /optpangolin-auth-reencrypt/ /etc/pangolin-auth-reencrypt/
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_auth_reencrypt/etc/postgres/enc_util.cfg /etc/postgres/enc_util.cfg
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_auth_reencrypt/opt/pangolin-common/bin/pg_auth_reencrypt /opt/pangolin-common/bin/pg_auth_reencrypt
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_auth_reencrypt/etc/postgres/enc_params.cfg.kmadmin_pg /etc/postgres/enc_params.cfg.kmadmin_pg
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_auth_reencrypt/etc/postgres/enc_params.cfg.postgres /etc/postgres/enc_params.cfg.postgres
Внимание!

В случае конфигурации с DCS, произведите дополнительно восстановление на узле арбитр.

Шаг 3. Восстановление компонента pg_certs_rotate_agent​

Восстановите исходный rpm-пакет (pangolin-certs-rotate) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_FULL_OLD_VER=0x.00x.0x
dnf remove pangolin-certs-rotate
rm -rf /etc/systemd/system/pangolin-certs-rotate.service /etc/pangolin-certs-rotate /opt/pangolin-certs-rotate /opt/pangolin-common/bin/pg_certs_rotate_agent
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_certs_rotate/etc/postgres/pg_certs_rotate_agent.yml /etc/postgres/pg_certs_rotate_agent.yml
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_certs_rotate/etc/systemd/system/pg_certs_rotate_agent.service /etc/systemd/system/pg_certs_rotate_agent.service
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_certs_rotate/opt/pangolin-common/bin/pg_certs_rotate_agent /opt/pangolin-common/bin/pg_certs_rotate_agent
Внимание!

В случае конфигурации с DCS, произведите дополнительно восстановление на узле арбитр.

Шаг 4. Восстановление компонентов безопасности (security-utilities)​

Восстановите исходный rpm-пакет (pangolin-security-utilities) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_FULL_OLD_VER=0x.00x.0x
dnf remove pangolin-security-utilities
cp -r /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_dbms/postgres /etc/
Внимание!

В случае конфигурации с DCS, произведите дополнительно восстановление на узле арбитр.

Шаг 5. Восстановление компонента diagnostic_tool​

Восстановите исходный rpm-пакет (pangolin-diagnostic-tool) или исходные бинарные файлы компонента из резервного каталога:

dnf remove pangolin-diagnostic-tool

Шаг 6. Восстановление компонентов резервного копирования (backup-tools)​

Восстановите исходный rpm-пакет (pangolin-backup-tools) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_FULL_OLD_VER=0x.00x.0x
dnf remove pangolin-backup-tools
rm -rf /opt/omni/lbin/ /etc/pangolin-backup-tools
cp -ra /pgarclogs/backups/06.001.02/2024-10-23-T1213/pangolin_backup_tools/06_manage_backup.sh /opt/omni/lbin/06_manage_backup.sh
cp -ra /pgarclogs/backups/06.001.02/2024-10-23-T1213/pangolin_backup_tools/06_pg_se_archlogs.sh /opt/omni/lbin/06_pg_se_archlogs.sh
cp -ra /pgarclogs/backups/06.001.02/2024-10-23-T1213/pangolin_backup_tools/06_manage_backup.bin /opt/omni/lbin/06_manage_backup.bin

Шаг 7. Восстановление компонента Pangolin Pooler​

Восстановите исходный rpm-пакет (pangolin-pooler) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_FULL_OLD_VER=0x.00x.0x
dnf remove pangolin-pooler
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_pooler/etc/pgbouncer/userlist.txt /etc/pgbouncer/userlist.txt
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_pooler/etc/systemd/system/pgbouncer.service /etc/systemd/system/pgbouncer.service
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/etc/logrotate.d/pgbouncer /etc/logrotate.d/pgbouncer
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_pooler/usr/local/bin/pgbouncer /usr/local/bin/pgbouncer
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_pooler/usr/local/share/doc /usr/local/share/
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_pooler/usr/local/share/man/man1/pgbouncer.1 /usr/local/share/man/man1/pgbouncer.1
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_pooler/usr/local/share/man/man5/pgbouncer.5 /usr/local/share/man/man5/
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_pooler/etc/pgbouncer/pgbouncer.ini /etc/pgbouncer/

Шаг 8. Восстановление компонента Pangolin Manager​

Восстановите исходный rpm-пакет (pangolin-manager) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_FULL_OLD_VER=0x.00x.0x
dnf remove pangolin-manager
rm -rf /opt/pangolin-manager/ /etc/pangolin-manager/ /usr/patroni/patroni_venv/
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_manager/patroni_venv/ /usr/patroni/patroni_venv/
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_manager/patroni.dynamic.json /pgdata/06/data/patroni.dynamic.json
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_manager/etc/patroni/postgres.yml /etc/patroni/postgres.yml
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1400/pangolin_manager/etc/systemd/system/patroni.service /etc/systemd/system/patroni.service
ln -snf /usr/patroni/patroni_venv/lib /usr/patroni/patroni_venv/lib64

Шаг 9. Восстановление серверной части​

Восстановите rpm-пакет (pangolin-dbms) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_OLD_VER=x.x
export PANGOLIN_VER=x.x
export PANGOLIN_FULL_OLD_VER=0x.00x.0x
dnf remove pangolin-dbms platform-v-pangolin-dbms
rm -rf /usr/pangolin-$PANGOLIN_OLD_VER /usr/pangolin-$PANGOLIN_VER
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_dbms/pangolin-$PANGOLIN_OLD_VER /usr
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_dbms/pgdata/06/data/{pg_hba.conf,postgresql.conf,pg_ident.conf,pg_quota.conf,postgresql.auto.conf,postgresql.base.conf,postgres.yml} /pgdata/06/data/
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_dbms/etc/systemd/system/patroni.service /etc/systemd/system/patroni.service
# или, в зависимости от типа конфигурации
cp -ra /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_dbms/lib/systemd/system/postgresql.service /lib/systemd/system/postgresql.service
ln -sfn /usr/pangolin-$PANGOLIN_OLD_VER /usr/pangolin
ln -sfn /usr/pangolin-$PANGOLIN_OLD_VER /usr/pangolin-6
ln -sfn /usr/pangolin-$PANGOLIN_OLD_VER /opt/pangolin-dbms

Шаг 10. Восстановление клиентской части​

Восстановите rpm-пакет (pangolin-dbms-client) или исходные бинарные файлы компонента из резервного каталога:

export PANGOLIN_OLD_VER=x.x
dnf remove pangolin-dbms-client
rm -rf /usr/pangolin-dbms-client /usr/pangolin-dbms-client-6 /usr/pangolin-dbms-client-$PANGOLIN_OLD_VER

Шаг 11. Восстановление компонента timescaledb​

  1. Восстановите исходный rpm-пакет (pangolin-timescaledb) или исходные бинарные файлы компонента из резервного каталога:

    dnf remove pangolin-timescaledb

  2. Установите пакет, если в исходной версии pangolin-timescaledb был в виде rpm-пакета:

    dnf install /pgarclogs/backups/$PANGOLIN_FULL_OLD_VER/2024-10-23-T1213/pangolin_timescaledb/pangolin-timescaledb-2.14.2-sberlinux8.x86_64.rpm

Шаг 12. Дополнительный действия​

  1. Актуализируйте путем замены все вхождения, в строках bash_profile, bashrc, dynmotd.sh, новой версии на старую (до обновления) версию для всех узлов кластера:

    export PANGOLIN_OLD_VER=x.x.x
    export PANGOLIN_VER=x.x.x
    export PANGOLIN_FULL_OLD_VER=0x.00x.0x
    export PANGOLIN_FULL_VER=0x.00x.0x
    export PANGOLIN_MANAGER_OLD_VER=x.x.x
    export PANGOLIN_MANAGER_VER=x.x.x

    sudo sed -i  "s/$PANGOLIN_VER/$PANGOLIN_OLD_VER/g" /home/postgres/.bash_profile
    sudo sed -i  "s/$PANGOLIN_VER/$PANGOLIN_OLD_VER/g" /home/kmadmin_pg/.bash_profile
    sudo sed -i  "s/$PANGOLIN_VER/$PANGOLIN_OLD_VER/g" /home/postgres/.bashrc
    sudo sed -i  "s/$PANGOLIN_VER/$PANGOLIN_OLD_VER/g" /home/kmadmin_pg/.bashrc

    sudo sed -i  "s/$PANGOLIN_MANAGER_VER/$PANGOLIN_MANAGER_OLD_VER/g" /usr/local/sbin/dynmotd.sh
    sudo sed -i  "s/$PANGOLIN_VER/$PANGOLIN_OLD_VER/g" /usr/local/sbin/dynmotd.sh
    sudo sed -i  "s/$PANGOLIN_FULL_VER/$PANGOLIN_FULL_OLD_VER/g" /usr/local/sbin/dynmotd.sh

Шаг 13. Восстановление данных системного каталога​

Внимание!

Выполните данный шаг, если было выполнено обновление данных системного каталога в процессе обновления на «Шаге 14».

Восстановите системный каталог согласно инструкции в разделе «Ручное восстановление данных системного каталога СУБД».

Шаг 14. Запуск компонентов СУБД Pangolin​

  1. Запустите компоненты Pangolin. В случае кластерной конфигурации, сначала выполните запуск на основном узле:

    • Для всех конфигураций:

      sudo systemctl daemon-reload
      sudo systemctl restart user@$(id -u postgres)
      sudo systemctl restart user@$(id -u kmadmin_pg)

    • Для конфигурации без Pangolin Manager:

      sudo systemctl restart postgresql

    • Для конфигурации с Pangolin Manager:

      sudo systemctl restart pangolin-manager

    • Для конфигурации с etcd:

      sudo systemctl restart etcd

    • Для всех конфигураций:

      sudo systemctl restart pangolin-pooler
      sudo systemctl restart pangolin-certs-rotate
      sudo systemctl restart pangolin-auth-reencrypt@postgres
      sudo systemctl restart pangolin-auth-reencrypt@kmadmin_pg

  2. В случае конфигурации с Pangolin Manager (patroni) выведите его из режима паузы:

    sudo -iu postgres
    pangolin-manager-ctl -c /etc/pangolin-manager/postgres.yml edit-config --set 'pause=false' --force
    /usr/patroni/patroni_venv/bin/pangolin-manager -c /etc/pangolin-manager/postgres.yml restart clustername
    exit

  3. Проверьте состояние служб:

    • Для конфигурации без Pangolin Manager:

      sudo systemctl status postgresql

    • Для конфигурации с Pangolin Manager:

      sudo systemctl status pangolin-manager

    • Для конфигурации с etcd:

      sudo systemctl status etcd

    • Для всех конфигураций:

      sudo systemctl status pangolin-pooler
      sudo systemctl status pangolin-certs-rotate
      sudo systemctl status pangolin-auth-reencrypt@postgres
      sudo systemctl status pangolin-auth-reencrypt@kmadmin_pg