Логирование процесса установки, обновления или отката СУБД Pangolin, а также работы скрипта-разведчика
Во время установки, обновления или отката СУБД Pangolin, а также при работе скрипта-разведчика в системе ведется файл лога, в который записываются события этих процессов.
Расположение лог-файла
С каждым запуском установки, обновления, отката или скрипта-разведчика Pangolin в каталоге /home/postgres/pangolin_ansible_logs/ формируется новый файл лога с именем:
pangolin-{{ action_type }}-{{ ansible_date_time.date }}-T{{ ansible_date_time.hour }}{{ ansible_date_time.minute }}.log
action_type— может иметь значения:install— для установки,update_major— для обновления, отката или скрипта-разведчика;ansible_date_time.date— дата создания в формате ГГГГ-ММ-ДД;ansible_date_time.hour,ansible_date_time.minute— время создания (часы, минуты).
Примеры лог-файлов
[root@<DNS-имя узла> postgres]$ cat .pangolin_install_2023-09-07_T2120.log
============================================================
СУБД Pangolin 6.5.0
TDE=False AdminProtection=False SecureConfig=False
standalone-postgresql-pgbouncer
master-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
[2023/09/07 21:21:56] START INSTALL
[2023/09/07 21:21:56] INSTALL <IP-адрес> CHECKUP Start the block.
[2023/09/07 21:24:06] INSTALL <IP-адрес> CHECKUP Finish the block.
[2023/09/07 21:24:10] INSTALL <IP-адрес> PG_CERTS_ROTATE_AGENT Start the block.
[2023/09/07 21:24:58] INSTALL <IP-адрес> PG_CERTS_ROTATE_AGENT Finish the block.
[2023/09/07 21:25:00] INSTALL <IP-адрес> POSTGRESQL Start the block.
[2023/09/07 21:26:50] INSTALL <IP-адрес> POSTGRESQL Finish the block.
[2023/09/07 21:26:55] INSTALL <IP-адрес> PANGOLIN_BACKUP_TOOLS Start the block.
[2023/09/07 21:26:59] INSTALL <IP-адрес> PANGOLIN_BACKUP_TOOLS Finish the block.
[2023/09/07 21:27:01] INSTALL <IP-адрес> PGBOUNCER Start the block.
[2023/09/07 21:27:25] INSTALL <IP-адрес> PGBOUNCER Finish the block.
[2023/09/07 21:27:29] INSTALL <IP-адрес> FINALLY Start the block.
[2023/09/07 21:27:39] INSTALL <IP-адрес> FINALLY Finish the block.
[2023/09/07 21:27:51] INSTALL <IP-адрес> PANGOLIN-AUTH-REENCRYPT Start the block.
[2023/09/07 21:28:01] INSTALL <IP-адрес> PANGOLIN-AUTH-REENCRYPT Finish the block.
[2023/09/07 21:28:02] INSTALL <IP-адрес> PG_CERTS_ROTATE_AGENT Start the block.
[2023/09/07 21:28:11] INSTALL <IP-адрес> PG_CERTS_ROTATE_AGENT Finish the block.
[2023/09/07 21:28:12] INSTALL <IP-адрес> CONFIGURE Start the block.
[2023/09/07 21:28:28] INSTALL <IP-адрес> CONFIGURE Finish the block.
[2023/09/07 21:28:29] FINISH INSTALL
[root@<DNS-имя узла> postgres]$ cat .pangolin_scout_2023-09-11_T2320.log
============================================================
СУБД Pangolin 6.5.0
TDE=False AdminProtection=False SecureConfig=False
standalone-postgresql-pgbouncer
update_major
master-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
[2023/09/11 23:20:55] START SCOUT
[2023/09/11 23:24:04] SCOUT <IP-адрес> WARNING RLM.WARNING__Параметр шифрования ldap соединения 'ldaptls=1' не был обнаружен в pg_hba.conf.Шифрование ldap-соединения выключено.__RLM.WARNING
[2023/09/11 23:24:05] SCOUT <IP-адрес> WARNING RLM.WARNING__Ролевая модель не будет обновлена для групп 'db_admin', 'as_admin', 'as_TUZ'.__RLM.WARNING
[2023/09/11 23:24:23] SCOUT <IP-адрес> MERGE PGBOUNCER Start the block.
[2023/09/11 23:24:30] SCOUT <IP-адрес> MERGE PGBOUNCER Finish the block.
[2023/09/11 23:24:31] SCOUT <IP-адрес> MERGE PANGOLIN Start the block.
[2023/09/11 23:25:02] SCOUT <IP-адрес> MERGE PANGOLIN Finish the block.
[2023/09/11 23:27:32] FINISH SCOUT
[root@<DNS-имя узла> postgres]$ cat .pangolin_scout_2023-09-12_T1126.log
============================================================
СУБД Pangolin 6.5.0
TDE=True AdminProtection=True SecureConfig=True
standalone-postgresql-pgbouncer
update_major
master-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
[2023/09/12 11:26:46] START SCOUT
[2023/09/12 11:30:14] SCOUT <IP-адрес> WARNING RLM.WARNING__Параметр шифрования ldap соединения 'ldaptls=1' не был обнаружен в pg_hba.conf.Шифрование ldap-соединения выключено.__RLM.WARNING
[2023/09/12 11:30:14] SCOUT <IP-адрес> WARNING RLM.WARNING__Ролевая модель не будет обновлена для групп 'db_admin', 'as_admin', 'as_TUZ'.__RLM.WARNING
[2023/09/12 11:30:29] SCOUT <IP-адрес> MERGE PGBOUNCER Start the block.
[2023/09/12 11:30:34] SCOUT <IP-адрес> MERGE PGBOUNCER Finish the block.
[2023/09/12 11:30:35] SCOUT <IP-адрес> MERGE PANGOLIN Start the block.
[2023/09/12 11:30:58] SCOUT <IP-адрес> MERGE PANGOLIN Finish the block.
[2023/09/12 11:33:38] SCOUT <IP-адрес> ERROR RLM.FAIL__В кандидате на обновление не был обнаружен конфигурационный файл '/etc/pangolin-security-utilities/enc_connection_settings.cfg' для подключения к VAULT. Произведите проверку состояния стенда на предмет подключения к защищенному хранилищу VAULT и повторите запуск скрипта разведчика.__RLM.FAIL
[2023/09/12 11:33:40] FINISH SCOUT
[root@<DNS-имя узла> postgres]$ cat .pangolin_update_major_2023-09-12-T0129.log
============================================================
СУБД Pangolin 6.5.0
TDE=False AdminProtection=False SecureConfig=False
cluster-patroni-etcd-pgbouncer
update_major
master-<IP-адрес>-<DNS-имя узла>, replica-<IP-адрес>-<DNS-имя узла>, etcd-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
[2023/09/12 01:30:25] START UPDATE
[2023/09/12 01:30:26] UPDATE <IP-адрес> CHECKUP Start the block.
[2023/09/12 01:30:26] UPDATE <IP-адрес> CHECKUP Start the block.
[2023/09/12 01:30:26] UPDATE <IP-адрес> CHECKUP Start the block.
[2023/09/12 01:38:10] UPDATE <IP-адрес> MERGE PGBOUNCER Start the block.
[2023/09/12 01:38:10] UPDATE <IP-адрес> MERGE PGBOUNCER Start the block.
[2023/09/12 01:38:21] UPDATE <IP-адрес> MERGE PGBOUNCER Finish the block.
[2023/09/12 01:38:21] UPDATE <IP-адрес> MERGE PGBOUNCER Finish the block.
[2023/09/12 01:38:22] UPDATE <IP-адрес> MERGE PANGOLIN Start the block.
[2023/09/12 01:38:23] UPDATE <IP-адрес> MERGE PANGOLIN Start the block.
[2023/09/12 01:39:01] UPDATE <IP-адрес> MERGE PANGOLIN Finish the block.
[2023/09/12 01:39:02] UPDATE <IP-адрес> MERGE PANGOLIN Finish the block.
[2023/09/12 01:39:02] UPDATE <IP-адрес> MERGE PATRONI Start the block.
[2023/09/12 01:39:03] UPDATE <IP-адрес> MERGE PATRONI Start the block.
[2023/09/12 01:39:34] UPDATE <IP-адрес> MERGE PATRONI Finish the block.
[2023/09/12 01:39:35] UPDATE <IP-адрес> MERGE PATRONI Finish the block.
[2023/09/12 01:39:59] UPDATE <IP-адрес> CHECKUP Finish the block.
[2023/09/12 01:40:00] UPDATE <IP-адрес> CHECKUP Finish the block.
[2023/09/12 01:40:00] UPDATE <IP-адрес> CHECKUP Finish the block.
[2023/09/12 01:40:03] UPDATE <IP-адрес> PANGOLIN-AUTH-REENCRYPT Start the block.
[2023/09/12 01:40:03] UPDATE <IP-адрес> PANGOLIN-AUTH-REENCRYPT Start the block.
[root@<DNS-имя узла> postgres]$ cat .pangolin_update_major_2023-09-11-T2302.log
============================================================
СУБД Pangolin 6.5.0
TDE=False AdminProtection=False SecureConfig=False
standalone-postgresql-pgbouncer
update_major
master-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
[2023/09/11 23:02:36] START UPDATE
[2023/09/11 23:02:36] UPDATE <IP-адрес> CHECKUP Start the block.
[2023/09/11 23:07:37] UPDATE <IP-адрес> MERGE PGBOUNCER Start the block.
[2023/09/11 23:07:44] UPDATE <IP-адрес> MERGE PGBOUNCER Finish the block.
[2023/09/11 23:07:45] UPDATE <IP-адрес> MERGE PANGOLIN Start the block.
[2023/09/11 23:08:20] UPDATE <IP-адрес> MERGE PANGOLIN Finish the block.
[2023/09/11 23:08:44] UPDATE <IP-адрес> CHECKUP Finish the block.
[2023/09/11 23:08:45] UPDATE <IP-адрес> PANGOLIN-AUTH-REENCRYPT Start the block.
[2023/09/11 23:08:51] UPDATE <IP-адрес> PANGOLIN-AUTH-REENCRYPT Finish the block.
[2023/09/11 23:08:53] UPDATE <IP-адрес> PG_CERTS_ROTATE_AGENT Start the block.
[2023/09/11 23:09:22] UPDATE <IP-адрес> PG_CERTS_ROTATE_AGENT Finish the block.
[2023/09/11 23:09:36] UPDATE <IP-адрес> POSTGRESQL Start the block.
[2023/09/11 23:11:36] UPDATE <IP-адрес> POSTGRESQL Finish the block.
[2023/09/11 23:11:37] UPDATE <IP-адрес> POSTGRESQL Start the block.
[2023/09/11 23:13:21] UPDATE <IP-адрес> POSTGRESQL Finish the block.
[2023/09/11 23:13:22] UPDATE <IP-адрес> POSTGRESQL Start the block.
[2023/09/11 23:14:31] UPDATE <IP-адрес> POSTGRESQL Finish the block.
[2023/09/11 23:14:37] UPDATE <IP-адрес> PGBOUNCER Start the block.
[2023/09/11 23:14:44] ERROR <IP-адрес> PGBOUNCER [ERROR] debug: The task includes an option with an undefined variable. The error was: 'update_error_types_breakpoint_msg' is undefined
The error appears to be in '/usr/agent/u01/jenkins_slave/workspace/pangolin/RHEL7/DEVELOP/allVersions/install_test_10/distributive/installer/roles/pgbouncer/tasks/update.yml': line 53, column 7, but may
be elsewhere in the file depending on the exact syntax problem.
The offending line appears to be:
- debug: msg="{{ update_error_types_breakpoint_msg }}"
^ here
We could be wrong, but this one looks like it might be an issue with
missing quotes. Always quote template expression brackets when they
start a value. For instance:
with_items:
- {{ foo }}
Should be written as:
with_items:
- "{{ foo }}"
[root@<DNS-имя узла> pangolin_logs]$ cat pangolin_update_major_2023-09-12-T1824.log
============================================================
Pangolin DBMS 6.5.0
TDE=false AdminProtection=false SecureConfig=false
update_major
configuration
master-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
[2023/09/12 18:24:36] START UPDATE
[2023/09/12 18:24:36] UPDATE <IP-адрес> CHECKUP Start the block.
[2023/09/12 18:25:29] ERROR <IP-адрес> CHECKUP [ERROR] debug: The task includes an option with an undefined variable. The error was: 'update_error_types_breakpoint_msg' is undefined
The error appears to be in '/usr/agent/u01/jenkins_slave/workspace/pangolin/RHEL7/DEVELOP/allVersions/install_test_6/distributive/installer/roles/checkup/tasks/main.yml': line 288, column 7, but may
be elsewhere in the file depending on the exact syntax problem.
The offending line appears to be:
- debug: msg="{{ update_error_types_breakpoint_msg }}"
^ here
We could be wrong, but this one looks like it might be an issue with
missing quotes. Always quote template expression brackets when they
start a value. For instance:
with_items:
- {{ foo }}
Should be written as:
with_items:
- "{{ foo }}"
[2023/09/12 18:26:38] ERROR FINISH UPDATE
[2023/09/12 18:26:46] RECOVERY <IP-адрес> CHECKUP Start the block.
[2023/09/12 18:26:47] ERROR <IP-адрес> CHECKUP [ERROR] debug: The task includes an option with an undefined variable. The error was: 'qwerty' is undefined
The error appears to be in '/usr/agent/u01/jenkins_slave/workspace/pangolin/RHEL7/DEVELOP/allVersions/install_test_6/distributive/installer/roles/recovery/tasks/checkup.yml': line 17, column 7, but may
be elsewhere in the file depending on the exact syntax problem.
The offending line appears to be:
- name: debug 1
^ here
[2023/09/12 18:26:48] ERROR FINISH RECOVERY
Содержимое лог-файла
Заголовок
Заголовок лога формируется по шаблону:
============================================================
Версия СУБД Pangolin
Блок конфигурации
Тип обновления (install для установки, update_major для обновления, отката и скрипта-разведчика)
Набор функциональностей
<Тип сервера>-<IP-адрес>-<DNS-имя узла>
Тип/версия ОС
============================================================
Пример для установки:
============================================================
Pangolin DBMS 6.5.0
TDE=false AdminProtection=false SecureConfig=false
install
cluster-patroni-etcd-pgbouncer
master-<IP-адрес>-<DNS-имя узла>, replica-<IP-адрес>-<DNS-имя узла>, etcd-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
Для обновления или отката:
============================================================
Pangolin DBMS 6.5.0
TDE=False AdminProtection=False SecureConfig=False
update_major
cluster-patroni-etcd-pgbouncer
master-<IP-адрес>-<DNS-имя узла>, replica-<IP-адрес>-<DNS-имя узла>, etcd-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
Для скрипта-разведчика:
============================================================
Pangolin DBMS 6.5.0
TDE=False AdminProtection=False SecureConfig=False
update_major
standalone-postgresql-pgbouncer
master-<IP-адрес>-<DNS-имя узла>
OS=Red Hat Enterprise Linux Server VERSION=7.9 (Maipo)
============================================================
Теги
Список возможных тегов лога:
-
START INSTALL/START SCOUT/START UPDATE/START RECOVERY— начало каждого типа действия; -
FINISH INSTALL/FINISH SCOUT/FINISH UPDATE/FINISH RECOVERY— успешное завершение каждого типа действия; -
ERROR FINISH INSTALL/ERROR FINISH SCOUT/ERROR FINISH UPDATE/ERROR FINISH RECOVERY— неуспешное завершение каждого типа действия; -
INSTALL HOST COMPONENT— информационное сообщение для типа действия установка; -
UPDATE HOST COMPONENT— информационные сообщения для типа действия обновление; -
SCOUT HOST COMPONENT— информационные сообщения для типа действия разведка; -
RECOVERY HOST COMPONENT— информационные сообщения для типа действия откат; -
WARNING HOST COMPONENT— предупреждающее сообщение, не блокирующие процесс работы скриптов; -
ERROR HOST COMPONENT— сообщение об ошибке, блокирующее процесс работы скриптов;Примечание:
HOST— IP-адрес узла, на котором происходит действие.COMPONENT— название компонента. -
SCOUT HOST INFO,SCOUT HOST WARNING— и нформационные сообщения, собранные в процессе разведки, не блокирующие процесс запуска скриптов обновления; -
SCOUT HOST ERROR— информационные сообщения, собранные в процессе разведки, блокирующие процесс запуска скриптов обновления.
Информационные сообщения
Информационные сообщения, выводимые в логе:
Start the block— информационное сообщение о старте работы скриптов в определенном блоке;Finish the block— информационное сообщение о завершении работы скриптов в определенном блоке;[ERROR] module: Текст ошибки.— информационное сообщение об ошибке в процессе работы скриптов. Сопровождается текстом ошибки из задачи, завершившейся неуспешно.