Мониторинг с помощью Grafana

Предупреждение!

Инструкция в данном разделе оформлена в соответствии с определенными версиями стороннего ПО. При использовании других версий порядок действий может отличаться. Рекомендуется обращаться к официальной эксплуатационной документации соответствующих компонентов.

Схема работы

Для мониторинга параметров СУБД Pangolin и сбора метрик в Prometheus используется экспортер, который опрашивает сервер Pangolin и передает данные серверу Prometheus. Данные можно визуализировать в Grafana с помощью дашборда.

Внимание!

В данном разделе рассматривается вариант установки на примере одной из поддерживаемых ОС.

Описание компонентов

Prometheus – центральный сервер, предназначенный для сбора и хранения данных. Данные постоянно изменяются во времени (например, уровень заполненности диска, трафик через сетевой интерфейс, время отклика сайта). Элементы данных называются метриками. Сервер Prometheus с заданной периодичностью считывает метрики и помещает полученные данные в Time Series DB. Time Series DB - это разновидность баз данных, предназначенная для хранения временных рядов (значений с привязкой ко времени). Кроме того, Prometheus предоставляет интерфейс для выполнения запросов и визуализации полученных данных. Язык запросов Prometheus называется PromQL. Prometheus работает по модели Pull, он сам опрашивает конечную точку с целью получения данных.

Exporters – процессы, обеспечивающие сбор и их передачу серверу Prometheus. После запуска exporter начинает сбор соответствующих метрик и ожидает запросов от сервера Prometheus по заданному порту. Данных передаются в формате HTTP.

Grafana – удобное клиентское приложение для визуализации накопленных данных, которое может использоваться для работы с данными сервера Prometheus. Предоставляет различные преднастроенные графические интерфейсы для отображения данных.

Помимо функций сбора, анализа и визуализации данных, Prometheus и Grafana поддерживают настраиваемые оповещения. В Grafana этот механизм является встроенным, в Prometheus он реализуется отдельным компонентом (Alert_manager).

Установка Prometheus

1. Выполните аутентификацию на сервере Prometheus c правами суперпользователя.

   примечание

   Актуальную версию Prometheus можно найти и скачать на официальном сайте Prometheus.

2. Создайте пользователя prometheus и группу prometheus, от имени которых запускается Prometheus:

   groupadd --system prometheus
   useradd --system -g prometheus -s /bin/false prometheus

3. Скачайте архив Prometheus и распакуйте его в папку /tmp:

   tar -xzfv prometheus-{{$VERSION}}.linux-amd64.tar.gz -C /tmp

4. Создайте директорию для конфигурационного файла:

   mkdir /etc/prometheus

5. Создайте директорию для данных:

   mkdir /var/lib/prometheus

6. Скопируйте содержимое распакованного архива:

   cp /tmp/prometheus-$VERSION.linux-amd64/prometheus /usr/local/bin
   cp /tmp/prometheus-$VERSION.linux-amd64/promtool /usr/local/bin
   cp /tmp/prometheus-$VERSION.linux-amd64/tsdb /usr/local/bin
   cp -r /tmp/prometheus-$VERSION.linux-amd64/console* /etc/prometheus

7. Удалите содержимое распакованного архива из папки /tmp.

8. Создайте конфигурационный файл /etc/prometheus/prometheus.yml со следующим содержимым:

   global:
     scrape_interval: 10s
   scrape_configs:
     - job_name: 'prometheus'
       static_configs:
       - targets: ['localhost:9090']

   В секции global указывается период опроса данных, в секции scrape_configs подключается мониторинг ресурсов Prometheus.

9. Измените владельца созданных файлов:

   chown -R prometheus:prometheus /var/lib/prometheus /etc/prometheus
   chown prometheus:prometheus /usr/local/bin/prometheus /usr/local/bin/promtool /usr/local/bin/tsdb

10. Создайте сценарий запуска systemd сервиса Prometheus. Для этого создайте файл /etc/systemd/system/prometheus.service со следующим содержимым:

    [Unit]
    Description=Prometheus
    Wants=network-online.target
    After=network-online.target
    [Service]
    User=prometheus
    Group=prometheus
    ExecStart=/usr/local/bin/prometheus \
    --config.file /etc/prometheus/prometheus.yml \
    --storage.tsdb.path /var/lib/prometheus \
    --web.console.templates=/etc/prometheus/consoles \
    --web.console.libraries=/etc/prometheus/console_libraries
    ExecReload=/bin/kill -HUP $MAINPID
    [Install]
    WantedBy=default.target

11. Запустите Prometheus:

    systemctl daemon-reload
    systemctl start prometheus.service
    systemctl enable prometheus.service
    Created symlink /etc/systemd/system/default.target.wants/prometheus.service → /etc/systemd/system/prometheus.service.

12. Убедитесь, что сервис запустился:

    systemctl status prometheus.service
    ● prometheus.service - Prometheus
    Loaded: loaded (/etc/systemd/system/prometheus.service; disabled; vendor preset: disabled)
    Active: active (running) since Tue 2021-01-19 22:57:26 MSK; 5 days ago
    Process: 32199 ExecReload=/bin/kill -HUP $MAINPID (code=exited, status=0/SUCCESS)
    Main PID: 21096 (prometheus)
    Tasks: 10
    CGroup: /system.slice/prometheus.service
    └─21096 /usr/local/bin/prometheus --config.file /etc/prometheus/prometheus.yml --storage.tsdb.path /var/lib/prometheus --web.console.templates=/etc/prometheus/consoles --web.console.libraries=/etc/prometheus/console_libraries

13. Войдите в веб-консоль Prometheus по порту 9090:

    

Установка postgres_exporter

1. Выполните аутентификацию на сервере СУБД с правами суперпользователя.

   примечание

   Актуальную версию postgres_exporter можно найти и скачать в репозитории postgres_exporter.

2. Скачайте архив postgres_exporter и распакуйте его в папку /tmp:

   tar -xzfv postgres_exporter_v{{$VERSION}}_linux-amd64.tar.gz -C /tmp

3. Скопируйте содержимое распакованного архива в папку /usr/local/bin:

   cp /tmp/postgres_exporter_v{{$VERSION}}_linux-amd64/postgres_exporter /usr/local/bin

4. Удалите содержимое распакованного архива из папки /tmp:

   rm -rf /tmp/postgres_exporter_v{{$VERSION}}_linux-amd64

5. Измените владельца postgres_exporter на postgres:

   chown -R postgres:postgres /usr/local/bin/postgres_exporter

6. Создайте сценарий запуска systemd сервиса postgres_exporter. Для этого создайте файл /etc/systemd/system/postgres_exporter.service со следующим содержимым:

   [Unit]
   Description=Prometheus PostgreSQL Exporter
   After=network.target
   
   [Service]
   Type=simple
   Restart=always
   User=postgres
   Group=postgres
   Environment=DATA_SOURCE_NAME=postgresql://{{username}}:{{userpass}}@localhost:5433/postgres?sslmode=disable
   ExecStart=/usr/local/bin/postgres_exporter --extend.query-path=/usr/local/bin/query.yaml --log.level=debug --disable-default-metrics
   [Install]
   WantedBy=multi-user.target

   Где Environment - описывает передаваемые параметры доступа к серверу. Если используется нестандартная инсталляция, либо сервер и exporter расположены на разных узлах, настройте эти параметры:

   • --extend.query-path=/usr/local/bin/query.yaml - подключить пользовательские метрики, метрики должны быть описаны и расположены по указанному пути;
   • --log.level=debug - повышение уровня логирования, если необходимо;
   • --disable-default-metrics - отключение метрик, собираемых postgres_exporter по умолчанию.

7. Запустите postgres_exporter:

   systemctl daemon-reload
   systemctl start postgres_exporter.service
   systemctl enable postgres_exporter.service
   Created symlink /etc/systemd/system/multi-user.target.wants/postgres_exporter.service → /etc/systemd/system/postgres_exporter.service

8. Убедитесь, что сервис запустился:

   systemctl status postgres_exporter.service
   ● postgres_exporter.service - Prometheus PostgreSQL Exporter
   Loaded: loaded (/etc/systemd/system/postgres_exporter.service; enabled; vendor preset: disabled)
   Active: active (running) since Sun 2021-01-24 20:31:39 MSK; 18h ago
   Main PID: 29812 (postgres_export)
   CGroup: /system.slice/postgres_exporter.service
   └─29812 /usr/local/bin/postgres_exporter --extend.query-path=/usr/local/bin/query.yaml --log.level=debug --disable-default-metrics
   
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_diskwrites_tempfiles" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_vacuum_workers" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_bgwriter_lru_maxpages" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_disk_writes_archfiles" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_disk_writes_replication" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_dirtypages" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_autovacuum" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_vacuum_user" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_autovacuum_limit" source="postgres_exporter.go:1323"
   Jan 25 14:32:00 <hostname> postgres_exporter[29812]: time="2021-01-25T14:32:00+03:00" level=debug msg="Querying namespace:  pgse_vacuum" source="postgres_exporter.go:1323"

   По умолчанию postgres_exporter запускается на порте 9187, который должен быть доступен серверу Prometheus. При необходимости настройте межсетевой экран соответствующим образом.

Настройка сервера Prometheus для получения данных postgres_exporter

1. В файл /etc/prometheus/prometheus.yml в секцию scrape_configs добавьте секцию работы с postgres_exporter:

   scrape_configs:
     - job_name: postgresql
       scrape_interval: 10s
       static_configs:
         - targets: ['<IP-Address>:<port>']
           labels:
             alias: postgres

   примечание

   Секция scrape_configs предназначена для описания целей и средств мониторинга. Подробно о настройках читайте в документации Prometheus.

   В примере выше настроен сбор данных по адресу <IP-Address> и порту <port>, на котором запущен postgres_exporter, задаче присвоено имя posgresql и указано, что сбор данных должен выполняться каждые 10 секунд.

2. Перезапустите сервис Prometheus:

   systemctl reload prometheus.service

3. Подождите несколько минут, чтобы накопились данные.

Установка node_exporter

1. Установите пакет conntrack:

   sudo yum install conntrack

2. Выполните аутентификацию на сервере СУБД с правами суперпользователя.

   примечание

   Актуальную версию node_exporter можно найти и скачать в репозитории node_exporter.

3. Скачайте архив node_exporter и распакуйте его в папку /tmp:

   tar -xzfv node_exporter_{{$VERSION}}_linux-amd64.tar.gz -C /tmp

4. Скопируйте содержимое распакованного архива в папку /usr/local/bin:

   cp /tmp/node_exporter_{{$VERSION}}_linux-amd64/node_exporter /usr/local/bin

5. Удалите содержимое распакованного архива из папки /tmp:

   rm -rf /tmp/node_exporter_{{$VERSION}}_linux-amd64

6. Измените владельца node_exporter на postgres:

   chown -R postgres:postgres /usr/local/bin/node_exporter

7. Создайте сценарий запуска systemd сервиса node_exporter. Для этого создайте файл /etc/systemd/system/node_exporter.service со следующим содержимым:

   [Unit]
   Description=Prometheus Node Exporter
   After=network.target
   
   [Service]
   Type=simple
   Restart=always
   User=postgres
   Group=postgres
   ExecStart=/usr/local/bin/node_exporter --collector.netstat --collector.systemd
   
   [Install]
   WantedBy=multi-user.target

   Где --collector.{{metric_name}} описывает дополнительные метрики собираемые node_exporter.

8. Запустите postgres_exporter:

   systemctl daemon-reload
   systemctl start node_exporter.service
   systemctl enable node_exporter.service
   Created symlink /etc/systemd/system/multi-user.target.wants/node_exporter.service → /etc/systemd/system/node_exporter.service

9. Убедитесь, что сервис запустился:

   systemctl status node_exporter.service
   ● node_exporter.service - Prometheus Node Exporter
   Loaded: loaded (/etc/systemd/system/node_exporter.service; disabled; vendor preset: disabled)
   Active: active (running) since Wed 2021-03-10 17:23:25 MSK; 25min ago
   Main PID: 25650 (node_exporter)
   CGroup: /system.slice/node_exporter.service
   └─25650 /usr/local/bin/node_exporter --collector.netstat --collector.processes --collector.systemd
   
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=thermal_zone
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=time
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=timex
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=udp_queues
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=uname
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=vmstat
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=xfs
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:113 collector=zfs
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=node_exporter.go:195 msg="Listening on" address=:9100
   Mar 10 17:23:25 <host> node_exporter[25650]: level=info ts=2021-03-10T14:23:25.664Z caller=tls_config.go:191 msg="TLS is disabled." http2=false

   По умолчанию node_exporter запускается на порте 9100, который должен быть доступен серверу Prometheus. При необходимости настройте межсетевой экран соответствующим образом.

Настройка сервера Prometheus для получения данных node_exporter

1. В файл /etc/prometheus/prometheus.yml в секцию scrape_configs добавьте секцию работы с node_exporter:

   scrape_configs:
     - job_name: 'node'
       static_configs:
         - targets: [<IP-Address>:<port>]

   примечание

   Секция scrape_configs предназначена для описания целей и средств мониторинга. Подробно о настройках читайте в документации Prometheus.

   В примере выше запущен node_exporter, задаче присвоено имя node.

2. Перезапустите сервис Prometheus:

   systemctl reload prometheus.service

3. Подождите несколько минут, чтобы накопились данные.

Установка process_exporter

1. Выполните аутентификацию на сервере СУБД с правами суперпользователя.

   примечание

   Актуальную версию process_exporter можно найти и скачать в репозитории process_exporter.

2. Скачайте архив process_exporter и распакуйте его в папку /tmp:

   tar -xf process_exporter_{{$VERSION}}_linux-amd64.tar -C /tmp

3. Скопируйте содержимое распакованного архива в папку /usr/local/bin:

   cp /tmp/process_exporter_{{$VERSION}}_linux-amd64/process_exporter /usr/local/bin

4. Удалите содержимое распакованного архива из папки /tmp:

   rm -rf /tmp/process_exporter_{{$VERSION}}_linux-amd64

5. Измените владельца process_exporter на postgres:

   chown -R postgres:postgres /usr/local/bin/process_exporter

6. Создайте сценарий запуска systemd сервиса process_exporter. Для этого создайте файл /etc/systemd/system/process_exporter.service со следующим содержимым:

   [Unit]
   Description=Prometheus Process Exporter
   After=network.target
   
   [Service]
   Type=simple
   Restart=always
   User=postgres
   Group=postgres
   ExecStart=/usr/local/bin/process_exporter --config.path /usr/local/bin/process-exporter.yml
   
   [Install]
   WantedBy=multi-user.target

   Где --config.path - файл конфигурации, описывающий какие процессы необходимо отслеживать.

7. В файле process-exporter.yml должно быть:

   process_names:
     - name: "{{.Comm}}"
       cmdline:
       - '.+'

   примечание

   Более детальную информацию смотрите в документации process_exporter.

8. Запустите process_exporter:

   systemctl daemon-reload
   systemctl start process_exporter.service
   systemctl enable process_exporter.service
   Created symlink /etc/systemd/system/multi-user.target.wants/process_exporter.service → /etc/systemd/system/process_exporter.service

9. Убедитесь, что сервис запустился:

   systemctl status process_exporter.service
   ● process_exporter.service - Prometheus Process Exporter
   Loaded: loaded (/etc/systemd/system/process_exporter.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2021-03-10 18:09:11 MSK; 3s ago
   Main PID: 937 (process-exporte)
   CGroup: /system.slice/process_exporter.service
   └─937 /usr/local/bin/process-exporter --config.path /usr/local/bin/process-exporter.yml
   
   Mar 10 18:09:11 <host> systemd[1]: Started Prometheus Process Exporter.
   Mar 10 18:09:11 <host> process-exporter[937]: 2021/03/10 18:09:11 Reading metrics from /proc based on "/usr/local/bin/process-exporter.yml"

   По умолчанию process_exporter запускается на порте 9256, который должен быть доступен серверу Prometheus. При необходимости настройте межсетевой экран соответствующим образом.

Настройка сервера Prometheus для получения данных process_exporter

1. В файле /etc/prometheus/prometheus.yml в секцию scrape_configs добавьте секцию работы с node_exporter:

   scrape_configs:
     - job_name: 'process'
       static_configs:
         - targets: [<IP-Address>:<port>]

   примечание

   Секция scrape_configs предназначена для описания целей и средств мониторинга. Подробно о настройках читайте в документации Prometheus.

   В примере выше запущен process_exporter, задаче присвоено имя process.

2. Перезапустите сервис Prometheus:

   systemctl reload prometheus.service

3. Подождите несколько минут, чтобы накопились данные.

Настройка сервера Prometheus для получения данных etcd

1. В файл /etc/prometheus/prometheus.yml в секцию scrape_configs добавьте секцию работы с etcd:

   scrape_configs:
     - job_name: 'etcd'
       static_configs:
         - targets: ['<IP-Address>:<port>','<IP-Address>:<port>','<IP-Address>:<port>']

   примечание

   Секция scrape_configs предназначена для описания целей и средств мониторинга. Подробно о настройках читайте в документации Prometheus.

   В примере выше настроен сбор данных по адресу DCS кластера и порту <port>, на котором работает API etcd, задаче присвоено имя etcd.

2. Перезапустите сервис Prometheus:

   systemctl reload prometheus.service

3. Подождите несколько минут, чтобы накопились данные.

Установка Grafana

1. Установите Grafana из rpm пакета. Актуальную версию Grafana можно найти и скачать на официальном сайте Grafana.

   sudo yum install grafana-{{$VERSION}}.x86_64.rpm

2. Создайте файл /etc/grafana/provisioning/datasources/prometheus.yaml со следующим содержимым:

   apiVersion: 1
   datasources:
     - name: Prometheus
       type: prometheus
       access: proxy
       url: http://localhost:9090
       isDefault: true
       editable: false

   примечание

   Provisioning - новая возможность Grafana по преднастройке сервера. В данном случае источник данных Prometheus настраивается в процессе установки, чтобы не делать этого позже в веб-интерфейсе Grafana.

3. Измените владельца файла /etc/grafana/provisioning/datasources/prometheus.yml:

   chown grafana:grafana /etc/grafana/provisioning/datasources/prometheus.yml

   примечание

   Prometheus подключен к Grafana. Если Prometheus физически расположен на другом сервере, измените localhost на IP-адрес сервера Prometheus.

4. Настройте SSL подключение, при необходимости отредактировав параметры в файле /etc/grafana/grafana.ini.

   [server]
   # Protocol (http, https, h2, socket)
   protocol = https
   
   # The ip address to bind to, empty will bind to all interfaces
   http_addr = <IP-Address>
   
   # The http port  to use
   http_port = 9000
   
   # The public facing domain name used to access grafana from a browser
   domain = <IP-Address>
   
   # Redirect to correct domain if host header does not match domain
   # Prevents DNS rebinding attacks
   ;enforce_domain = false
   
   # The full public facing url you use in browser, used for redirects and emails
   # If you use reverse proxy and sub path specify full url (with sub path)
   ;root_url = %(protocol)s://%(domain)s:%(http_port)s/
   
   # Serve Grafana from subpath specified in `root_url` setting. By default it is set to `false` for compatibility reasons.
   ;serve_from_sub_path = false
   
   # Log web requests
   ;router_logging = false
   
   # the path relative working path
   ;static_root_path = public
   
   # enable gzip
   ;enable_gzip = false
   
   # https certs & key file
   cert_file = /etc/grafana/grafana.crt
   cert_key = /etc/grafana/grafana.key
   
   [auth.anonymous]
   enabled = true
   org_role = Viewer

   Файлы ключей можно сгенерировать самостоятельно, выполнив следующие команды:

   openssl genrsa -out grafana.key 2048
   openssl req -new -key grafana.key -out grafana.csr
   openssl x509 -req -days 365 -in grafana.csr -signkey grafana.key -out grafana.crt
   chown root:grafana grafana.key
   chown root:grafana grafana.crt
   chmod 640 grafana.key
   chmod 640 grafana.crt

5. Убедитесь, что сервис Grafana запущен и работает:

   systemctl cat grafana-server

   Если нет, то выполните настройку сервиса:

   systemctl start grafana-server.service
   systemctl enable grafana-server.service
   Synchronizing state of grafana-server.service with SysV service script with /lib/systemd/systemd-sysv-install.
   Executing: /lib/systemd/systemd-sysv-install enable grafana-server
   Created symlink /etc/systemd/system/multi-user.target.wants/grafana-server.service → /usr/lib/systemd/system/grafana-server.service.

6. Убедитесь в работоспособности Grafana:

   systemctl status grafana-server.service
   ● grafana-server.service - Grafana instance
   Loaded: loaded (/usr/lib/systemd/system/grafana-server.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2021-01-19 23:06:01 MSK; 5 days ago
   Docs: http://docs.grafana.org
   Main PID: 22387 (grafana-server)
   Tasks: 14
   CGroup: /system.slice/grafana-server.service
   └─22387 /usr/sbin/grafana-server --config=/etc/grafana/grafana.ini --pidfile=/var/run/grafana/grafana-server.pid --packaging=rpm cfg:default.paths.logs=/var/log/grafana cfg:default.paths.data=/var/lib/gra...
   
   Jan 24 20:09:36 <host> grafana-server[22387]: t=2021-01-24T20:09:36+0300 lvl=info msg="Request Completed" logger=context userId=1 orgId=1 uname=admin method=GET path=/api/datasources/p...
   Jan 24 20:09:36 <host> grafana-server[22387]: t=2021-01-24T20:09:36+0300 lvl=eror msg="Data proxy error" logger=data-proxy-log userId=1 orgId=1 uname=admin path=/api/datasources/proxy/...
   Jan 24 20:09:36 <host> grafana-server[22387]: t=2021-01-24T20:09:36+0300 lvl=eror msg="Request Completed" logger=context userId=1 orgId=1 uname=admin method=GET path=/api/datasources/p...
   Jan 24 20:09:39 <host> grafana-server[22387]: t=2021-01-24T20:09:39+0300 lvl=info msg="Request Completed" logger=context userId=1 orgId=1 uname=admin method=GET path=/api/datasources/p...
   Jan 24 20:09:39 <host> grafana-server[22387]: t=2021-01-24T20:09:39+0300 lvl=eror msg="Data proxy error" logger=data-proxy-log userId=1 orgId=1 uname=admin path=/api/datasources/proxy/...
   Jan 24 20:09:39 <host> grafana-server[22387]: t=2021-01-24T20:09:39+0300 lvl=eror msg="Request Completed" logger=context userId=1 orgId=1 uname=admin method=GET path=/api/datasources/p...
   Jan 24 20:09:50 <host> grafana-server[22387]: t=2021-01-24T20:09:50+0300 lvl=info msg="Request Completed" logger=context userId=1 orgId=1 uname=admin method=GET path=/api/datasources/p...
   Jan 24 20:09:50 <host> grafana-server[22387]: t=2021-01-24T20:09:50+0300 lvl=eror msg="Data proxy error" logger=data-proxy-log userId=1 orgId=1 uname=admin path=/api/datasources/proxy/...
   Jan 24 20:09:50 <host> grafana-server[22387]: t=2021-01-24T20:09:50+0300 lvl=eror msg="Request Completed" logger=context userId=1 orgId=1 uname=admin method=GET path=/api/datasources/p...
   Jan 24 23:06:01 <host> grafana-server[22387]: t=2021-01-24T23:06:01+0300 lvl=eror msg="Failed to send usage stats" logger=metrics err="Post \"https://stats.grafana.org/graf...set by peer"
   Hint: Some lines were ellipsized, use -l to show in full.

   После запуска Grafana будет доступна по протоколу HTTP, порт 3000. Логин и пароль для первого входа - admin/admin. При первом входе пароль нужно будет сменить.

7. Перейдите в веб-интерфейсе Grafana по пути Configuration/Data Sources и убедитесь, что Data Source Prometheus активен:

   

8. Нажмите Data Source Prometheus, затем Test:

   

   Далее можно настроить либо свою персональную панель управления/дашборд, либо воспользоваться готовым open-source вариантом.