docker-compose快速搭建 Prometheus+Grafana監控系統

進擊的java程式設計師k發表於2019-03-29

一、說明

Prometheus負責收集資料，Grafana負責展示資料。其中採用Prometheus 中的 Exporter含：
1）Node Exporter，負責收集 host 硬體和作業系統資料。它將以容器方式執行在所有 host 上。
2）cAdvisor，負責收集容器資料。它將以容器方式執行在所有 host 上。
3）Alertmanager，負責告警。它將以容器方式執行在所有 host 上。

二、安裝docker，docker-compose

2.1 安裝docker

先安裝一個64位的Linux主機，其核心必須高於3.10，記憶體不低於1GB。在該主機上安裝Docker。

# 安裝依賴包
yum install -y yum-utils device-mapper-persistent-data lvm2
# 新增Docker軟體包源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 安裝Docker CE
yum install docker-ce -y
# 啟動
systemctl start docker
# 開機啟動
systemctl enable docker
# 檢視Docker資訊
docker info複製程式碼

2.2 安裝docker-compose

curl -L https://github.com/docker/compose/releases/download/1.23.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose複製程式碼

三、新增配置檔案

mkdir -p /usr/local/src/config
cd /usr/local/src/config複製程式碼

2.1 新增prometheus.yml配置檔案，

vim prometheus.yml

# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets: ['192.168.159.129:9093']
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  - "node_down.yml"
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'
    static_configs:
- targets: ['192.168.159.129:9090']

  - job_name: 'cadvisor'
    static_configs:
    - targets: ['192.168.159.129:8080']

  - job_name: 'node'
    scrape_interval: 8s
    static_configs:
      - targets: ['192.168.159.129:9100']複製程式碼

2.2 新增郵件告警配置檔案

新增配置檔案alertmanager.yml，配置收發郵件郵箱
vim alertmanager.yml

global:
  smtp_smarthost: 'smtp.163.com:25'　　#163伺服器
  smtp_from: 'tsiyuetian@163.com'　　　　　　　　#發郵件的郵箱
  smtp_auth_username: 'tsiyuetian@163.com'　　#發郵件的郵箱使用者名稱，也就是你的郵箱
  smtp_auth_password: 'TPP***'　　　　　　　　#發郵件的郵箱密碼
  smtp_require_tls: false　　　　　　　　#不進行tls驗證

route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 10m
  receiver: live-monitoring

receivers:
- name: 'live-monitoring'
  email_configs:
  - to: '1933306137@qq.com'　　　　　　　　#收郵件的郵箱複製程式碼

2.3 新增報警規則

新增一個node_down.yml為 prometheus targets 監控
vim node_down.yml

groups:
- name: node_down
  rules:
  - alert: InstanceDown
    expr: up == 0
    for: 1m
    labels:
      user: test
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 1 minutes."複製程式碼

四、編寫docker-compose

vim docker-compose-monitor.yml

version: '2'

networks:
    monitor:
        driver: bridge

services:
    prometheus:
        image: prom/prometheus
        container_name: prometheus
        hostname: prometheus
        restart: always
        volumes:
            - /usr/local/src/config/prometheus.yml:/etc/prometheus/prometheus.yml
            - /usr/local/src/config/node_down.yml:/etc/prometheus/node_down.yml
        ports:
            - "9090:9090"
        networks:
            - monitor

    alertmanager:
        image: prom/alertmanager
        container_name: alertmanager
        hostname: alertmanager
        restart: always
        volumes:
            - /usr/local/src/config/alertmanager.yml:/etc/alertmanager/alertmanager.yml
        ports:
            - "9093:9093"
        networks:
            - monitor

    grafana:
        image: grafana/grafana
        container_name: grafana
        hostname: grafana
        restart: always
        ports:
            - "3000:3000"
        networks:
            - monitor

    node-exporter:
        image: quay.io/prometheus/node-exporter
        container_name: node-exporter
        hostname: node-exporter
        restart: always
        ports:
            - "9100:9100"
        networks:
            - monitor

    cadvisor:
        image: google/cadvisor:latest
        container_name: cadvisor
        hostname: cadvisor
        restart: always
        volumes:
            - /:/rootfs:ro
            - /var/run:/var/run:rw
            - /sys:/sys:ro
            - /var/lib/docker/:/var/lib/docker:ro
        ports:
            - "8080:8080"
        networks:
            - monitor複製程式碼

五、啟動docker-compose

#啟動容器：
docker-compose -f /usr/local/src/config/docker-compose-monitor.yml up -d
#刪除容器：
docker-compose -f /usr/local/src/config/docker-compose-monitor.yml down
#重啟容器：
docker restart id複製程式碼

容器啟動如下：

prometheus targets介面如下：

備註：如果State為Down，應該是防火牆問題，參考下面防火牆配置。

prometheus graph介面如下：

備註：如果沒有資料，同步下時間。

六、防火牆配置

6.1 關閉selinux

setenforce 0
vim /etc/sysconfig/selinux複製程式碼

6.2 配置iptables

#刪除自帶防火牆
systemctl stop firewalld.service
systemctl disable firewalld.service複製程式碼

#安裝iptables
yum install -y iptables-services複製程式碼

#配置
vim /etc/sysconfig/iptables
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [24:11326]
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 9090 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 3000 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 9093 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 9100 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT複製程式碼

#啟動
systemctl restart iptables.service
systemctl enable iptables.service複製程式碼

七、配置Grafana

7.1 新增Prometheus資料來源

docker-compose快速搭建 Prometheus+Grafana監控系統

7.2 配置dashboards

說明：可以用自帶模板，也可以去https://grafana.com/dashboards，下載對應的模板。

7.3 檢視資料

我從網頁下載了docker相關的模板：Docker and system monitoring，893

輸入893，就會載入出下面的資訊

匯入後去首頁檢視資料

八、附錄：單獨命令啟動各容器

#啟動prometheus
docker run -d -p 9090:9090 --name=prometheus \
-v /usr/local/src/config/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /usr/local/src/config/node_down.yml:/etc/prometheus/node_down.yml \
prom/prometheus

# 啟動grafana
docker run -d -p 3000:3000 --name=grafana grafana/grafana

#啟動alertmanager容器
docker run -d -p 9093:9093 -v /usr/local/src/config/config.yml:/etc/alertmanager/config.yml --name alertmanager prom/alertmanager

#啟動node exporter
docker run -d \
  -p 9100:9100 \
  -v "/:/host:ro,rslave" \
  --name=node_exporter \
  quay.io/prometheus/node-exporter \
  --path.rootfs /host

#啟動cadvisor
docker run                                    \
--volume=/:/rootfs:ro                         \
--volume=/var/run:/var/run:rw                 \
--volume=/sys:/sys:ro                         \
--volume=/var/lib/docker/:/var/lib/docker:ro  \
--publish=8080:8080                           \
--detach=true                                 \
--name=cadvisor                               \
google/cadvisor:latest複製程式碼

docker-compose 搭建 Prometheus+Grafana監控系統
2022-06-12
DockerPrometheusGrafana
go-zero docker-compose 搭建課件服務（七）：prometheus+grafana服務監控
2022-08-28
GoDockerPrometheusGrafana
docker-compose部署prometheus+grafana進行伺服器監控
2024-03-14
DockerPrometheusGrafana伺服器
grafana+prometheus快速搭建MySql監控系統實踐
2018-08-15
GrafanaPrometheusMySql
prometheus+grafana 監控nginx
2024-10-12
PrometheusGrafanaNginx
使用Prometheus+Grafana快速打造高逼格監控平臺
2019-07-25
PrometheusGrafana
[Prometheus+Grafana系列]基於docker-compose搭建
2022-08-28
PrometheusGrafanaDocker
python搭建系統監控
2018-09-26
Python
Nagios監控系統搭建
2015-03-15
iOS
搭建完美的監控系統
2012-12-20
docker部署監控Prometheus+Grafana
2024-03-07
DockerPrometheusGrafana
前端監控系統Sentry搭建
2020-04-03
前端
搭建前端錯誤監控系統
2018-11-29
前端
在k8s中快速搭建基於Prometheus監控系統
2023-12-29
K8SPrometheus
【DB寶36】使用Docker分分鐘搭建漂亮的prometheus+grafana監控
2021-01-29
DockerPrometheusGrafana
prometheus+grafana監控mysql最佳實踐
2021-05-04
PrometheusGrafanaMySql
前端監控基礎篇 — Docker + Sentry 搭建前端監控系統
2020-02-15
前端Docker
Docker 快速搭建主從 + 哨兵監控
2020-05-10
Docker
轉轉支付通道監控系統的搭建
2023-04-26
K8S的Kafka監控(Prometheus+Grafana)
2022-12-17
K8SKafkaPrometheusGrafana
Prometheus + InfluxDB + MySQL + Grafna快速構建監控系統
2020-07-26
PrometheusUXMySql
Prometheus+Grafana實現服務效能監控：windows主機監控、Spring Boot監控、Spring Cloud Alibaba Seata監控
2023-11-02
PrometheusGrafanaWindowsSpring BootCloud
搭建一個前端監控系統,不再錯過BUG
2017-12-18
前端
Mysql 監控系統
2009-02-05
MySql
監控系統元件
2011-10-09
元件
基於Prometheus+Grafana監控Laravel+Swoole應用
2021-11-19
PrometheusGrafanaLaravel
能源管控系統開發解決方案,線上監測系統搭建
2019-12-03
創業公司如何快速構建高效的監控系統？
2018-12-07
創業
6個監控linux系統資源的快速工具
2014-12-15
Linux
實時監控系統，統一監控企業API
2022-03-10
API
能耗線上管理平臺搭建能源監控系統開發
2019-04-03
智慧警務視覺化應用監控系統搭建
2020-12-01
視覺化
搭建服務端效能監控系統 Prometheus 詳細指南
2024-06-19
服務端Prometheus
Prometheus+Grafana視覺化監控SpringBoot專案
2019-03-04
PrometheusGrafana視覺化Spring Boot
Mac系統監控工具
2020-06-10
Mac
打造前端監控系統
2021-03-08
前端
手刃前端監控系統
2018-12-05
前端
JavaWeb的監控系統
2016-07-21
JavaWeb