從零搭建Prometheus監控報警系統

雪山飞猪發表於2019-03-08

從零開始搭建Prometheus自動監控報警系統

從零搭建Prometheus監控報警系統

什麼是Prometheus?

Prometheus是由SoundCloud開發的開源監控報警系統和時序列資料庫(TSDB)。Prometheus使用Go語言開發,是Google BorgMon監控系統的開源版本。
2016年由Google發起Linux基金會旗下的原生雲基金會(Cloud Native Computing Foundation), 將Prometheus納入其下第二大開源專案。
Prometheus目前在開源社群相當活躍。
Prometheus和Heapster(Heapster是K8S的一個子專案,用於獲取叢集的效能資料。)相比功能更完善、更全面。Prometheus效能也足夠支撐上萬臺規模的叢集。

Prometheus的特點

  • 多維度資料模型。
  • 靈活的查詢語言。
  • 不依賴分散式儲存,單個伺服器節點是自主的。
  • 透過基於HTTP的pull方式採集時序資料。
  • 可以透過中間閘道器進行時序列資料推送。
  • 透過服務發現或者靜態配置來發現目標服務物件。
  • 支援多種多樣的圖表和介面展示,比如Grafana等。

官網地址:https://prometheus.io/

架構圖


基本原理

Prometheus的基本原理是透過HTTP協議週期性抓取被監控元件的狀態,任意元件只要提供對應的HTTP介面就可以接入監控。不需要任何SDK或者其他的整合過程。這樣做非常適合做虛擬化環境監控系統,比如VM、Docker、Kubernetes等。輸出被監控元件資訊的HTTP介面被叫做exporter 。目前網際網路公司常用的元件大部分都有exporter可以直接使用,比如Varnish、Haproxy、Nginx、MySQL、Linux系統資訊(包括磁碟、記憶體、CPU、網路等等)。

服務過程

  • Prometheus Daemon負責定時去目標上抓取metrics(指標)資料,每個抓取目標需要暴露一個http服務的介面給它定時抓取。Prometheus支援透過配置檔案、文字檔案、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目標。Prometheus採用PULL的方式進行監控,即伺服器可以直接透過目標PULL資料或者間接地透過中間閘道器來Push資料。
  • Prometheus在本地儲存抓取的所有資料,並透過一定規則進行清理和整理資料,並把得到的結果儲存到新的時間序列中。
  • Prometheus透過PromQL和其他API視覺化地展示收集的資料。Prometheus支援很多方式的圖表視覺化,例如Grafana、自帶的Promdash以及自身提供的模版引擎等等。Prometheus還提供HTTP API的查詢方式,自定義所需要的輸出。
  • PushGateway支援Client主動推送metrics到PushGateway,而Prometheus只是定時去Gateway上抓取資料。
  • Alertmanager是獨立於Prometheus的一個元件,可以支援Prometheus的查詢語句,提供十分靈活的報警方式。

三大套件

  • Server 主要負責資料採集和儲存,提供PromQL查詢語言的支援。
  • Alertmanager 警告管理器,用來進行報警。
  • Push Gateway 支援臨時性Job主動推送指標的中間閘道器。

本飛豬教程內容簡介

  • 1.演示安裝Prometheus Server
  • 2.演示透過golang和node-exporter提供metrics介面
  • 3.演示pushgateway的使用
  • 4.演示grafana的使用
  • 5.演示alertmanager的使用

安裝準備

這裡我的伺服器IP是10.211.55.25,登入,建立相應資料夾

mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml

下面開始三大套件的學習

一.安裝Prometheus Server

透過docker方式
首先建立一個配置檔案/home/chenqionghe/test/prometheus/prometheus.yml
掛載之前需要改變檔案許可權為777,要不會引起修改宿主機上的檔案內容不同步的問題

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目標抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
# 這裡表示抓取物件的配置
scrape_configs:
    #這個配置是表示在這個配置內的時間序例,每一條都會自動新增上這個{job_name:"prometheus"}的標籤  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全域性抓取間隔時間,由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']

執行

docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus:v2.7.2 \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

啟動時加上--web.enable-lifecycle啟用遠端熱載入配置檔案
呼叫指令是curl -X POST http://localhost:9090/-/reload

訪問http://10.211.55.25:9090
我們會看到如下l介面

訪問http://10.211.55.25:9090/metrics

我們配置了9090埠,預設prometheus會抓取自己的/metrics介面
在Graph選項已經可以看到監控的資料

二.安裝客戶端提供metrics介面

1.透過golang客戶端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆專案
git clone https://github.com/prometheus/client_golang.git
#安裝需要FQ的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安裝必要軟體包
go get -u -v github.com/prometheus/client_golang/prometheus
#編譯
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go

執行3個示例metrics介面

./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &

2.透過node exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter

然後把這兩些介面再次配置到prometheus.yml, 重新載入配置curl -X POST http://localhost:9090/-/reload

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目標抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 這裡表示抓取物件的配置
scrape_configs:
  #這個配置是表示在這個配置內的時間序例,每一條都會自動新增上這個{job_name:"prometheus"}的標籤  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全域性抓取間隔時間,由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'

可以看到介面都生效了

prometheus還提供了各種exporter工具,感興趣小夥伴可以去研究一下

三.安裝pushgateway

pushgateway是為了允許臨時作業和批處理作業向普羅米修斯公開他們的指標。
由於這類作業的存在時間可能不夠長, 無法抓取到, 因此它們可以將指標推送到推閘道器中。
Prometheus採集資料是用的pull也就是拉模型,這從我們剛才設定的5秒引數就能看出來。但是有些資料並不適合採用這樣的方式,對這樣的資料可以使用Push Gateway服務。
它就相當於一個快取,當資料採集完成之後,就上傳到這裡,由Prometheus稍後再pull過來。
我們來試一下,首先啟動Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

訪問http://10.211.55.25:9091 可以看到pushgateway已經執行起來了

接下來我們就可以往pushgateway推送資料了,prometheus提供了多種語言的sdk,最簡單的方式就是透過shell

  • 推送一個指標
echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh
  • 推送多個指標
cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 鍛鍊場所價格
muscle_metric{label="gym"} 8800
# 三大項資料 kg
bench_press 100
dead_lift 160
deep_squal 160
EOF

然後我們再將pushgateway配置到prometheus.yml裡邊,過載配置
看到已經可以搜尋出剛剛推送的指標了

四.安裝Grafana展示

Grafana是用於視覺化大型測量資料的開源程式,它提供了強大和優雅的方式去建立、共享、瀏覽資料。
Dashboard中顯示了你不同metric資料來源中的資料。
Grafana最常用於因特網基礎設施和應用分析,但在其他領域也有用到,比如:工業感測器、家庭自動化、過程控制等等。
Grafana支援熱插拔控制皮膚和可擴充套件的資料來源,目前已經支援Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

我們使用docker安裝

docker run -d -p 3000:3000 --name grafana grafana/grafana

預設登入賬戶和密碼都是admin,進入後介面如下

我們新增一個資料來源

把Prometheus的地址填上

匯入prometheus的模板

開啟左上角選擇已經匯入的模板會看到已經有各種圖

我們來新增一個自己的圖表



指定自己想看的指標和關鍵字,右上角儲存

看到如下資料

到這裡我們就已經實現了資料的自動收集和展示,下面來說下prometheus如何自動報警

五.安裝AlterManager

Pormetheus的警告由獨立的兩部分組成。
Prometheus服務中的警告規則傳送警告到Alertmanager。
然後這個Alertmanager管理這些警告。包括silencing, inhibition, aggregation,以及透過一些方法傳送通知,例如:email,PagerDuty和HipChat。
建立警告和通知的主要步驟:

  • 建立和配置Alertmanager
  • 啟動Prometheus服務時,透過-alertmanager.url標誌配置Alermanager地址,以便Prometheus服務能和Alertmanager建立連線。

建立和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$

建立配置檔案alertmanager.yml

global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #組報警等待時間
  group_interval: 10s #組報警間隔時間
  repeat_interval: 1m #重複報警間隔時間
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

這裡配置成了web.hook的方式,當server通知alertmanager會自動呼叫webhook http://10.211.55.2:8888/open/test

下面執行altermanager

docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager

訪問http://10.211.55.25:9093

接下來修改Server端配置報警規則和altermanager地址
修改規則/home/chenqionghe/promethues/server/rules.yml

groups:
  - name: cqh
    rules:
      - alert: cqh測試
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{{$labels.instance}}:硬拉超標!lightweight baby!!!"
          description: "{{$labels.instance}}:硬拉超標!lightweight baby!!!"

這條規則的意思是,硬拉超過150公斤,持續一分鐘,就報警通知
然後再修改prometheus新增altermanager配置

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目標抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 這裡表示抓取物件的配置
scrape_configs:
  #這個配置是表示在這個配置內的時間序例,每一條都會自動新增上這個{job_name:"prometheus"}的標籤  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全域性抓取間隔時間,由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]

過載prometheus配置,規則就已經生效
接下來我們觀察grafana中資料的變化

然後我們點選prometheus的Alert模組,會看到已經由綠->黃-紅,觸發了報警


然後我們再來看看提供的webhook介面,這裡的介面我是用的golang寫的,接到資料後將body內容報警到釘釘

釘釘收到報警內容如下

到這裡,從零開始搭建Prometheus實現自動監控報警就說介紹完了,一條龍服務,自動抓取介面+自動報警+優雅的圖表展示,你還在等什麼,趕緊high起來!

posted @ 雪山飛豬 閱讀(295210) 評論(27) 編輯 收藏 舉報

#1樓 2019-03-08 17:07 海闊天空XM
看不懂,但很強大的樣子!
#2樓 2019-06-14 15:49 chansh
很強大,入門了,感謝~
#3樓 2019-09-25 11:00 cranezhou
非常的不錯,看著文章,部署了一遍,也算入門了。後續重點理解,採集的metric,與那個查詢語法,應該就差不多了。
#4樓 2019-10-08 17:56 欣欣0115
有個問題諮詢一下樓主,我在自己搭建的虛擬機器上透過tar包部署的promethues,但是顯示的監控時間和本地時間相差8小時,也對虛擬機器時區做了配置,但是還是存在這個問題,能給個告知一下怎麼解決嗎?
#5樓 2019-10-08 17:58 欣欣0115
@ cranezhou
老哥,你部署的時候,沒有遇到時差問題嗎?
#6樓 2019-10-15 10:36 夜穎
開頭這個檔案/home/chenqionghe/test/prometheus/prometeus.yml建了,在哪裡用到啊,能說一下嗎
#7樓 [樓主] 2019-10-15 15:53 雪山飛豬
@ 夜穎
docke執行prometheus的時候掛載上
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml
#8樓 [樓主] 2019-10-15 15:53 雪山飛豬
@ 欣欣0115
沒遇到啊
#9樓 2019-10-16 11:24 玉巾
感謝您的文章,我照著做了一遍,對prometheus和grafana認知增強了不少

由於是新手向的教導,我覺得有幾個地方需要加強一下
1 有部分docker沒有鎖定版本,建議鎖定版本,以免後續改動
docker -v掛載目錄這方面能不能建立一個跟使用者無關的資料夾?要考慮好多docker新手也想學。
2 prometheus初始config檔案不對,我用你的檔案沒能復現,各種報配置檔案錯誤,我拿預設的改了一個,才生效。(我不懂prometheus的配置了,好像是少東西,用的docker版本一致2.7.2)
3 、push gateway沒寫怎麼加入到監控佇列中,建議加上,寫清楚配置檔案的修改和加強

在這裡,將我的prometheus config檔案給大家展示出來,供參考
(133.155.131.152是我的雲主機公網IP,大家請根據實際情況修改)
global:
scrape_interval: 15s # 預設抓取間隔, 15秒向目標抓取一次資料。
scrape_timeout: 4s
evaluation_interval: 15s
external_labels:
monitor: 'codelab-monitor'
rule_files:
- /etc/prometheus/server/rules.yml
alerting:
alertmanagers:
- static_configs:
- targets: ["139.155.131.152:9093"]
scheme: http
timeout: 10s
scrape_configs:
- job_name: prometheus
scrape_interval: 5s
scrape_timeout: 4s
metrics_path: /metrics
scheme: http
static_configs:
- targets:
- localhost:9090
- targets:
- 139.155.131.152:8080
- 139.155.131.152:8081
- 139.155.131.152:8082
labels:
group: 'client-golang'
- targets:
- 139.155.131.152:9100
labels:
group: 'client-node-exporter'
- targets:
- 139.155.131.152:9091
labels:
group: 'push-gateway'
#10樓 [樓主] 2019-10-23 16:34 雪山飛豬
@ 玉巾
多謝提醒
#11樓 2019-12-09 17:46 aLong2016
您好,我最近在學習Prometheus.我發現本地儲存時臨時的資料.如果長期儲存需要考慮其他資料庫來滿足這個需求.
樓主在此方面有過多研究嘛?
#12樓 [樓主] 2019-12-13 10:51 雪山飛豬
prometheus不適合長期儲存,可以把重要的資料查出來匯入到mysql中
#13樓 2019-12-13 14:54 花不落
#14樓 2020-03-13 11:24 stargazing

還可以再細一點,有點糙了,不過對快速上手非常棒

#15樓 [樓主] 2020-03-13 15:59 雪山飛豬

@stargazing
不要在意這些細節,氣氛先搞起來再說~

#16樓 2020-06-28 15:16 siusiu~~

@玉巾
大佬這配置檔案沒有縮排啊 可以發我一個有縮排版本的嗎 353658134@qq.com

#17樓 2020-06-30 13:54 玉巾

@siusiu~~

我放到百度雲裡面了,永久有效。
不過時間有點長了,你需要測一下

連結: https://pan.baidu.com/s/1UkjT9x-knOvGIZ-tchsG6Q 提取碼: dqhn

#18樓 2020-10-30 11:21 離夢

docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container init caused "rootfs_linux.go:58: mounting \"/home/chenqionghe/promethues/server/prometheus.yml\" to rootfs \"/var/lib/docker/overlay2/a9d9574d277dec123ab56f580ffd2f59cd8ef9f984c76b13aafd5c3370fd6c55/merged\" at \"/var/lib/docker/overlay2/a9d9574d277dec123ab56f580ffd2f59cd8ef9f984c76b13aafd5c3370fd6c55/merged/etc/prometheus/prometheus.yml\" caused \"not a directory\""": unknown: Are you trying to mount a directory onto a file (or vice-versa)? Check if the specified host path exists and is the expected type.

你好博主,執行完 docker run --name=prometheus 就開始報上面的那個錯了,這個是什麼情況呢,有遇到過嗎? 看下了回覆我一下,感謝!

#19樓 2020-12-04 16:46 smart_Li

學習到了,準備用來試試。另外可以推下網易雲嗎?背景音樂很合適。

#20樓 [樓主] 2020-12-04 16:54 雪山飛豬

@smart_Li
您太有品味了,網易雲歌單搜尋:chenqionghe's blog

#21樓 2021-03-04 17:50 bofeng

level=error ts=2021-03-04T09:46:42.338551155Z caller=main.go:688 err="error loading config from "/etc/prometheus/prometheus.yml": couldn't load configuration (--config.file="/etc/prometheus/prometheus.yml"): parsing YAML file /etc/prometheus/prometheus.yml: yaml: unmarshal errors:\n line 8: cannot unmarshal !!map into []*config.ScrapeConfig"

我按命令執行prometheus容器後報這個錯咋回事

#22樓 2021-04-01 14:29 bwgfs

無法下載安裝必要包
go get -u -v github.com/prometheus/client_golang/prometheus
github.com/prometheus/client_golang (download)

cd /root/go/src/github.com/prometheus/client_golang; git pull --ff-only

error: RPC failed; result=52, HTTP code = 0
fatal: The remote end hung up unexpectedly
package github.com/prometheus/client_golang/prometheus: exit status 1

相關文章