無監控,不運維!深入淺出介紹ChengYing監控設計和使用
監控系統俗稱「第三隻眼」,幾乎是我們每天都會打交道的系統,它也一直是IT系統中的核心組成部分,負責問題的發現以及輔助性的定位。
作為 ,自然也提供大資料產品的監控服務。這篇文章,將為大家系統性地介紹ChengYing監控的設計和使用,帶大家進一步瞭解ChengYing。
常見監控系統比較
目前市面上主流大眾都在用的監控系統主要有zabbix、openfalcon、prometheus,這三者都有各自適合的使用場景。下面來看下這三種監控系統各自的優缺點。
zabbix
zabbix屬於老牌企業監控解決方案,優點是在企業的基礎設施監控場景下提供了非常豐富的採集外掛,能夠快速建立起企業內部基礎設施的監控和基礎設施視覺化大屏(包括網路的視覺化等)。
zabbix的不足之處在於後端資料庫使用了MySQL對監控資料進行儲存,因此無法滿足現在多維度化的告警需求。同時隨著時間的推移,監控告警資料激增的瓶頸也會出現,同樣的在對接應用層監控缺乏,所以更適合企業底層基礎設施的監控。(注:最新版本的資料庫替換了TimescaleDB)
openfalcon
openfalcon是小米開源的企業級監控解決方案,它整體的架構上吸取了zabbix的經驗同時也解決了zabbix的不足之處,但是社群的活躍性不高。
prometheus
prometheus是谷歌開源的新一代監控系統,也是契合目前雲原生較好的解決方案。優勢在於社群活躍度高能推進普適化功能的演進,比如之前只支援pull方式,現在prometheus自身支援了可靠的push的方式推送資料到遠端tsdb時序資料庫中,同時單點的也能支撐起數百萬的metrics指標資料。
不足之處在於官方不提供高可用的架構,需要自行處理,這些方案在社群中也有很多。
ChengYing監控設計
ChengYing平臺則是選擇了整合prometheus這套監控解決方案。其中的主要原因,是這套解決方案是目前主流的方案,使用的人群較多,推廣使用上門檻低而且易維護,同時也適合 。
下面我們來看下這套監控系統是如何在ChengYing平臺上進行整合的。
架構設計
首先我們在這套平臺的基礎上增加了一個 用來對接第三方的告警傳送處理,其次我們對grafana進行了少量的二次開發,開發的內容主要在於打通 和grafana上的通道的對接。
整體結構如下:
平臺接入好主機和部署好服務後,prometheus就能透過服務發現的方式完成目標抓取作業的生成獲取監控資料。grafana從prometheus中獲取指標資料進行展示,同時觸發告警將告警內容發到dtalert元件中,dtalert元件將告警資訊發往第三方平臺上。
監控設計
那麼prometheus是如何透過服務發現來獲取目標抓取作業的資訊的?
這裡ChengYing主要是使用了prometheus的「基於檔案的服務發現功能」,Prometheus 會按指定的時間計劃從這些檔案重新載入目標。對於叢集我們分為兩部分的監控資訊,主機和服務。
● 主機
主機的服務發現流程是在主機接入叢集的時候, 會對接入的主機進行初始化操作,該操作會下發node-exporter,然後將主機的ip和node-exporter埠作為一個目標作業寫入node_sd_file.yml檔案中。當然使用者也能自己指定exporter的埠,這個配置已經提取到的matrix的配置檔案中。
節點接入後生成的資訊如下:
● 服務
至於服務同樣也是使用基於檔案的服務發現方式,那麼服務的exporter該如何指定和部署呢?
我們在製作產品包的時候就需要把該服務的監控指標給暴露出來,在產品包的schema.yml檔案中指定 ,同時服務也要將exporter元件放到產品包中,在啟動服務的時候一同啟動。如下:
在製作好產品包後,透過ChengYing平臺去部署該產品包的時候,由於需要對服務進行編排,那麼我們就能同時解析出服務暴露的指標埠和服務所部署的目標ip地址。
在完成服務部署後,ChengYing就能將該服務的目標抓取作業寫入service_sd_file.yml檔案中。(要是我們在部署過程中發現我們使用的exporter埠發生了改變,可以在部署產品包的時候在頁面修改對應的配置,平臺最終會以修改的為準)
告警設計
,該如何展示這些指標資料以及告警呢?
· 首先需要為該產品包配置專屬的儀表盤,在這個儀表盤配置中配置好服務要監控的指標資訊及其水位線,然後還需要為該儀表盤增加一些標籤,標籤的key-value為"產品包的名稱"和"服務名稱",增加這些標籤的用處在於透過ChengYing頁面檢視對應服務的儀表盤時能從grafana中過濾出來
· 將配置好的儀表盤匯入到ChengYing上
· 然後我們透過在ChengYing上訪問服務的時候就能根據產品包名稱和服務名稱檢索到我們
對於告警的話,當我們在ChengYing上配置好告警通道後,還需要在grafana上為服務配置好告警的內容,當grafana觸發告警水位線的時候,會將定義好的告警內容訊息傳送到dtalert元件上,dtalert元件處理好訊息內容後,再根據通道型別將告警資訊發到第三方平臺上。
ChengYing監控告警使用
下面我們來具體看下 具體是怎樣使用的。
概覽頁面的輪播盤配置
我們可以在概覽頁面上展示需要關注的核心儀表盤的輪播,該功能需要自行配置:
· 登入ChengYing平臺選擇 ->"概覽",然後點選編輯按鈕,將會跳轉到grafana的輪播配置頁面,或者透過訪問ChengYing的地址(
· 建立的輪播的設定中,輪播的名稱必須填寫"DTinsight_index",輪播間隔根據需要填寫,然後選擇需要輪播的儀表盤,最後點選儲存即可
· 重新整理概覽頁面就會展示結果
平臺告警通道配置
● 建立告警通道
選擇"部署中心"->"告警監控"->"告警",建立告警通道。
● 選擇告警通道型別
,這裡以選擇釘釘通道為例,填寫相關的資訊,需要注意以下兩點:
第一點為:"URL"處地址平臺會預設填寫dtalert的地址,這個地址為容器內部通訊的域名地址,若使用host模式部署,該地址需要手動修改為dtalert所在節點的ip地址。
第二點為:通知訊息模板,這裡主要是配置告警的訊息模板即配置模式使用的是grafana的原生格式,透過grafana告警的請求中獲取對應的告警名稱、訊息內容、狀態、和連結地址,如下:
告警名稱: ${ruleName}
告警資訊: ${message}
告警狀態: ${state}
告警連結: ${ruleUrl}
而對於“通道配置資訊”則是在對接第三方平臺的時候需要對接的相關配置,如對接大魚簡訊的時候配置其對應的對接身份id、訪問的key等資訊。
● 傳送測試
後就可以點選「傳送測試」按鈕檢查通道的正常。
grafana告警配置
01
"運維中心"->"服務"->"儀表板",選擇需要為哪個服務進行告警。
02
編輯儀表盤,新增告警規則。
03
新增告警規則,設定需要告警的水位線,和告警名稱。
04
新增告警通道,選擇上面建立的告警通道,然後在“Message”裡面填寫需要自定義的內容,該內容會替換到上面告警模板中的${message}變數。
05
檢視告警資訊。
06
若想在“Message”裡面體現告警的節點等相關標籤資訊,可以在儀表盤編輯頁的Metrics選擇"Query Inspector",檢視當前指標資料中帶有的標籤資訊,如下的metric的object物件內容,然後就可以從這個物件中獲取對應的標籤,進行完善告警內容。
修改告警“Message”內容如下:
影片課程&PPT獲取
影片課程:
課件獲取:
關注公眾號“數棧研習社”,後臺私信“ChengYing”獲得直播課件
想了解更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szitpub
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2931500/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 無監控,不運維:解讀企業全棧式監控運維運維全棧
- 運維監控工具運維
- 海康安防產品-[監控]影片監控原理介紹
- mongodb 常見運維監控和執行計劃MongoDB運維
- 如何做好運維監控?運維
- mytop 使用介紹 mysql實時監控工具MySql
- 運維監控指標彙總運維指標
- ORACLE OGG運維及日常監控Oracle運維
- 伺服器效能監控神器nmon使用介紹伺服器
- 智和網管平臺打造“海量接入 智慧監控”的統一運維監控中心運維
- Linux常用的監控軟體介紹!Linux
- 開源監控系統Prometheus介紹Prometheus
- LED螢幕監控運維管理方案運維
- 分層運維自動化監控運維
- 運維文件:網站監控系統運維網站
- Java 監控基礎 - 使用 JMX 監控和管理 Java 程式Java
- Linux監控平臺介紹 zabbix監控介紹 安裝zabbix 忘記Admin密碼如何做Linux密碼
- 配電箱遠端監控物聯網解決方案(線上監控和運維管理)運維
- 運維監控應知應會: InfluxDB 使用指南運維UX
- IT監控(進階篇):運維監控系統手把手部署教學運維
- 運維監控丨16條常用的Kafka看板監控配置與告警規則運維Kafka
- 11款企業網路運維監控軟體彙總介紹-行雲管家運維
- 進行Linux效能監控的命令介紹Linux
- Prometheus監控之SNMP Exporter介紹和資料展現PrometheusExport
- 徒手教你製作運維監控大屏運維
- 運維文件:伺服器監控系統運維伺服器
- 運維文件:系統監控及告警配置運維
- 資料庫監控工具--PIGOSSBSM運維監控管理系統資料庫Go運維
- 如何進行監控設計?
- 前端監控和前端埋點方案設計前端
- 使用Admin監控
- 黑盒監控、日誌監控
- .NET GC 實時監控 dotnet-gcmon 介紹GC
- Oracle資料庫監控和運維關注哪些方面Oracle資料庫運維
- 灌漿機遠端監控運維繫統運維
- 智慧檔案館網路監控運維策略運維
- NETCONF工具與智慧化網路監控運維運維
- 運維監控如何做成 BATJ 的水準運維BAT