七牛大資料平臺的實時資料分析實戰

七牛雲發表於2019-03-03

上文回顧:七牛大資料平臺的演進

在我們這僅僅兩三步簡單的操作以後,就可以看到哪些十分有價值的資料呢?
實時總使用者訪問量(請求數統計),如圖 1 所示

圖 1 實時總使用者訪問量
圖 1 實時總使用者訪問量

機器請求數隨時間變化趨勢,如圖 2 所示

圖 2 機器請求數隨時間變化趨勢
圖 2 機器請求數隨時間變化趨勢

實時請求狀態碼佔比,如圖 3 所示

圖 3 實時請求狀態碼佔比
圖 3 實時請求狀態碼佔比

實時請求TOP排名,如圖 4 所示

圖 24 實時請求TOP排名
圖 24 實時請求TOP排名

實時請求來源IP TOP排名,如圖 5 所示

圖 5 實時請求來源IP TOP排名
圖 5 實時請求來源IP TOP排名

響應時間隨時間變化趨勢圖,如圖 6 所示

圖 6 響應時間隨時間變化趨勢圖
圖 6 響應時間隨時間變化趨勢圖

實時使用者請求的客戶端TOP排名,如圖 7 所示

圖 7 實時使用者請求的客戶端TOP排名
圖 7 實時使用者請求的客戶端TOP排名

實時根據不同情況進行具體資料的查詢,包括狀態碼、響應時間範圍進行篩選等,如圖 8 所示

圖 8 實時根據不同情況進行具體資料的查詢
圖 8 實時根據不同情況進行具體資料的查詢

其他更多自定義配置...
自定義的 Grafana DashBoard 配置示例,如圖 9 所示

圖 9 Grafana DashBoard配置示例
圖 9 Grafana DashBoard配置示例

可見,僅僅幾步簡單的操作,你就藉助Pandora實現了海量日誌的實時監控,通過 nginx日誌 完整而詳盡的 瞭解業務的流量入口的各類情況。

2.實時資料包警

有了實時的資料監控,怎麼能少得了報警呢,我們還提供了包括 Slack, Email郵箱,Webhook等十來種報警方式。
比如說如圖 10 ,我們設定了一個響應時間大於1000ms的報警

圖 30 響應時間大於1000ms報警
圖 30 響應時間大於1000ms報警

LogDB採用的是基於Elasticsearch協議的報警,這個基於Elasticsearch協議的Grafana報警功能是七牛獨家哦!TSDB是基於InfluDB協議,使用TSDB更是同樣具備上述功能。
那麼您可以看到報警形式是怎麼樣的呢?

圖 11 Slack報警示意圖
圖 11 Slack報警示意圖

看到圖 11 Slack上的報警了嗎?除了基本的文字,還會帶上酷炫的報警圖片!圖片都會被儲存到您七牛雲端儲存的bucket裡面!

圖 12 郵件報警示意圖
圖 12 郵件報警示意圖

如圖 12 所示,常規的郵件報警內容也一樣酷炫!

3.離線分析

如果你使用離線分析,那麼可以獲得的內容就更多了,只要你資料擁有的維度,就可以統計出來,比如我們以CDN日誌為例。
使用者地區分佈,如圖 13 所示

圖 13 使用者地區分佈
圖 13 使用者地區分佈

使用者機型分佈,如圖 14 所示

圖 34 使用者機型分佈述
圖 34 使用者機型分佈述

活躍使用者數隨時間變化趨勢,如圖 15 所示
(點選放大影象)

圖 15 活躍使用者數隨時間變化趨勢
圖 15 活躍使用者數隨時間變化趨勢

各類手機圖片下載數,如圖 16 所示

圖 16 各類手機圖片下載數
圖 16 各類手機圖片下載數

不同時間平均下載速度,如圖 17 所示

圖 17 不同時間平均下載速度
圖 17 不同時間平均下載速度

不同時間正常響應比重,如圖 18 所示

圖 18 不同時間正常響應比重
圖 18 不同時間正常響應比重

查詢使用者系統分佈,如圖 19 所示

圖 19 查詢使用者系統分佈
圖 19 查詢使用者系統分佈

除了上述這些,還支援更細粒度的下鑽功能,可以全方位無死角分析你的海量資料。

4.總結

至此,本次的Pandora大資料平臺的架構演進與使用實戰算是介紹完了,但是我們Pandora大資料產品的迭代還在不斷向前,還有大量大資料平臺建設的細節等待我們去完善。歡迎廣大朋友聯絡交流。


作者介紹:
孫健波,InfoQ專欄作者,碩士畢業於浙江大學計算機學院,2015年底加入七牛,參與並負責七牛大資料平臺整條鏈路多模組的架構設計以及開發工作,包括大資料計算引擎、時序資料庫服務以及日誌檢索服務。在此之前主要研究和參與Cloudfoundry、Kubernetes、Docker等容器與容器雲相關工作,是《Docker容器與容器雲》一書的主要作者之一。

相關文章