大快DKH大資料基礎資料平臺的監控引數說明

2018 年國內大資料公司 50 強榜單排名已經公佈了出來，大快以黑馬之姿闖入 50 強，並摘得多項桂冠。 Hanlp 自然語言處理技術也榮膺了 “2018中國資料星技術” 獎。 對這份榜單感興趣的可以找一下看看。本篇承接上一篇《 DKM平臺監控引數說明》，繼續就大快的大資料一體化處理架構中的平臺監控引數進行介紹和說明。

DKhadoop大資料處理平臺架構的安裝相關文章已經分享過，詳細的內容可以找一下看看。在上一篇中已經就叢集平均負載、叢集磁碟使用情況、HDFS監控介面、 Hbase監控介面 等監控引數進行說明。今天就把剩下的一些監控引數一起介紹完，關於大快大資料處理平臺監控引數的介紹就完整了。

 

1 、 Yarn 監控介面

（ 1 ）   執行失敗的應用程式

 

監控 yarn 資源管理中總執行失敗的應用程式數量

縱軸表示應用程式數量，單位個

橫軸表示時間 , 單位分鐘

（ 2 ） 已提交的應用程式

 

監控 yarn 資源管理中已提交的應用程式數量

縱軸表示 應用程式 數量，單位個

橫軸表示時間 , 單位分鐘

 

（ 3 ） 正在執行的應用程式

 

 

監控 yarn 資源管理中正在執行的應用程式數量

縱軸表示 應用程式 數量，單位個

橫軸表示時間 , 單位分鐘

（ 4 ）   等待執行的應用程式

 

 

監控 yarn 資源管理中等待執行的應用程式數量

縱軸表示應用程式數量，單位個

橫軸表示時間 , 單位分鐘

 

（ 5 ） 已完成的應用程式

   

監控 yarn 資源管理中 已完成的應用程式 數量

縱軸表示應用程式數量，單位個

橫軸表示時間 , 單位分鐘

（ 6 ） 被 kill 的應用程式

   

監控 yarn 資源管理中被殺死的應用程式數量

縱軸表示應用程式數量，單位個

橫軸表示時間 , 單位分鐘

2 、 Spark 監控介面

注意：（ spark 執行任務後才有監控資料）

（ 1 ）   最大可使用記憶體

 

 

監控 Spark 叢集中最大可使用的記憶體

縱軸表示記憶體容量，單位 MB

橫軸表示時間 , 單位分鐘

（ 2 ） 已使用的記憶體

 

監控 Spark 叢集中已經使用的記憶體

縱軸表示記憶體容量，單位 MB

橫軸表示時間 , 單位分鐘

（ 3 ） 剩餘記憶體

 

 

監控 Spark 叢集中剩餘的記憶體

縱軸表示記憶體容量，單位（ MB ）

橫軸表示時間 , 單位分鐘

（ 4 ） Spark 中任務數量

 

監控 Spark 叢集中任務數量

縱軸表示記憶體容量，單位 MB

橫軸表示時間 , 單位分鐘

（ 5 ） Spark 中正在執行的任務數量

 

監控  Spark 中正在執行的任務數量

縱軸表示記憶體容量，單位 MB

橫軸表示時間 , 單位分鐘

（ 6 ） 正在執行的 stage 數量

 

 

監控  Spark 叢集中正在執行的 stage 數量

縱軸表示 stage 數量，單位個

橫軸表示時間 , 單位分鐘

 

（ 7 ） 失敗的 stage 數量

 

監控  Spark 叢集中執行失敗的 stage 數量

縱軸表示 stage 數量，單位個

橫軸表示時間 , 單位分鐘

（ 8 ） 準備就緒的 stage 數量

 

 

 

監控  Spark 叢集中準備就緒的 stage 數量

縱軸表示 stage 數量，單位個

橫軸表示時間 , 單位分鐘

備註：

（橫軸的時間表示採集時間，一般是 1 分鐘一次）