22【線上日誌分析】之專案第二階段概述

hackeruncle發表於2017-03-31
主要對HDFS服務和Tomcat服務進行實時計算預警，故要做以下加強功能:
1. 改造 CDH/Apache hadoop的hdfs的nn,dn程式的日誌輸出格式,每一條改為json格式輸出 (之前每一條為 string)
2. 改造 Tomcat的日誌支援log4j,其為json格式輸出
3. 改造 基於Flume-ng Exec Source開發自定義外掛ExecSource_JSON,支援JSON資料處理
4. 改造 spark streaming+spark sql,支援讀取json解析
5. 使用hive離線計算loginfo欄位,計算高詞頻的詞,新增到MySQL表中,同時支援新增自定義監控詞
6. 改造 spark streaming+spark sql,引數配置定時讀取監控詞庫,進行預警計算
7. 改造grafana dashboard視覺化
8. 整個架構高可靠設計和最佳化
9. 擴充套件其他應用、DB的日誌等等

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/30089851/viewspace-2136419/，如需轉載，請註明出處，否則將追究法律責任。

相關文章