做一個系統，如果不做監控，是不完善的。
如果為做一個快速系統，花力氣去做監控，是不值得的。（監控系統不是你想做，想做就能做的。）
因此，我們有必要具備一個能夠快速建立監控體系的能力。即使你只是一個普通開發人員！（說不定明天就要叫你去領兵大操練呢）
個人覺得，做監控要有三個核心能力：
1. 持續收集資料的能力; (時間序列資料庫)
2. 監控結果視覺化的能力;
3. 異常監控可報警的能力;
只要把這三點做到了，那麼，這個監控基本就成功了。
既然自己不方便做監控系統，那就只要做好框架選型就可以了。
因grafana的圖表功能個人感覺最強大，我們就以 grafana 作為監控抓手點，建立自己的監控體系吧！
監控體系大體實現思路:
1. 程式碼裡寫入埋點，或者其他系統通過探針之類的工具實現資料來源;
2. 監控資料中心接收埋點資料等指標資料集;
3. 監控中心提供各種維度資料的計算彙總指標;
4. 自定義圖表展現;
5. 根據結果設定報警;
具體開啟方法:
1. 寫程式碼新增埋點;
2. 使用jmx採集工具採集資料;
3. 安裝 prometheus, 配置好要呼叫的客戶端;
4. 安裝grafana;
5. 配置 prometheus 的資料來源到 grafana 上;
6. 新增 grafana 監控圖表;
7. 配置監控報警(一般你需要先配置linux郵件設定);
所以，看下具體怎麼做吧，涉及到安裝的部分就順帶過吧，畢竟其他地方，此類資訊已經氾濫了！
1. 擼埋點程式碼(jmx)
.1 引入依賴包
<!-- jmx 埋點依賴 --> <dependency> <groupId>io.dropwizard.metrics</groupId> <artifactId>metrics-core</artifactId> <version>4.0.0</version> </dependency> <dependency> <groupId>io.dropwizard.metrics</groupId> <artifactId>metrics-jmx</artifactId> <version>4.0.0</version> </dependency>
.2 封裝指標上報工具類
import com.codahale.metrics.Meter; import com.codahale.metrics.MetricRegistry; import com.codahale.metrics.jmx.JmxReporter; import org.springframework.stereotype.Component; /** * 系統指標管理管理器實現類 * */ @Component public class SystemMetricsManagerImpl implements SystemMetricsManager { private static final MetricRegistry metricsContainer = new MetricRegistry(); static { JmxReporter jmxReporter = JmxReporter.forRegistry(metricsContainer).build(); jmxReporter.start(); } @Override public Meter registerAndGetMetricMeter(String meterName) { return metricsContainer.meter(meterName); } }
.3 在需要的地方新增埋點
// 在必要的地方，進行集中初始化 @Override public void afterPropertiesSet() throws Exception { consumeCounterHolder = new ConsumeCounterHolder(); consumeCounterHolder.initCounter(); } /** * 計數器容器例項 */ private ConsumeCounterHolder consumeCounterHolder; /** * 消費計數器容器，作為內部封裝，如覺得不爽，也可以抽離為獨立物件隔離 */ class ConsumeCounterHolder { /** * 所有消費計數器 */ private Meter totalConsumeCounter; /** * 被拋棄的消費計數器 */ private Meter msgDiscardConsumeCounter; /** * 系統異常消費計數器 */ private Meter systemExceptionConsumeCounter; /** * 業務消費失敗，回滾計數器 （一般不會存在值） */ private Meter processFailedConsumeCounter; /** * 停止消費計數器 */ private Meter listenerStoppedConsumeCounter; /** * 未知型別消費數計數器 */ private Meter unknownTypeConsumeCounter; /** * 初始化計數器 */ public void initCounter() { totalConsumeCounter = systemMetricsManager.registerAndGetMetricMeter( SystemMetricsConstants.MqConsumeCounter.TOTAL_COUNT_METRIC_NAME); msgDiscardConsumeCounter = systemMetricsManager.registerAndGetMetricMeter( SystemMetricsConstants.MqConsumeCounter.DISCARD_COUNT_METRIC_NAME); systemExceptionConsumeCounter = systemMetricsManager.registerAndGetMetricMeter( SystemMetricsConstants.MqConsumeCounter.SYSTEM_EXCEPTION_COUNT_METRIC_NAME); processFailedConsumeCounter = systemMetricsManager.registerAndGetMetricMeter( SystemMetricsConstants.MqConsumeCounter.PROCESS_FAILED_COUNT_METRIC_NAME); listenerStoppedConsumeCounter = systemMetricsManager.registerAndGetMetricMeter( SystemMetricsConstants.MqConsumeCounter.LISTENER_STOPPED_COUNT_METRIC_NAME); unknownTypeConsumeCounter = systemMetricsManager.registerAndGetMetricMeter( SystemMetricsConstants.MqConsumeCounter.UNKNOWN_TYPE_COUNT_METRIC_NAME); } /** * 增加消費計數 */ private void incTotalConsumeCounter() { totalConsumeCounter.mark(); } public void incMsgDiscardConsumeCounter() { msgDiscardConsumeCounter.mark(); } public void incSystemExceptionConsumeCounter() { systemExceptionConsumeCounter.mark(); } public void incProcessFailedConsumeCounter() { processFailedConsumeCounter.mark(); } public void incListenerStoppedConsumeCounter() { listenerStoppedConsumeCounter.mark(); } public void incUnknownTypeConsumeCounter() { unknownTypeConsumeCounter.mark(); } } /** * 業務方法中，呼叫埋點 * */ public void doSth() { // 新增各種埋點 consumeCounterHolder.incTotalConsumeCounter(); }
2. 使用jmx採集工具採集資料 (prometheus)
prometheus 作為流行的監控元件，可以很方便的接入 jmx 資料, 使用 jmxReporter 就可以了。
prometheus 專案地址: https://github.com/prometheus
jmxReporter 專案地址: https://github.com/prometheus/jmx_exporter
下載 jmxReporter agent: https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.11.0/jmx_prometheus_javaagent-0.11.0.jar
新增最簡單的配置檔案，採集所有jmx資料:
# vim config.yaml --- rules: - pattern: ".*"
最後，啟動 jmxReporter, 提供採集依據:
java -javaagent:./jmx_prometheus_javaagent-0.11.0.jar=9088:config.yaml -jar yourJar.jar
注: jmxReporter 的原理其實是開啟一個http的socket埠，在外部請求進來之後，進行訪問jmx資料進行返回。
3. 安裝prometheus服務端,進行主動資料採集
.1 下載: https://prometheus.io/download/ , 找到對應版本下載即可;
.2 直接啟動驗證下: ./prometheus --config.file=prometheus.yml --web.enable-admin-api
.3 向 prometheus 中新增客戶端機器地址，以便採集，我們只使用一種簡單的獨立檔案的配置方式:
# 1. 直接在檔案末尾新增job即可 - job_name: 'jmx' file_sd_configs: - files: - conf.d/test.json # 2. 在 conf.d/test.json 中，新增相應的客戶端機器ip [ { "targets": ["10.1.1.1:9088"] },{ "targets": ["10.1.1.2:9088"] },{ "targets": ["10.1.1.3:9088"] } ]
.4 重啟 prometheus
kill -9 xxx ./prometheus --config.file=prometheus.yml --web.enable-admin-api
如此, prometheus 的資料庫中就已經有 你的埋點資料了！
4. 安裝 grafana
.1 下載地址: https://grafana.com/get
.2 可以直接使用映象源安裝，也可以使用原始碼包自行編譯;
.3 啟動 grafana 服務: service grafana-server start
.4 你就可以開啟 grafana 後臺進行檢視了（預設賬號密碼是 admin/admin）;
5. 新增 prometheus 作為 grafana 的資料來源
grafana 支援很多資料來源的接入，但是 prometheus 是比較簡單的一種;
在設定 -> DataSources 中，新增 prometheus 的資料，按要求填寫即可，一般只需要填寫一個 prometheus 的請求地址就可以了。
6. 新增 grafana 監控圖表;
直接點選 + 號，新增一個大盤;
然後就是各種頁面拖拉拽！
拿幾個需要注意的指標統計說明下:
# case1. 程式碼中的埋點為一個遞增的值，我想知道每段時間的增長趨勢是怎麼樣的？如: 1分鐘 increase(metrics_test_mq_consume_total_Count[1m]) # case2. 在叢集環境中，以上統計將是所有機器的總和，我想檢視單個機器的增長趨勢？ increase(metrics_test_mq_consume_total_Count{instance=~"$instance_cust"}[1m]) # 其中 instance_cust 是定義在監控大盤上的自定義變數，其作用是 當前監控的例項的標識, 稍後我們看下例項 # case3. 我想知道下當前機器的cpu負載 avg_over_time(java_lang_OperatingSystem_SystemCpuLoad{instance=~"$instance_cust"}[1m]) * 100 # case4. 我想檢視當前機器的實體記憶體情況 java_lang_OperatingSystem_FreePhysicalMemorySize{instance=~"$instance_cust"} java_lang_OperatingSystem_TotalPhysicalMemorySize{instance=~"$instance_cust"} # case5. 我想檢視jvm的記憶體情況 java_lang_Memory_HeapMemoryUsage_max{instance=~"$instance_cust"} java_lang_Memory_HeapMemoryUsage_used{instance=~"$instance_cust"} # 附: 新增大盤 通用變數 label_values(up{job='jmx'}, instance) 將會查詢符合過濾條件的標籤
附: 新增大盤 通用變數
label_values(up{job='jmx'}, instance) 將會查詢符合過濾條件的標籤
7. 配置監控報警(一般你需要先配置linux郵件設定);
以上都配置好之後，還可以進行報警配置。
alerting -> Notification Channels 中，新增告警通知通道。
然後，在原來的大盤中選擇一個指標進行報警設定;然後就可以接收告警了。
當然，這裡選擇郵件，需要linux系統直接使用 mail 進行傳送郵件才行。
如此，一個完整的監控鏈完成！
老話: 願你戎馬半生,歸來仍是少年。