專案中看到了有埋點監控、報表、日誌分析,有點興趣想慢慢搗鼓一下
1. 資料埋點
監控機器環境的效能和業務流程或邏輯等各項資料,並根據這些資料生成對應的指標,那麼我們就稱為資料埋點。比如我們想知道某個介面呼叫的 TPS、機器 CPU 的使用率,這些都可以用到資料埋點
2. Micrometer
Micrometer 為流行的各種監控系統提供了一個簡單的門面(類似於日誌門面) —— 提供了與供應商無關的介面(counters,timers,gauges等),這些介面稱為 meter 介面,其由 MeterRegistry 建立並儲存,可理解為 MeterRegistry 是個集合裡面儲存了各種 meter 的度量資料,下面展示最簡單的 counter 介面的使用
2.1 簡單使用
其還有 timers、gauges 等介面,自行查閱
// 建立一個 meter 註冊中心
MeterRegistry registry = new SimpleMeterRegistry();
// 建立一個名為 test 度量
Counter counter = meterRegistry.counter("test");
// 讓這個度量的計數加 1
counter.increment();
就是如此簡單,比如在呼叫指定介面的時候,可以使用 counter 介面來度量呼叫的次數,頻率等等
2.2 命名規範
Micrometer 命名用 . 分隔小寫單詞字元,在接入其他監控系統時會自動將命名轉成其適應的格式(或者可重寫一個 NamingConvention 轉換器來覆蓋預設命名轉換)。而且還支援多標籤來量化,即有了多維度的度量,使統計更加豐富。下面簡單地舉例命名規範:
# 表示 http 請求
Counter counter = meterRegistry.counter("http.server.requests");
# 表示 http 請求中,請求 user 模組
Counter counter = meterRegistry.counter("http.server.requests", "user");
# 表示 http 請求中,請求 user 模組中,請求 login 登入方法
Counter counter = meterRegistry.counter("http.server.requests", "user", "login");
3. SpringBoot Actuator
SpringBoot Actuator 其底層使用了 Mircometer ,可度量 SpringBoot 應用和獲取它的各項指標,可通過 HTTP 或 JMX 來呼叫 Actuator 暴露的各種端點,然後就可以獲取一個正在執行中的應用的內部狀態
當然內部指標並不是所有都可以向外暴露的,所以我們得有選擇的開放,或者加入許可權校驗之後才能獲取如下內容:
- 有那些可配置的屬性
- 各依賴包的日誌級別
- 佔用了多少記憶體
- HTTP 埋點被請求了多少次
- 應用本身以及協作的外部服務的健康狀態
- ......
3.1 新增依賴
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
<version>2.4.3</version>
</dependency>
3.2 基礎配置
management:
server:
port: 9090 # 一般啟動獨立埠(預設和應用埠一致),啟用後源埠不可查
endpoints:
web:
base-path: /actuator # 預設字首路徑,可修改
exposure:
include: health,info,metrics # 向外暴露的端點,可用萬用字元('*',需要單引號)
exclude: env,heapdump # 排除暴露的端點
3.3 檢視可消費的端點
可先用 HTTP 訪問 localhost:9090/actuator 來獲取 HATEOAS(可簡單理解為暴露的端點文件),它是所有可暴露端點的地圖,可通過屬性對應的地址來獲取的指標,內容如下:
{
"_links": {
"self": {
"href": "http://localhost:9090/actuator",
"templated": false
},
"health-path": {
"href": "http://localhost:9090/actuator/health/{*path}",
"templated": true
},
"health": {
"href": "http://localhost:9090/actuator/health",
"templated": false
},
"info": {
"href": "http://localhost:9090/actuator/info",
"templated": false
}
}
}
3.4 獲取應用的基本資訊
消費對應的指標,就在地址後面加上名字即可。應用的基本資訊是需要自己配置的,沒有預設值,所以首次訪問 可訪問 localhost:9090/actuator/info 是一個空 json。
可配置 info 開頭的屬性,比如聯絡方式,應用的作用等等,其配置和消費結果如下:
info:
contact:
email: support@howl.com
phone: 123456789
description: actuator test application
# 消費結果
{
"contact": {
"email": "support@howl.com",
"phone": 123456789
},
"description": "actuator test application"
}
3.5 健康指標
首先嚐試訪問 localhost:9090/actuator/health,就可以獲取指標內容了
{
"status": "UP"
}
這裡顯示的是一個或多個健康指示器的聚合狀態,即當前應用和與之互動的外部系統(資料庫,訊息佇列,Eureka等等)的健康狀態的聚合狀態。我們可以新增如下配置來獲取健康指示器的內聚狀態
management:
endpoint:
health:
show-details: always
# 消費結果
{
"status": "UP",
"components": {
"diskSpace": {
"status": "UP",
"details": {
"total": 493516484608,
"free": 436332154880,
"threshold": 10485760,
"exists": true
}
},
"ping": {
"status": "UP"
}
}
}
SpringBoot 的自動配置功能可以確保只有與應用互動的元件才會顯示到 health 裡面
3.6 指標端點 metrics
可訪問如下地址來獲取 Actuator 提供的開箱即用的指標分類,包括了記憶體、處理器、垃圾收集、HTTP請求等指標
http://localhost:9090/actuator/metrics
# 消費結果
{
"names": [
"http.server.requests",
"jvm.buffer.count",
"jvm.buffer.memory.used",
"jvm.buffer.total.capacity",
"jvm.classes.loaded",
"jvm.classes.unloaded",
"jvm.gc.live.data.size",
"jvm.gc.max.data.size",
"jvm.gc.memory.allocated",
"jvm.gc.memory.promoted",
"jvm.gc.pause",
"jvm.memory.committed",
"jvm.memory.max",
"jvm.memory.used",
"jvm.threads.daemon",
"jvm.threads.live",
"jvm.threads.peak",
"jvm.threads.states",
"logback.events",
"process.cpu.usage",
"process.start.time",
"process.uptime",
"system.cpu.count",
"system.cpu.usage",
"tomcat.sessions.active.current",
"tomcat.sessions.active.max",
"tomcat.sessions.alive.max",
"tomcat.sessions.created",
"tomcat.sessions.expired",
"tomcat.sessions.rejected"
]
}
# 可用標準地址 + 指標端點名字 來消費某個指標端點
http://localhost:9090/actuator/metrics/http.server.requests
4. 例項
統計 /user/login 介面被呼叫的次數,meterRegistry 註冊中心在自動配置中加入容器可直接使用
4.1 測試介面
啟動應用,然後多次訪問這個介面
@RestController
@RequestMapping("/user")
public class UserController {
@Autowired
SimpleMeterRegistry meterRegistry;
@GetMapping("/login")
public String userLogin() {
Counter counter = meterRegistry.counter("http.server.requests", "uri", "/user/login");
counter.increment();
return "登入成功";
}
}
4.2 消費指標端點
訪問如下地址即可消費端點
http://localhost:9090/actuator/metrics/http.server.requests?tag=uri:/user/login
# 消費結果
# 可以看到這個介面度量(COUNT)了 18次 訪問(資料做了部分清除)
{
"name": "http.server.requests",
"baseUnit": "seconds",
"measurements": [
{
"statistic": "COUNT",
"value": 18.0
}
],
"availableTags": [
{
"tag": "method",
"values": [
"GET"
]
}
]
}
5. SpringBoot Admin
使用上面的地址訪問指標很不友好,不可能看一堆這樣的資料,得使用一些美化的 UI 介面,SpringBoot Admin 就提供了這樣的框架
SpringBoot Admin 作為簡單的監控,分為 伺服器端 和 客戶端
5.1 Admin 伺服器端
作為監控的服務端一般是在另外一臺伺服器上部署的,然後這臺伺服器會定時去配置好的地址裡面拉取監控的指標資料
5.1.1 啟用功能、新增依賴
在初始化應用的時候在 Spring Initializr 也可以選擇
@EnableAdminServer
@SpringBootApplication
public class AdminApplication {
public static void main(String[] args) {
SpringApplication.run(AdminApplication.class, args);
}
}
<dependency>
<groupId>de.codecentric</groupId>
<artifactId>spring-boot-admin-starter-server</artifactId>
<version>2.4.3</version>
</dependency>
5.1.2 選擇一個埠
server:
port: 10000
5.1.3 訪問
直接訪問 10000 埠即可,當然現在沒有東西可以監控,主頁面是空白沒應用的
5.2 Client 客戶端
5.2.1 新增依賴
<!-- actuator -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
<version>2.4.3</version>
</dependency>
<!-- admin-client -->
<dependency>
<groupId>de.codecentric</groupId>
<artifactId>spring-boot-admin-starter-client</artifactId>
<version>2.4.3</version>
</dependency>
5.2.2新增配置
# 服務端用客戶端的主機名來通訊,但在虛擬機器上客戶端主機名會解析不正確,導致例項一直下線狀態
# 此時需要如下配置
spring:
application:
name: actuatorApplicaton
boot:
admin:
client:
url: http://admin-serve-ip:10000 # 向服務端定時傳送請求
instance:
service-url: http://admin-client-ip:8080 # 主頁
management-base-url: http://admin-client-ip:9090 # 各類指標的基礎地址
5.2.3 訪問 admin-serve
訪問即可發現有個應用的指標被獲取了,然後裡面可以看各種已經暴露的端點指標
5.3 Eureka 伺服器發現
上面每啟動一個客戶端都要手動進行配置監控的 IP 地址很是麻煩,既然微服務架構有服務發現機制的,那麼我們可以在監控的服務端上配置 Eureka 的地址,那麼 Admin-Server 就會去註冊中心獲取地址再去拉取指標
5.3.1 加依賴
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
<version>2.4.3</version>
</dependency>
5.3.2 新增配置
eureka:
client:
service-url:
defaultZone: http://xxx.xxx.xxx.xxx:xxx/eureka/
6 缺點
筆者個人覺得個人小型專案用這個組合來監控埋點已經足夠了,加上警告處理都是很不錯的選擇,但是 SpringBoot Admin 只能監控短時間內的應用資訊,如果需要各時間段的監控那麼就需要有時序資料庫的支援(比如檢視這個月內的統計資訊),這些就顯得無能為力了。
當然還是有代替方案的:
- Actuator:埋點操作
- Promethus:定期去 actuator 拉取資料並以時序的形式儲存(內部有時序資料庫)
- Granfan:使用者友好的 UI 資料展示,展示 Promethus 的資料
後面筆者還會寫一篇 Promethus 監控的筆記