導讀
CZGL.ProcessMetrics 是一個 Metrics 庫,能夠將程式的 GC、CPU、記憶體、機器網路、磁碟空間等資訊記錄下來,使用 Prometheus 採集資訊,然後使用 Grafana 顯示。
週日花了時間把這個庫更新,修復了一些 Bug,增加了一些有趣的功能,支援多伺服器多應用,支援 wpf、winfrom、.NET Core 等應用,在不需要暴露埠的情況下,也可以推送監控資料到 Prometheus,支援自定義資料來源。
另外對 Grafana 模板進行了一些優化,增加了一些資料來源。
根據機器、應用等選擇需要顯示的資料:
三種方式處理監控資料
詳細文件請參考:
https://github.com/whuanle/CZGL.SystemInfo/blob/primary/docs/Metrics.md
主動推送
第一種需要使用 Pushgateway,Pushgateway 允許任何客戶端向其推送符合規範的自定義監控指標,再使用 Prometheus 統一收集監控。
我們不必把應用的監控資料都推送到 Prometheus,而是推送到 Pushgateway,多個應用一起推送,然後Prometheus 定期一次性獲取。
示例程式碼如下:
MetricsPush metricsPush = new MetricsPush("http://123.12.1.2:9091");
while (true)
{
var code = metricsPush.PushAsync().Result;
// 如果 code 不是 200,請檢查推送的地址有沒有錯誤,或聯絡筆者討論
// 自定義推送間隔時間
Thread.Sleep(1000);
}
這種方法適合非 Web 應用、不能暴露埠的應用、內網應用或者 Winfrom、Wpf 這類應用使用。
ASP.NET Core
在 Nuget 中,搜尋 CZGL.ProcessMetrics.ASPNETCore
包,然後使用中介軟體生成 Metrics 端點。
endpoints.ProcessMetrices("/metrics", options =>
{
// 監控 CLR 中的事件
options.ListenerNames.Add(EventNames.System_Runtime);
// options.Labels.Add("other", "自定義標識");
// 自定義要監控的資料來源
options.Assemblies.Add(typeof(CZGL.ProcessMetrics.MetricsPush).Assembly);
});
或:
endpoints.ProcessMetrices("/metrics");
自定義URL
自定義 HTTP Server,暴露一個 URL ,供 Prometheus 抓取。
new Thread(() =>
{
MetricsServer metricsServer = new MetricsServer("http://*:1234/metrics/");
metricsServer.Start();
}).Start();
.NET diagnostics
在程式出現記憶體洩漏或者 CPU 太高的時候,有沒有使用過 dotnet-tool 來排查?例如 dotnet-counter、dotnet-dump。
這些工具可以獲得詳細的 EvenSource 資訊:
[System.Runtime]
% Time in GC since last GC (%) 0
Allocation Rate / 1 sec (B) 0
CPU Usage (%) 0
Exception Count / 1 sec 0
GC Heap Size (MB) 4
Gen 0 GC Count / 60 sec 0
Gen 0 Size (B) 0
Gen 1 GC Count / 60 sec 0
Gen 1 Size (B) 0
Gen 2 GC Count / 60 sec 0
Gen 2 Size (B) 0
LOH Size (B) 0
Monitor Lock Contention Count / 1 sec 0
Number of Active Timers 1
Number of Assemblies Loaded 140
ThreadPool Completed Work Item Count / 1 sec 3
ThreadPool Queue Length 0
ThreadPool Thread Count 7
Working Set (MB) 63
在 CZGL.ProcessMetrics 中,也可以監控這些指標啦~
在 .NET 中,內建了一些 EventSource,讀者可以參考:https://docs.microsoft.com/en-us/dotnet/core/diagnostics/available-counters#microsoftaspnetcorehttpconnections-counters
常見的 EventSource 如下:
* Microsoft-Windows-DotNETRuntime
* System.Runtime
* Microsoft-System-Net-Http
* System.Diagnostics.Eventing.FrameworkEventSource
* Microsoft-Diagnostics-DiagnosticSource
* Microsoft-System-Net-Sockets
* Microsoft-System-Net-NameResolution
* System.Threading.Tasks.TplEventSource
* System.Buffers.ArrayPoolEventSource
* Microsoft-System-Net-Security
* System.Collections.Concurrent.ConcurrentCollectionsEventSource
在 CZGL.ProcessMetrics 中 ,預設只監控了 System.Runtime,你也可以新增更多型別的 EventSource,甚至是你自定義的 EventSource。
在配置的時候,使用即可:
endpoints.ProcessMetrices("/metrics", options =>
{
// 監控 CLR 中的事件
options.ListenerNames.Add(EventNames.System_Runtime);
options.ListenerNames.Add(EventNames.AspNetCore_Http_Connections);
}
MetricsPush metricsPush = new MetricsPush(url: "http://123.1.1.2:9091",
option: options =>
{
// 監控 CLR 中的事件
options.ListenerNames.Add(EventNames.System_Runtime);
options.ListenerNames.Add(EventNames.AspNetCore_Http_Connections);
});
自定義監控指標
如果你有一些指標資料,也要放到 Grafana 上顯示,例如使用者滑鼠點選次數、併發請求數量等,可以很容易地新增進去:
public class CLRMetrics : IMerticsSource
{
public async Task InvokeAsync(ProcessMetricsCore metricsCore)
{
await Task.Factory.StartNew(() =>
{
Gauge monitor = metricsCore.CreateGauge("指標名稱", "指標描述");
monitor.Create()
.AddLabel("自定義標籤",value.ToString())
.SetValue(Monitor.LockContentionCount);
});
}
}
自定義的資料來源,需要繼承 IMerticsSource
介面。
目前支援 Counter、Gauge 兩種形式的資料,Counter 是累加器,適合不斷增加的資料;Gauge 則是自由的資料。
自定義標識用於顯示一些特定的資訊,Value 則顯示具體的值,Label 可以定義多個,但是 Value 只會出現一次。例如:
.AddLabel("磁碟名稱","D:\")
.AddLabel("已用空間","58091110") // 單位 Byte,即 55.40 GB
.AddValue(0) // 有時我們只需要顯示 Label,不需要 Value,則隨便填一個
這個庫只是一個簡單的工具,相對於專業的 Metrics 工具,指標資料不多,好就好在體積小,使用簡單。。。這個庫沒什麼複雜的功能,幾行程式碼就可以跑起來了,小應用用起來方便,不需要什麼成本就可以搭建起一個簡單的監控。
大佬輕噴。
詳細文件可以參考:
https://github.com/whuanle/CZGL.SystemInfo/blob/primary/docs/Metrics.md
專案地址:
https://github.com/whuanle/CZGL.SystemInfo
需要補充 .NET 監控指標或者定製 Grafana 介面,可聯絡筆者一起討論~