golang pprof 監控系列(4) —— goroutine thread 統計原理
大家好，我是藍胖子。
在之前 golang pprof監控 系列文章裡我分別介紹了go trace以及go pprof工具對memory，block，mutex這些維度的統計原理，今天我們接著來介紹golang pprof工具對於goroutine 和thread的統計原理。
還記得在golang pprof監控系列（2） —— memory，block，mutex 使用 文章裡，透過http介面的方式暴露的方式展現 指標資訊那個網頁圖嗎？
這一節，我將會介紹其中的goroutine部分和threadcreate部分。
老規矩，在介紹統計原理前，先來看看http介面暴露的方式暴露了哪些資訊。
http 介面暴露的方式
讓我們點選網頁的goroutine 連結。。。
goroutine profile 輸出資訊介紹
進入到了一個這樣的介面，我們挨個分析下網頁展現出來的資訊:
首先位址列 /debug/pprof/goroutine?debug= 1 代表這是在訪問goroutine指標資訊，debug =1 代表訪問的內容將會以文字可讀的形式展現出來。 debug=0 則是會下載一個goroutine指標資訊的二進位制檔案，這個檔案可以透過go tool pprof 工具去進行分析，關於go tool pprof 的使用網上也有相當多的資料，這裡就不展開了。 debug = 2 將會把當前所有協程的堆疊資訊以文字可讀形式展示在網頁上。如下圖所示:
debug =2 時的 如上圖所示，41代表協程的id，方括號內running代表了協程的狀態是執行中，接著就是該協程此時的堆疊資訊了。
讓我們再回到debug = 1的分析上面去，剛才分析完了位址列裡的debug引數，接著，我們看輸出的第一行
goroutine profile: total 6
1 @ 0x102ad6c60 0x102acf7f4 0x102b04de0 0x102b6e850 0x102b6e8dc 0x102b6f79c 0x102c27d04 0x102c377c8 0x102d0fc74 0x102bea72c 0x102bebec0 0x102bebf4c 0x102ca4af0 0x102ca49dc 0x102d0b084 0x102d10f30 0x102d176a4 0x102b09fc4
# 0x102b04ddf internal/poll.runtime_pollWait+0x5f /Users/xiongchuanhong/goproject/src/go/src/runtime/netpoll.go:303
# 0x102b6e84f internal/poll.(*pollDesc).wait+0x8f /Users/xiongchuanhong/goproject/src/go/src/internal/poll/fd_poll_runtime.go:84
......
goroutine profile 表明了這個profile的型別。
total 6 代表此時一共有6個協程。
接著是下面一行，1 代表了在這個堆疊上，只有一個協程在執行。但其實在計算出數字1時，並不僅僅按堆疊去做區分，還依據了協程labels值，也就是 協程的堆疊和lebels標籤值 共同構成了一個key，而數字1就是在遍歷所有協程資訊時，對相同key進行累加計數得來的。
我們可以透過下面的方式為協程設定labels。
pprof.SetGoroutineLabels(pprof.WithLabels(context.Background(), pprof.Labels("name", "lanpangzi", "age", "18")))
透過上述程式碼，我可以為當前協程設定了兩個標籤值，分別是name和age，設定label值之後，再來看debug=1後的網頁輸出，可以發現 設定的labels出現了。
1 @ 0x104f86c60 0x104fb7358 0x105236368 0x104f867ec 0x104fba024
# labels: {"age":"18", "name":"lanpangzi"}
# 0x104fb7357 time.Sleep+0x137 /Users/xiongchuanhong/goproject/src/go/src/runtime/time.go:193
# 0x105236367 main.main+0x437 /Users/xiongchuanhong/goproject/src/go/main/main.go:46
# 0x104f867eb runtime.main+0x25b /Users/xiongchuanhong/goproject/src/go/src/runtime/proc.go:255
而數字1之後，就是協程正在執行的堆疊資訊了。至此，goroutine指標的輸出資訊介紹完畢。
threadcreate 輸出資訊介紹
介紹完goroutine指標的輸出資訊後，再來看看threadcreate 執行緒建立指標的 輸出資訊。
老規矩，先看位址列，debug=1代表 輸出的是文字可讀的資訊，threadcreate 就沒有debug=2的特別輸出了，debug=0時 同樣也會下載一個可供go tool pprof分析的二進位制檔案。
接著threadcreate pfofile表明了profile的型別， total 12 代表了此時總共有12個執行緒被建立，然後緊接著是11 代表了在這個總共有11個執行緒是在這個堆疊的程式碼段上被建立的，注意這裡後面沒有堆疊內容，說明runtime在建立執行緒時，並沒有把此時的堆疊記錄下來，原因有可能是 這個執行緒是runtime自己使用的，堆疊沒有必要展示給使用者，所以乾脆不記錄了，具體原因這裡就不深入研究了。
下面輸出的內容可以看到在main方法裡面建立了一個執行緒，runtime.newm 方法內部，runtime會啟動一個系統執行緒。
threadcreate 輸出內容比較簡單，沒有過多可以講的。
程式程式碼暴露指標資訊
看完了http介面暴露著兩類指標的方式，我們再來看看如何透過程式碼來暴露他們。
還記得在golang pprof監控系列（2） —— memory，block，mutex 使用 是如何透過程式程式碼 暴露memory block mutex 指標的嗎，goroutine 和 threadcreate 和他們一樣，也是透過pprof.Lookup方法進行暴露的。
os.Remove("goroutine.out")
f, _ := os.Create("goroutine.out")
defer f.Close()
err := pprof.Lookup("goroutine").WriteTo(f, 1)
if err != nil {
log.Fatal(err)
}
....
os.Remove("threadcreate.out")
f, _ := os.Create("threadcreate.out")
defer f.Close()
err := pprof.Lookup("threadcreate").WriteTo(f, 1)
if err != nil {
log.Fatal(err)
}
無非就是將pprof.Lookup的傳入的引數值改成對應的指標名即可。
接著我們來看看runtime內部是如何對這兩種型別的指標進行統計的，好的，正戲開始。
統計原理介紹
無論是 goroutine 還是threadcreate 的指標資訊的輸出，都是呼叫了同一個方法writeRuntimeProfile。 golang 原始碼版本 go1.17.12。
// src/runtime/pprof/pprof.go:708
func writeRuntimeProfile(w io.Writer, debug int, name string, fetch func([]runtime.StackRecord, []unsafe.Pointer) (int, bool)) error {
var p []runtime.StackRecord
var labels []unsafe.Pointer
n, ok := fetch(nil, nil)
for {
p = make([]runtime.StackRecord, n+10)
labels = make([]unsafe.Pointer, n+10)
n, ok = fetch(p, labels)
if ok {
p = p[0:n]
break
}
}
return printCountProfile(w, debug, name, &runtimeProfile{p, labels})
}
讓我們來分析下這個函式，函式會傳遞一個fetch 方法，goroutine和threadcreate資訊在輸出時選擇了不同的fetch方法來獲取到各自的資訊。
為了對主幹程式碼有比較清晰的認識，先暫時不看fetch方法的具體實現，此時我們只需要知道，fetch方法可以將需要的指標資訊 獲取到，並且將資訊的堆疊存到變數名為p的堆疊型別的切片裡，然後將labels資訊，儲存到
變數名為labels的切片裡。
注意： 只有goroutine型別的指標才有labels資訊
獲取到了堆疊資訊，labels 資訊，接著就是要將這些資訊進行輸出了，進行輸出的函式是 上述原始碼裡的最後一行 中 的printCountProfile 函式。
printCountProfile 函式的邏輯比較簡單，我簡單概括下，輸出的時候會將 printCountProfile 引數中的堆疊資訊連同labels構成的結構體 進行遍歷， 堆疊資訊和labels資訊組合作為key，對相同key的內容進行累加計數。最後 printCountProfile 將根據debug的值的不同選擇不同的輸出方式，例如debug=0是二進位制檔案下載 方式 ，debug=1則是 網頁文字可讀方式進行輸出
至此，對goroutine和threadcreate 指標資訊的輸出過程應該有了解了，即透過fetch方法獲取到指標資訊，然後透過printCountProfile 方法對指標資訊進行輸出。
fetch 方法的具體實現，我們還沒有開始介紹，現在來看看，goroutine和threadcreate資訊在輸出時選擇了不同的fetch方法來獲取到各自的資訊。
原始碼如下:
// src/runtime/pprof/pprof.go:661
func writeThreadCreate(w io.Writer, debug int) error {
return writeRuntimeProfile(w, debug, "threadcreate", func(p []runtime.StackRecord, _ []unsafe.Pointer) (n int, ok bool) {
return runtime.ThreadCreateProfile(p)
})
}
// src/runtime/pprof/pprof.go:680
func writeGoroutine(w io.Writer, debug int) error {
if debug >= 2 {
return writeGoroutineStacks(w)
}
return writeRuntimeProfile(w, debug, "goroutine", runtime_goroutineProfileWithLabels)
}
goroutine 指標資訊在輸出時，會選擇runtime_goroutineProfileWithLabels函式來獲取goroutine指標，而threadcreate 則會呼叫 runtime.ThreadCreateProfile(p) 去獲取threadcreate指標資訊。
goroutine fetch 函式實現
runtime_goroutineProfileWithLabels 方法的實現是由go:linkname 標籤連結過去的，實際底層實現的方法是 runtime_goroutineProfileWithLabels。
// src/runtime/mprof.go:744
//go:linkname runtime_goroutineProfileWithLabels runtime/pprof.runtime_goroutineProfileWithLabels
func runtime_goroutineProfileWithLabels(p []StackRecord, labels []unsafe.Pointer) (n int, ok bool) {
return goroutineProfileWithLabels(p, labels)
}
goroutineProfileWithLabels 就是實際獲取goroutine堆疊和標籤的方法了。
我們往goroutineProfileWithLabels 傳遞了兩個陣列，分別用於儲存堆疊資訊，和labels資訊，而goroutineProfileWithLabels 則負責將兩個陣列填充上對應的資訊。
goroutineProfileWithLabels 的邏輯也比較容易，我這裡僅僅簡單概括下，其內部會透過一個全域性變數allgptr 去遍歷所有的協程，allgptr 儲存了程式中所有的協程的地址， 而協程的結構體g內部，有一個叫做label的屬性，這個值就代表協程的標籤值,在遍歷協程時，透過該屬性便可以獲取到標籤值了。
threadcreate fetch 函式實現
runtime.ThreadCreateProfile 是 獲取threadcreate 指標的方法。
原始碼如下：
func ThreadCreateProfile(p []StackRecord) (n int, ok bool) {
first := (*m)(atomic.Loadp(unsafe.Pointer(&allm)))
for mp := first; mp != nil; mp = mp.alllink {
n++
}
if n <= len(p) {
ok = true
i := 0
for mp := first; mp != nil; mp = mp.alllink {
p[i].Stack0 = mp.createstack
i++
}
}
return
}
首先是獲取到allm變數的地址，allm是一個全域性變數，它其實是 儲存所有m連結串列 的表頭元素。
// src/runtime/runtime2.go:1092
var (
allm *m
.....
在golang裡，每建立一個m結構便會在底層建立一個系統執行緒，所以你可以簡單的認為m就是代表了一個執行緒。可以之後深入瞭解下gpm模型。
for mp := first; mp != nil; mp = mp.alllink {
p[i].Stack0 = mp.createstack
i++
}
然後 ThreadCreateProfile 裡 這段邏輯就是遍歷了整個m連結串列，將m結構體儲存的堆疊資訊賦值給 引數p，p則是我們需要填充的堆疊資訊陣列，在m結構體裡，alllink是一個指向連結串列下一個元素的指標，每次新建立m時，會將新m插入到表頭位置，然後更新allm變數。
總結
至此，goroutine 和threadcreate的使用和原理都介紹完了，他們比起之前的memory，block之類的統計相對來說比較簡單，簡而言之就是遍歷一個全域性變數allgptr或者allm ，遍歷時獲取到協程或者執行緒的堆疊資訊和labels資訊，然後將這些資訊進行輸出即可。