關於記一次 Go 服務記憶體洩漏問題調查

liu739發表於2020-12-22

記錄下這個問題是因為這不同於傳統典型的 Go 服務記憶體洩漏。

8月15日前後，釘釘監控告警群不定時出現服務機器記憶體佔用超 80%
告警，一開始以為是 Prometheus exporter 堆積造成的，準備下掉 Prometheus
exporter 的整合程式碼，後來覺得這個堆積速度太快了點，不到一天就吃掉
6GB，十分誇張，所以有空的時候用 gops 快照了一下，記憶體情況如下圖

(pprof) /app/bin # gops memstats 1
alloc: 54.66MB (57317968 bytes)
total-alloc: 186.21GB (199938346560 bytes)
sys: 6.72GB (7215977904 bytes)
lookups: 0
mallocs: 2906600570
frees: 2906521966
heap-alloc: 54.66MB (57317968 bytes)
heap-sys: 6.44GB (6909984768 bytes)
heap-idle: 6.38GB (6846406656 bytes)
heap-in-use: 60.63MB (63578112 bytes)
heap-released: 6.33GB (6794371072 bytes)
heap-objects: 78604
stack-in-use: 2.12MB (2228224 bytes)
stack-sys: 2.12MB (2228224 bytes)
stack-mspan-inuse: 266.02KB (272408 bytes)
stack-mspan-sys: 31.88MB (33423360 bytes)
stack-mcache-inuse: 6.78KB (6944 bytes)
stack-mcache-sys: 16.00KB (16384 bytes)
other-sys: 4.58MB (4802459 bytes)
gc-sys: 251.55MB (263773240 bytes)
next-gc: when heap-alloc >= 100.19MB (105060944 bytes)
last-gc: 2020-08-14 20:54:01.063567774 +0800 CST
gc-pause-total: 982.706218ms
gc-pause: 17439
num-gc: 3484
enable-gc: true
debug-gc: false

分析從上面的指標可以得出以下結論

當前正在使用的堆記憶體大致是 60 多M
HeapReleased = 6.33 GB 返還給作業系統的實體記憶體的位元組數是 6.33GB (
HeapReleased 統計了從idle
span中返還給作業系統，沒有被重新獲取的記憶體大小)

那問題就抽象為：\為什麼 HeapReleased 上升，RSS 沒有下降?\

搜尋了一下有人踩過這個坑了，參考：https://zhuanlan.zhihu.com/p/...

這是因為 Go 底層用 mmap 申請的記憶體，會用 madvise 釋放記憶體。具體見
go/src/runtime/mem~linux~.go 的程式碼。

madvise 將某段記憶體標記為不再使用時，有兩種方式 MADV~DONTNEED~ 和
MADV~FREE~（通過標誌引數傳入）：

MADV~DONTNEED標記過的記憶體如果再次使用~，會觸發缺頁中斷
MADV~FREE標記過的記憶體~，核心會等到記憶體緊張時才會釋放。在釋放之前，這塊記憶體依然
可以複用。這個特性從linux 4.5版本核心開始支援

顯然，MADV~FREE是一種用空間換時間的優化~。

在Go 1.12之前，linux 平臺下 Go runtime
中的sysUnsed使用madvise(MADV~DONTNEED~)
在Go 1.12之後，在MADV~FREE可用時會優先使用MADVFREE~

具體見 https://github.com/golang/go/...

Go
1.12之後，提供了一種方式強制回退使用MADV~DONTNEED的方式~，在執行程式前新增
GODEBUG=madvdontneed=1。具體見
https://github.com/golang/go/...

另外還有一個疑點：現在知道問題出現的條件是 Go \> 1.12 && Linux Kernel \>
4.5，但是為什麼之前阿里雲沒有出現，系統8月10號整體遷移到 aws 出現了？

調查發現

阿里雲機器核心 4.4.0-105-generic，而 aws 機器核心
4.15.0-1054-aws，剛好符合預期，可以解釋。

==

補充：8月24日

使用 GODEBUG=madvdontneed=1 強制回退使用
MADV~DONTNEED~，沒有再出現記憶體洩漏問題。記憶體穩定在 200MB 左右

關於PHP記憶體洩漏的問題
2021-01-21
PHP記憶體
ThreadLocal記憶體洩漏問題
2018-09-25
thread記憶體
AFN的記憶體洩漏問題
2017-12-01
記憶體
線上問題排查例項分析｜關於 Redis 記憶體洩漏
2023-11-23
Redis記憶體
線上問題排查例項分析｜關於Redis記憶體洩漏
2023-11-27
Redis記憶體
關於java中的記憶體洩漏
2002-12-04
Java記憶體
如何查詢記憶體洩漏
2011-11-03
記憶體
iOS八種記憶體洩漏問題
2017-04-29
iOS記憶體
iOS 11 textField記憶體洩漏問題
2018-01-11
iOS記憶體
bea記憶體洩漏問題診斷
2010-07-05
記憶體
HibernateDaoSupport 記憶體洩漏的問題！
2006-07-27
記憶體
記一次 .NET 某HIS系統後端服務記憶體洩漏分析
2021-05-21
後端記憶體
記憶體洩漏
2008-10-07
記憶體
對於記憶體洩漏問題的簡單認知
2019-04-16
記憶體
記一次 .NET 某消防物聯網後臺服務記憶體洩漏分析
2022-01-12
記憶體
記憶體洩漏問題分析之非託管資源洩漏
2020-12-31
記憶體
記一次使用 laravel-s 記憶體洩漏
2022-01-08
Laravel記憶體
一次 Java 記憶體洩漏的排查
2020-03-15
Java記憶體
解決記憶體洩漏(1)-ApacheKylin InternalThreadLocalMap洩漏問題分析
2020-07-22
記憶體Apachethread
js記憶體洩漏
2019-02-16
JS記憶體
Java記憶體洩漏
2020-12-06
Java記憶體
webView 記憶體洩漏
2016-05-24
WebView記憶體
Javascript記憶體洩漏
2013-04-05
JavaScript記憶體
如何解決JVM OutOfMemoryError記憶體洩漏問題?
2019-06-15
JVMError記憶體
分析記憶體洩漏和goroutine洩漏
2021-10-22
記憶體Go
【Java面試題】之記憶體洩漏
2017-10-28
Java面試題記憶體
記一次記憶體佔用問題的調查過程
2017-11-14
記憶體
記憶體分析與記憶體洩漏定位
2017-11-03
記憶體
記憶體洩漏和記憶體溢位
2015-07-11
記憶體溢位
Go 記憶體洩漏？不是那麼簡單!
2020-03-10
Go記憶體
請教關於記憶體洩漏的檢測方法
2007-04-10
記憶體
記一次Go websocket　專案記憶體洩露排查 + 使用Go pprof定位記憶體洩露
2017-05-27
GoWeb記憶體洩露
前端面試查漏補缺--(十三) 記憶體洩漏
2019-02-24
前端面試記憶體
記憶體洩漏的有關知識
2007-11-23
記憶體
記憶體洩漏引起的資料庫效能問題
2021-05-06
記憶體資料庫
記一次 .NET 某智慧服裝智造系統記憶體洩漏分析
2021-12-01
記憶體
如何檢查Javascript中的記憶體洩漏
2018-06-13
JavaScript記憶體
valgrind 記憶體洩漏分析
2021-05-17
記憶體

關於記一次 Go 服務記憶體洩漏問題調查

相關文章