一次意想不到的pod記憶體驅逐問題

技术颜良發表於2024-04-30

記憶體

一次意想不到的pod記憶體驅逐問題

原創運維之美運維之美 2024-04-28 23:57 湖北聽全文

公眾號關注「運維之美」

設為「星標」，每天帶你玩轉 Linux

運維之美

Linux運維技術乾貨，真實生產故障處理現場。分享運維圈乾貨及趣事，一個讓你不虛度時光的技術公眾號！

64篇原創內容

公眾號

處理專案上K8S叢集pod驅逐問題也算不少了，不過此次產生pod驅逐的原因卻是意想不到，最後覆盤原因很簡單，定位故障時候卻是忽略了，不過也算豐富了處理故障的案例。

案發現場

客戶現場反饋入口網站無法開啟，有很多pod狀態為Evicted

kubectl get pods -A | grep 0/1
 web-nginx-865674789f-c7bv4  0/1   Evicted       0   25h   <none>  192.168.3.10  <none>
 web-nginx-865674789f-ggb27  0/1   Evicted       0   25h   <none>  192.168.3.10  <none>
 web-nginx-865674789f-fwp94  0/1   Evicted       0   25h   <none>  192.168.3.10  <none>
 web-nginx-865674789f-djj46  0/1   Evicted       0   25m   <none>  192.168.3.10  <none>
 web-nginx-865674789f-dmhmp  0/1   OOmMKilled    0   25h   <none>  192.168.3.10  <none>
 web-nginx-865674789f-1v6x4  0/1   Evicted       0   25h   <none>  192.168.3.10  <none>
 web-nginx-865674789f-ct66c  0/1   Evicted       0   25h   <none>  192.168.3.10  <none>
 web-nginx-865674789f-jk7ca  0/1   Evicted       0   25h   <none>  192.168.3.10  <none>

根據以往經驗，驅逐問題讓現場的實施同學檢視監控，一般是磁碟或者記憶體會導致pod驅逐。客戶的磁碟一直很充足，所以排除

如果記憶體佔用達到90%之上，就拿著監控找客戶擴容記憶體就好了

監控資料如下

節點記憶體為98G，故障時刻記憶體佔用雖有上升，但是也在70%之下，看來此次問題並不如開始猜測的一樣

那麼kubectl describe pods web-nginx-xxx檢視日誌（或者檢視叢集events事件，作業系統messages日誌也）

從日誌上可以看出來是記憶體不足導致了驅逐，問題在於我們沒有從監控上找到記憶體不足的證據。

破案

看來此次的問題和之前經驗並不相同驅逐說明

我們來思考pod驅逐的原因。K8S透過kubelet來配置pod的驅逐引數，我們檢查下驅逐閾值

evictionHard:
  imagefs.available: "2Gi"
  memory.available: "200Mi"  #剩餘200m才驅逐
  nodefs.available: "1Gi"
  nodefs.inodesFree: "5%"
evictionPressureTransitionPeriod: 5m0s #設定kubelet離開驅逐壓力狀況之前必須要等待的時長。
.....
kubeReserved:  #給K8S元件執行預留的資源
  cpu: 400m
  memory: 800Mi
  ephemeral-storage: 300Mi
kubeReservedCgroup: /kube.slice
systemReserved: #非kubernetes元件預留資源
  memory: 3Gi
  cpu: 500m
  ephemeral-storage: 2Gi

從上面的配置來看，K8S可用記憶體=總記憶體-（3G+800m+200m）

透過kubectl describe node 192.168.3.10檢視節點分配的總記憶體

Capacity:
  cpu:                16
  ephemeral-storage:  1047015936Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             65806460Ki
  pods:               253
Allocatable:
  cpu:                15400m
  ephemeral-storage:  1043358208Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             63242364Ki  #可分配60G記憶體
  pods:               253

Allocatable下的記憶體表示可分配的資源