又一次偷偷化解了可能發生的重大事故。不想看過程的可以直接跳到末尾看處理方案。

## 一個網路錯誤

某天，上kplcloud構建一個測試應用，構建完成之後發現新pod一直啟動失敗，並且丟擲了以下錯誤資訊:

```
Failed create pod sandbox: rpc error: code = Unknown desc = NetworkPlugin cni failed to set up pod "xxxxxx-fc4cb949f-gpkm2_xxxxxxx" network: netplugin failed but error parsing its diagnostic message "": unexpected end of JSON input
```
![](http://source.qiniu.cnd.nsini.com/images/2020/09/2d/b8/1d/20200926-93f0202087addc551318cf6eb8a2d496.jpeg?imageView2/2/w/1280/interlace/0/q/70)

會k8s的運維同學早已不在，突然出問題了怎麼辦？

試著開始解決問題。

#### 一、有沒有可能是映象拉取失敗，開始找問題:

1. 登入叢集所有伺服器檢視空間是否佔滿（然而並沒有佔滿）
2. 查詢叢集所有伺服器網路情況（也沒有問題）
3. 再啟一個pod試試？（起不來）

這就尷尬了......，有沒有可能是calico的問題？

#### 二、檢視伺服器報錯資訊

嘗試以下命令看伺服器的報錯資訊:

```
$ journalctl -exf 
```

確實有一些錯誤資訊:

![](http://source.qiniu.cnd.nsini.com/images/2020/08/2c/38/d9/20200809-5b5feb3098c09e63d730c60e38c2c686.jpeg?imageView2/2/w/1280/interlace/0/q/70)

這個錯誤太廣泛了，繼續嘗試從其他地方找找問題。

*此時已經開始在思考如何跑路的問題了...*

要不嘗試從重啟能否解決？

風險太大，不能冒險。雖然很多時候重啟能解決大部分問題，但重啟docker、k8s在這種情況下不是最佳選擇。

![](http://source.qiniu.cnd.nsini.com/images/2020/09/c5/e1/51/20200926-429e9862e88a16975c2d738ae1dc5d5f.jpeg?imageView2/2/w/1280/interlace/0/q/70)

繼續搜刮日誌，猜測是無法分配IP的問題，那目標轉向calico

從calico-node上面找問題

查詢ip池是否用完。

使用calicoamd命令查詢calico是否正常正常執行

```
$ calicoctl get ippools -o wide
CIDR            NAT    IPIP
172.20.0.0/16   true   false

$ calicoctl node status
```

![](http://source.qiniu.cnd.nsini.com/images/2020/08/07/4b/78/20200809-1afbeb470d39804a75b46b994b807a7b.jpeg?imageView2/2/w/1280/interlace/0/q/70)

似乎是沒啥問題。

開始場外求助......

無果

![](http://source.qiniu.cnd.nsini.com/images/2020/09/3c/38/58/20200926-4d7fddbacc138ceb5f1eb94038b3c936.jpeg?imageView2/2/w/1280/interlace/0/q/70)

既然calico-node都執行正常，應該不會是calico-etcd的問題吧。

### 試試calico-etcd

本著有疑問就查證試試的態度，下面開始對calico-etcd進行一頓騷操作。

> 為了減少程式碼量方便閱讀，以下etcdctl所需要加的證照及endpoints，就不一一新增了，大家參考一下就好：

```
ETCDCTL_API=3 etcdctl --cacert=/etc/etcd/ssl/ca.pem \
--cert=/etc/etcd/ssl/etcd.pem \ 
--key=/etc/etcd/ssl/etcd-key.pem \  
--endpoints=http://10.xx.xx.1:2379,http://10.xx.xx.2:2379,http://10.xx.xx.3:2379
```

calico並沒有問題，試試calico 所使用的 ETCD是否正常，進入calico-etcd叢集：

```
$ ETCDCTL_API=3 etcdctl member list
bde98346d77cfa1: name=node-1 peerURLs=http://10.xx.xx.1:2380 clientURLs=http://10.xx.xx.1:2379 isLeader=true
299fcfbf514069ed: name=node-2 peerURLs=http://10.xx.xx.2:2380 clientURLs=http://10.xx.xx.2:2379 isLeader=false
954e5cdb2d25c491: name=node-3 peerURLs=http://10.xx.xx.3:2380 clientURLs=http://10.xx.xx.3:2379 isLeader=false
```

似乎叢集也執行正常，get資料也正常。

一切看起來都感覺是多麼的正常，似乎沒有什麼毛病。

算了，算了，還是先寫會簡歷吧，換換腦子。

![](http://source.qiniu.cnd.nsini.com/images/2020/09/93/a5/82/20200926-1e5eedc1e8e6292e8e63d723a5993ffb.jpeg?imageView2/2/w/1280/interlace/0/q/70)

那嘗試向ETCD寫入一條資料試試？

```
$ ETCDCTL_API=3 etcdctl put /hello world

Error:  etcdserver: mvcc: database space exceeded
```

報了一個錯**Error:  etcdserver: mvcc: database space exceeded**？？？

![](http://source.qiniu.cnd.nsini.com/images/2020/09/a5/8d/55/20200926-036bd70d2353523b5f1d09928d7a5118.jpeg?imageView2/2/w/1280/interlace/0/q/70)

似乎是找到原因了，既然定位到問題所在，那接下來就好辦了。*（不用跑路了(⁎⁍̴̛ᴗ⁍̴̛⁎)）*把簡歷先放一放。

感謝偉大的google，我從etcd官網找到了一些線索及解決方案，後面我貼上官網介紹，先解決問題：

使用`etcdctl endpoint status`查詢etcd各個節點的使用狀態:

```
$ ETCDCTL_API=3 etcdctl endpoint status
http://10.xx.xx.1:2379, 299fcfbf514069ed, 3.2.18, 2.1 GB, false, 7, 8701663
http://10.xx.xx.2:2379, bde98346d77cfa1, 3.2.18, 2.1 GB, true, 7, 8701683
http://10.xx.xx.3:2379, 954e5cdb2d25c491, 3.2.18, 2.1 GB, false, 7, 8701687
```

上面可以看到叢集空間已經使用了**2.1GB**了，這個值需要留意一下。

查詢etcd是否有告警資訊使用命令`etcdctl alarm list`:

```
$ ETCDCTL_API=3 etcdctl alarm list
memberID:2999344297460918765 alarm:NOSPACE
```

顯示了一個`alerm:NOSPACE`，這個表示沒空間了，那是沒什麼空間呢？磁碟還是記憶體？先查詢一下。

![](http://source.qiniu.cnd.nsini.com/images/2020/04/12/7a/0d/20200414-86b3c7741b91d44e02986ca97a512d60.jpeg?imageView2/2/w/1280/interlace/0/q/70)

似乎磁碟、記憶體空間都足夠的。從官網的資訊瞭解到應該是etcd配額的問題，Etcd v3 的預設的 backend quota 2GB，也就是說etcd預設最大的配額是2GB，如果超過了則無法再寫入資料，要麼把舊資料刪除，要麼把資料壓縮了。

**參考官方的解決方案**

ETCD官網參考：[https://etcd.io/docs/v3.2.17/op-guide/maintenance/](https://etcd.io/docs/v3.2.17/op-guide/maintenance/)

1. 獲取etcd的舊版本號

```
	$ ETCDCTL_API=3 etcdctl endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9].*'
	5395771
	5395771
	5395771
	```

2. 壓縮舊版本

```
	$ ETCDCTL_API=3 etcdctl compact 5395771
	compacted revision 5395771
	```

3. 整理碎片

```
	$ ETCDCTL_API=3 etcdctl defrag
	Finished defragmenting etcd member[http://10.xx.xx.1:2379]
	Finished defragmenting etcd member[http://10.xx.xx.2:2379]
	Finished defragmenting etcd member[http://10.xx.xx.3:2379]
	```

4. 關閉告警

```
	$ ETCDCTL_API=3 etcdctl alarm disarm
	memberID:2999344297460918765 alarm:NOSPACE
	
	$ ETCDCTL_API=3 etcdctl alarm list
	```

5. 測試資料是否可寫入

```
	$ ETCDCTL_API=3 etcdctl put /hello world
	OK
	
	$ ETCDCTL_API=3 etcdctl get /hello
	OK
	```

回到k8s這邊，刪除那個失敗的pod，並檢視是否可正常分配ip。

一切正確，完美。

![](http://source.qiniu.cnd.nsini.com/images/2020/09/17/e3/0a/20200926-9a0d78851072acf80f7251e8e32174e7.jpeg?imageView2/2/w/1280/interlace/0/q/70)

為了避免後續再出現類似問題，需要設定自動壓縮，啟動自動壓縮功能需要在etcd啟動參考上加上`xxxxx=1`

https://skyao.gitbooks.io/learning-etcd3/content/documentation/op-guide/maintenance.html

![](http://source.qiniu.cnd.nsini.com/images/2020/08/5f/1e/37/20200809-da8647d4fbc3702134ab17271e25f33c.jpeg?imageView2/2/w/1280/interlace/0/q/70)

> etcd 預設不會自動 compact，需要設定啟動引數，或者透過命令進行compact，如果變更頻繁建議設定，否則會導致空間和記憶體的浪費以及錯誤。Etcd v3 的預設的 backend quota 2GB，如果不 compact，boltdb 檔案大小超過這個限制後，就會報錯：`”Error: etcdserver: mvcc: database space exceeded”`，導致資料無法寫入。

產生這麼多垃圾資料的原因就是因為頻繁的排程，我們叢集有大量CronJob在執行，並且執行的非常活躍，每次產生新的Pod都會被分配到ip。有可能是因為pod時間太短或沒有及時登出而導致calico-etcd產生了大量垃圾資料。

## 尾巴

![](http://source.qiniu.cnd.nsini.com/images/2020/04/71/70/6f/20200414-5cfeeaa71180f7706136feee70271a00.jpeg?imageView2/2/w/1280/interlace/0/q/70)

因calico-etcd叢集的的使用配額滿了，在建立pod時calico所分配的IP無法寫入到etcd裡，從而導致pod建立失敗也就無法註冊到CoreDNS了。

為了不採坑，監控是非常重要的，我們有etcd叢集的監控，卻忽略了etcd配額的監控，幸運的是當時並沒有應用重啟動或升級，沒有造成損失。

最後的建議就是，沒事上去點點，說不定會有您意想不到的驚喜(驚嚇)。

![](http://source.qiniu.cnd.nsini.com/images/2020/04/ae/52/a4/20200414-11bccbf10f7a441ba2b4500c526aeb79.jpeg?imageView2/2/w/1280/interlace/0/q/70)

![](http://source.qiniu.cnd.nsini.com/images/2020/04/f8/72/de/20200414-24888b7450f7e3ccd079a005725f826b.jpeg?imageView2/2/w/1280/interlace/0/q/70)

>  作者：宜信技術學院 王聰

處理一次k8s、calico無法分配podIP的心路歷程

相關文章