超穩攻略！Rancher 2.3手動輪換證書，保護叢集安全！

RancherLabs發表於2020-12-01

前言

Rancher 2.3正式釋出已經一年，第一批使用Rancher 2.3的使用者可能會遇到Rancher Server證書過期，但是沒有自動輪換的情況。這會導致Rancher Server無法啟動，並且日誌出現報錯：

請注意：

Rancher Server無法啟動不會影響下游叢集，下游叢集依然可以通過kubeconfig去操作。

請注意：

Rancher Server無法啟動不會影響下游叢集，下游叢集依然可以通過kubeconfig去操作。

以上情況只會在docker run啟動或使用小於k3s v1.19用作local叢集的Rancher上才會發生。以上情況只會在docker run啟動或使用小於k3s v1.19用作local叢集的Rancher上才會發生。

重現問題

為了讓大家更好的理解這個問題，下面將以手動修改系統時間的形式來重現這個問題。

當前時間：2020年10月30日星期五 10時37分59秒 CST

1、啟動Rancher v2.3.1，並且新增下游叢集，操作步驟可以參考官網：

2、啟動Rancher 之後，從瀏覽器上檢視到的過期時間：2021年10月30日星期六中國標準時間 10:29:35

3、檢視Rancher Server容器內的K3s證書過期時間為 Oct 30 02:28:49 2021 GMT

root@rancher1:~# docker exec -it rancher_server_id bash
root@25c228f6a4c8:/var/lib/rancher# for i in `ls /var/lib/rancher/k3s/server/tls/*.crt`; do echo $i; openssl x509 -enddate -noout -in $i; done
/var/lib/rancher/k3s/server/tls/client-admin.crt
notAfter=Oct 30 02:28:49 2021 GMT
/var/lib/rancher/k3s/server/tls/client-auth-proxy.crt
notAfter=Oct 30 02:28:49 2021 GMT
/var/lib/rancher/k3s/server/tls/client-ca.crt
notAfter=Oct 28 02:28:49 2030 GMT
/var/lib/rancher/k3s/server/tls/client-controller.crt
notAfter=Oct 30 02:28:49 2021 GMT
/var/lib/rancher/k3s/server/tls/client-kube-apiserver.crt
notAfter=Oct 30 02:28:49 2021 GMT
/var/lib/rancher/k3s/server/tls/client-kube-proxy.crt
notAfter=Oct 30 02:28:49 2021 GMT
/var/lib/rancher/k3s/server/tls/client-scheduler.crt
notAfter=Oct 30 02:28:49 2021 GMT
/var/lib/rancher/k3s/server/tls/request-header-ca.crt
notAfter=Oct 28 02:28:49 2030 GMT
/var/lib/rancher/k3s/server/tls/server-ca.crt
notAfter=Oct 28 02:28:49 2030 GMT
/var/lib/rancher/k3s/server/tls/serving-kube-apiserver.crt
notAfter=Oct 30 02:28:49 2021 GMT

4、將伺服器時間調整為證書過期後5天的日期，比如：20211105

root@rancher1:~# timedatectl set-ntp no
root@rancher1:~# date -s 20211105
Fri Nov  5 00:00:00 CST 2021
root@rancher1:~# date
Fri Nov  5 00:00:00 CST 2021

此時，Rancher UI 已經無法訪問：

並且Rancher 容器由於內建的K3s證書過期而不斷重啟。

手動輪換證書

以上現象是因為Rancher Server內建的K3s證書過期，導致K3s無法啟動，從而導致Rancher Server容器無法啟動。

為了可以繼續操作Rancher Server容器，需要將系統時間調整到K3s證書過期之前。

root@rancher1:~# date -s 20211025
Mon Oct 25 00:00:00 CST 2021

如果啟動Rancher時未加--restart=unless-stopped引數，需要手動啟動Rancher Server。

接下來我們就可以進入到容器內手動刪除K3s證書，然後重啟Rancher，重啟成功後將重新生成K3s證書。

root@rancher1:~# docker exec -it rancher_server_id bash
root@25c228f6a4c8:/var/lib/rancher# rm -rf /var/lib/rancher/k3s/server/tls/*.crt
root@25c228f6a4c8:/var/lib/rancher# exit
exit
root@rancher1:~# docker restart rancher_server_id

Rancher Server如果出現以下日誌，那麼需要再重啟一次Rancher Server：

2021/10/24 16:01:00 [INFO] Waiting for server to become available: Get https://localhost:6443/version?timeout=30s: x509: certificate signed by unknown authority

驗證

1、將伺服器時間再次調整為證書過期後5天的日期，比如：20211105

root@rancher1:~# date -s 20211105
Fri Nov  5 00:00:00 CST 2021

證書更新之後，我們需要確認K3s證書是否更新成功，還需要檢查下游叢集是否會有影響。

2、確認K3s證書已經更新

root@rancher1:~# docker exec -it rancher_server_id bash
root@25c228f6a4c8:/var/lib/rancher# for i in `ls /var/lib/rancher/k3s/server/tls/*.crt`; do echo $i; openssl x509 -enddate -noout -in $i; done
/var/lib/rancher/k3s/server/tls/client-admin.crt
notAfter=Oct 24 16:00:54 2022 GMT
/var/lib/rancher/k3s/server/tls/client-auth-proxy.crt
notAfter=Oct 24 16:00:54 2022 GMT
/var/lib/rancher/k3s/server/tls/client-ca.crt
notAfter=Oct 22 16:00:54 2031 GMT
/var/lib/rancher/k3s/server/tls/client-controller.crt
notAfter=Oct 24 16:00:54 2022 GMT
/var/lib/rancher/k3s/server/tls/client-kube-apiserver.crt
notAfter=Oct 24 16:00:54 2022 GMT
/var/lib/rancher/k3s/server/tls/client-kube-proxy.crt
notAfter=Oct 24 16:00:54 2022 GMT
/var/lib/rancher/k3s/server/tls/client-scheduler.crt
notAfter=Oct 24 16:00:54 2022 GMT
/var/lib/rancher/k3s/server/tls/request-header-ca.crt
notAfter=Oct 22 16:00:54 2031 GMT
/var/lib/rancher/k3s/server/tls/server-ca.crt
notAfter=Oct 22 16:00:54 2031 GMT
/var/lib/rancher/k3s/server/tls/serving-kube-apiserver.crt
notAfter=Oct 24 16:00:54 2022 GMT

K3s證書過期時間已經從Oct 30 02:28:49 2021 GMT更新到了Oct 24 16:00:54 2022 GMT

3、確認瀏覽器證書已經更新

瀏覽器上的證書過期已經從2021年10月30日星期六中國標準時間 10:29:35更新到了2022年10月25日星期二中國標準時間 00:01:34