一、問題描述

今天介紹一下中經專案DCOS雲平臺一次故障，新炬DCOS雲平臺使用的映象倉庫是將VMWARE公司開源Harbor專案整合進來的，期間專案映象倉庫正常使用了一年左右，最近一次使用命令PUSH映象到映象倉庫或使用DCOS雲平臺自動化構建映象上傳映象倉庫提示拋錯映象倉庫的https證書過期，因此這個問題影響了DCOS部分功能無法正常使用。它會影響到專案映象構建與服務版本更新問題，但對於業務無影響。

二、問題影響

1. 人工上傳映象至映象倉庫

2. DCOS 平臺映象自動構建

3. DCOS 平臺更新服務版本

三、問題原因分析

人工打包好的docker映象，然後透過命令將docker映象上傳到映象倉庫，提示報證書已過期。

報錯資訊：

Error response from daemon: Get x509: certificate has expired or is not yet valid

說明由於映象倉庫使用的registry v2，採用https安全協議訪問方式，前端透過nginx做代理實現的，在設計過程中把證書的設定為較短的時間，導致nginx證書過期不能使用, 故需要人工生成一份新的證書來更換nginx上的證書。

四、問題解決方案

注意：以下1，2步操作是在映象倉庫伺服器，3步在所有mesos計算節點，4步在DCOS雲平臺伺服器。

1. 重新生成一份有效期為10年的證書

使用openssl命令建立新的證書，會在目錄/data/cert目錄下生成canew.crt 和canew.key兩個檔案，注意這裡的CN=XXXX和IP=XXXX 使用映象倉庫伺服器地址。

cd /etc/pki/tls/

openssl req -x509 -days 3650 -newkey rsa:4096 -nodes -sha256 -keyout /data/cert/canew.key -subj '/C=xj/O=shsnc onDocker/CN=XXXX/emailAddress=harbor@shsnc.comsubjectAltName=IP=XXXX' -out /data/cert/canew.crt

2. 映象倉庫使用的registry v2，採用https安全協議訪問方式，前端透過nginx做代理實現的，故需要更換nginx上的證書。

1 ）、替換 nginx 證書

cp /data/cert/canew.crt /root/harbor/common/config/nginx/cert/canew.crt

cp /data/cert/canew.key /root/harbor/common/config/nginx/cert/canew.key

刪除舊的證書檔案

rm -f /root/harbor/common/config/nginx/cert/ca.*

2 ）、修改 nginx 配置

nginx.conf配置中的第30、31行，替換成新證書（只需更換證書名稱，目錄不需要更改）。

cd /root/harbor/common/config/nginx

vi nginx.conf

......

ssl_certificate /etc/nginx/cert/catest.crt;

ssl_certificate_key /etc/nginx/cert/catest.key;

3) 、重啟映象倉庫 nginx 容器

docker restart nginx

3. mesos docker 計算節點證書更換

將映象倉庫伺服器上面的新證書 canew.crt 檔案 COPY 到其它 41 個 mesos docker 計算節點的 /etc/docker/certs.d/{domain}/ 目錄下，然後在其中一臺計算節點使用 docker login 測試是否能正常登入。

1 ）、刪除舊證書檔案

export Harbor_ip=xx.xx.xx.xx

cd /etc/docker/certs.d/${Harbor_ip}

rm –rf ca.*

2 ）、更新新證書檔案

scp root@dcos_hub:/data/cert/canew.crt .

3 ）、測試訪問映象倉庫

docker login $ Harbor_ip

4. DCOS 平臺更新映象倉庫證書

由於 DCOS 平臺整合 Harbor 映象倉庫，為了實現自動化構建映象，因此我們 DCOS 上面的證書也是過期的，所以我們需要對 DCOS 伺服器上面的映象倉庫證書進行更新替換。

scp root@dcos_hub:/data/cert/canew.crt /dcos/file/ harbor_ca.cert

五、問題總結

因問題是映象倉庫https證書有效期設計較短導致，像這類問題出現是比較低階的，有點經驗的人都會將證書有效期設定5年或是更長。雖然更新映象倉庫證書對業務無影響，但對雲平臺功體驗效果比較差，更新證書涉及到所有節點證書的同步，是一件比較麻煩的事情。因此前期相關配置設計應該嚴格做好長遠規劃，減少後期運維工作量。

有需要的朋友可以關注我的公眾號，文章每日一更

harbor映象倉庫證書過期問題

二、問題影響

三、問題原因分析

四、問題解決方案

五、問題總結

相關文章

harbor映象倉庫證書過期問題

二、 問題影響

三、 問題原因分析

四、 問題解決方案

五、 問題總結

相關文章

二、問題影響

三、問題原因分析

四、問題解決方案

五、問題總結