> 寫在前面：[《Kubernetes Tutorials》](https://github.com/anypm/kubernetes-tutorials-series) 系列文章旨在幫助您從入門到高階逐步瞭解並掌握kubernetes技術棧的實操、理論和最佳實踐。主題將包括 **Docker 基礎與實操**、**Kubernetes 基礎與實操**、**基於 Kubernetes 的應用部署(工作負載版與叢集版)**、**基於 Kubernetes 的 CI/CD**、**Kubernetes 叢集與應用監控**、**Kubernetes 運維與最佳生產實踐**等，因為平時工作比較忙碌，儘量確保每週 1～3 篇相關文章，主題可能會比較隨機，待全系列完成後再系統整理，盡情期待～ **天才都會三個神操作 `Watching` & `Star` & `Fork`**

### 介紹

本文主要講述使用 Rancher 構建好 Kubernetes 叢集后，如何在 Kebernetes 叢集中快速構全自動的 CI/CD 流水， 包括自動簽出程式碼、執行程式碼、構建 Docker 映象、將 Docker 映象釋出到倉庫、從 Docker 倉庫拉取映象並部署到叢集等。

為完成構建流水線本文還會用到以下元件：

* Jenkins：管道的構建引擎。
* Docker Registry：開箱即用，構建釋出步驟的預設目標是內部 Docker 倉庫。但是，您可以進行配置以推送到遠端倉庫。內部 Docker Registry 只能從群集節點訪問，使用者無法直接訪問。映象不會在管道的生命週期之後持久存在，並且只應在管道執行中使用。如果您需要在管道執行之外訪問您的映象，請推送到外部倉庫。
* Minio：Minio 儲存用於儲存管道執行的日誌。

> 託管的 Jenkins 例項無狀態地工作，因此不要擔心其資料永續性。預設情況下，Docker Registry 和 Minio 例項使用臨時卷，這對大多數用例來說都很好。如果要確保管道日誌可以在節點故障中繼續存在，則可以為它們配置持久卷。

### 目標

使用 Kubernetes 容器叢集構建 CI/CD 自動流水線，包括自動簽出程式碼、執行程式碼、構建映象、釋出到倉庫、將應用部署到叢集等。

本文中容器叢集包含以下資源：

* 1 個 Rancher Server 節點：用於部署 Rancher Server，透過該節點可以實現視覺化多叢集、跨雲管理 Kubernetes 叢集
* 2 個 Etcd 節點：儲存主控制節點和工作節點之間的任務排程等資料資訊
* 2 個控制 ( Controller ) 節點：部署 Kunbernetes 叢集主控制節點，用於管理和監控 Kubernetes 其它的工作節點和存在狀態資訊。
* 2 個工作 ( Worker ) 節點：部署 Kubernetes 叢集的工作節點，用於執行容器化的應用。

> 注意：Etcd、Controller 和 Worker 節點均選擇至少兩臺是為了模擬高可用控制節點和工作節點。配置推薦至少 2 核 CPU、4GB 記憶體、40GB 儲存、2M 頻寬，系統均為 Ubuntu 16.04 LTS。為達到更好的效果，本文建立的 5 臺雲伺服器配置均為 4 核 CPU、8GB 記憶體、200GB 儲存、5M 頻寬，系統選擇 Ubuntu 16.04 LTS。

為完成 CI/CD 流水間自動構建與部署的操作，您還需要一個示例程式碼庫和用於存放 Docker 映象的倉庫：

* 本文提供了簡單的基於 Go 語言的示例程式碼庫，您可以直接 Fork 使用： [CI/CD 示例程式碼](https://github.com/anypm/rancher-pipeline-example-go)
* 本文的 Docker 映象倉庫使用的是[滴滴雲](https://blog.didiyun.com)的映象倉庫，相關地址如下： [滴滴雲容器映象服務](https://app.didiyun.com/#/docker/repositories)

> 您也可以使用 [Docker 官方倉庫](hub.docker.com) 、 [Quay](quay.io) 或自建的私有倉庫，

### 第一步：搭建 Kubernetes 叢集

開始之前請確保已按上述**目標**中的資源要求準備好了伺服器資源，可以是物理機、虛擬機器或雲主機，本文所有資源均為雲主機。

關於如何準備 Docker 環境並搭建 Kubernetes 叢集，請參考 [使用 Rancher 建立 Kubernetes 叢集並進行多叢集視覺化管理](https://github.com/anypm/anypm-kubernetes-tutorials-series/blob/master/how-to-create-a-kubernetes-1-11-cluster-using-rancher-and-manage-clusters.md) ,本文將不再贅述。

完成此步驟後本文後續步驟將**預設您已經配置好一個 Kubernetes 叢集**，含 2 個 Etcd 節點、2 個控制 ( Controller ) 節點、2 個工作 ( Worker ) 節點。

### 第二步：設定程式碼源

#### 1.建立專案
選擇你的叢集，然後在頂部選單中選擇 **「Projects/Namespaces」** ，輸入 **「Project Name」** ，其他預設，點選 **「Create」** 即可建立叢集下的專案，如下圖：
![](http://img.blog.itpub.net/blog/2019/01/07/52f7b426f25ef6a0.png?x-oss-process=style/bb)

#### 2.設定程式碼源
1. 選擇上一步建立的專案，頂部主選單選擇 **「Workloads」**，然後選擇tab欄中的 **「Pipelines」**，點選 **「Configure Repositories」**，如下圖：
![](http://img.blog.itpub.net/blog/2019/01/07/fc71215d70dbb5c4.png?x-oss-process=style/bb)

2. **「Repositories」**頁面中可以看到 Rancher 官方提供了三個示例程式碼，為了完整演示配置 CI/CD 流程，我們不用此處的示例程式碼，直接點選下方按鈕 **「Authorize & Fetch Your Own Repositories」**，如下圖:
![](http://img.blog.itpub.net/blog/2019/01/07/03a494753682f396.png?x-oss-process=style/bb)

3. 頁面會跳轉到選擇原始碼平臺的頁面，如下圖。此處我們選擇 **「Github」** 平臺 ( GitLab 與 Bitbucket 步驟類似)。此處注意要記錄下 **“Homepage URL”** 和 **“Authorization callback URL”**，以備 GitHub 中應用授權使用。點選下方  **「click here」** 連結新開一個頁面跳轉至 GitHub 應用授權頁面：
![](http://img.blog.itpub.net/blog/2019/01/07/54b1a42ca8661cac.png?x-oss-process=style/bb)

4. 在 GitHub 平臺的 **「OAuth Apps」** 頁面中點選 **「Register a new application」**，如下圖：
![](http://img.blog.itpub.net/blog/2019/01/07/54b1a42ca8661cac.png?x-oss-process=style/bb)

5. 在**「Register a new application」** 自定義一個應用名稱到 **"Application name"** ，在**“Homepage URL”** 和 **“Authorization callback URL”** 中填入 **“3)”** 對應的地址即可，點選 **「Register application」**：
![](http://img.blog.itpub.net/blog/2019/01/07/47f05baa051aa009.png?x-oss-process=style/bb)

6. 記錄 GitHub 生成 **“Client ID”** 和 **"Client Secret"** ，如下圖：
![](http://img.blog.itpub.net/blog/2019/01/07/2e17601a7f334253.png?x-oss-process=style/bb)

7. 回到 Rancher 設定「Pipelines」頁面中填入 GitHub 生成的 **“Client ID”** 和 **"Client Secret"** ，點選 **「Authenticate」** 進入授權頁面：
![](http://img.blog.itpub.net/blog/2019/01/07/e6330d57f1b2bb10.png?x-oss-process=style/bb)

8. 點選綠色按鈕授權：
![](http://img.blog.itpub.net/blog/2019/01/07/df7fe4371651ede8.png?x-oss-process=style/bb)

9. 輸入 GitHub 密碼完成授權：
![](http://img.blog.itpub.net/blog/2019/01/07/ad7afe1802d866e2.png?x-oss-process=style/bb)

10. 頁面自動回到 **「Repositories」**，此時會自動拉取您在 GitHub 上授權專案下所有的程式碼源，如圖：
![](http://img.blog.itpub.net/blog/2019/01/07/4050e5ec91e09c09.png?x-oss-process=style/bb)

11. 找到 **“rancher-pipeline-example-go.git”**，點選 **「Enable」** 啟用程式碼源授權：
![](http://img.blog.itpub.net/blog/2019/01/07/7ff22cca034a388c.png?x-oss-process=style/bb)

12. 點選底部 **「Done」** 完成程式碼源授權：
![](http://img.blog.itpub.net/blog/2019/01/07/e63f550f858232d6.png?x-oss-process=style/bb)

13. **「Pipelines」** 列表中會自動生成一個構建流水線，如圖：
![](http://img.blog.itpub.net/blog/2019/01/07/422e7837e9cc6020.png?x-oss-process=style/bb)

### 第三步：設定 Docker 倉庫

1. 登陸[滴滴雲](https://blog.didiyun.com)控制檯，頂部導航依次選擇 **「計算」** 和 **「容器映象服務」**，可以看到 **「我的倉庫」**，點選 **「建立倉庫」**：
![](http://img.blog.itpub.net/blog/2019/01/07/1461586ed218deb5.png?x-oss-process=style/bb)

2. 填寫名稱空間和倉庫名稱：
![](http://img.blog.itpub.net/blog/2019/01/07/2e24d1da801749f4.png?x-oss-process=style/bb)

3. 設定倉庫訪問密碼，此密碼用於從 Docker 客戶端登陸。在本文實操案例中會用於自動構建流水線將構建好的 Docker 映象上傳至[滴滴雲](https://blog.didiyun.com) Docker 映象倉庫中：
![](http://img.blog.itpub.net/blog/2019/01/07/896f799a7abd67c7.png?x-oss-process=style/bb)

4. 回到叢集頁面，選擇我們前面建立的專案，此案例中為 **「cicd-demo」**，選擇頂導 **「Resources」** -> **「Registries」**：
![](http://img.blog.itpub.net/blog/2019/01/07/4021ccf3ed975c1c.png?x-oss-process=style/bb)

5. 進入倉庫授權列表頁，點選 **「Add Registry」**：
![](http://img.blog.itpub.net/blog/2019/01/07/77d59e00fdb7e282.png?x-oss-process=style/bb)

6. 倉庫授權列表頁面點選 **「Add Registry」**，自定義填寫倉庫授權名稱， **「Address」** 選擇 **「Custom」**，填寫[滴滴雲](https://blog.didiyun.com)倉庫訪問地址，格式為 hub.didiyun.com/ 名稱空間， 此處 **"名稱空間"** 為步驟 **"2)"** 中填寫的名稱空間名稱。填寫使用者名稱和密碼，此處使用者名稱和密碼為步驟 **“3)”**中設定的使用者名稱和密碼：
![](http://img.blog.itpub.net/blog/2019/01/07/1207ef4a16ef9d06.png?x-oss-process=style/bb)

7. 設定完成後將自動返回列表頁，我們會看到列表頁多出一行倉庫資訊：
![](http://img.blog.itpub.net/blog/2019/01/07/ef871a964e86a683.png?x-oss-process=style/bb)

8. 回到 **「Pipelines」** 頁面繼續構建流水線：

### 第四步：建立並定義流水線

1. 在前面構建的 Pipeline下拉操作中選擇 **「Edit Config」** ，進行進入 Pipeline 編輯頁：
![](http://img.blog.itpub.net/blog/2019/01/07/42dce84ca6c6e83b.png?x-oss-process=style/bb)

2. 在 **「Edit Pipeline Configuration」** 中可以看到已經建立好了四個步驟，分別是：
   * 從倉庫獲取程式碼
   * 執行編譯/構建程式碼(可選，此案例為必須項)
   * 構建映象併發布到私有倉庫中
   * 從倉庫中拉取映象並部署到叢集中
   ![](http://img.blog.itpub.net/blog/2019/01/07/e11046f47c43be1d.png?x-oss-process=style/bb)
   * 下面分別展示各步驟細節：
     * 選擇 Pipeline 步驟型別、程式碼版本和編譯指令碼：
	![](http://img.blog.itpub.net/blog/2019/01/07/b7c98319f492a909.png?x-oss-process=style/bb)
     * 選擇構建與釋出映象選項，設定 Dockerfile 路徑、映象名稱，勾選 **「Push image to remote repository」** ，下拉選單中選擇前面設定好的[滴滴雲](https://blog.didiyun.com)倉庫地址：
	![](http://img.blog.itpub.net/blog/2019/01/07/a7ea6702d5f2a45f.png?x-oss-process=style/bb)
     * 選擇部署 YAML 型別，並設定部署配置檔案的路徑：
	![](http://img.blog.itpub.net/blog/2019/01/07/c1f58f3c5cff8ba0.png?x-oss-process=style/bb)

3. 設定構建提醒方式：
![](http://img.blog.itpub.net/blog/2019/01/07/c390200a7f26ee2c.png?x-oss-process=style/bb)

4. 設定流水線自動構建方式：
![](http://img.blog.itpub.net/blog/2019/01/07/25baa713e9c8a812.png?x-oss-process=style/bb)
![](http://img.blog.itpub.net/blog/2019/01/07/f5c1261069648a0e.png?x-oss-process=style/bb)

> 本文為了讓讀者儘快成功體驗自定義流水線的全流程，將案例程式碼、構建映象的 Dockerfile、用於部署的 deployment.yaml 都已經寫好。您可以嘗試根據自己的專案/程式碼編寫合適的 Dockerfile、deployment.yaml 和 Pipeline 流程。

### 第五步：手動構建

1. **「Pipelines」** 列表中選擇前面設定的構建流水線，點選右邊下拉選項中的 **「Run」**：
![](http://img.blog.itpub.net/blog/2019/01/07/9fb7d7738a4a2eee.png?x-oss-process=style/bb)

2. 選擇構建分支：
![](http://img.blog.itpub.net/blog/2019/01/07/1846e66acc4b333b.png?x-oss-process=style/bb)

3. 檢視構建進度與詳情：
![](http://img.blog.itpub.net/blog/2019/01/07/81fd7fa18cdcb610.png?x-oss-process=style/bb)

4. 構建成功&構建日誌：
![](http://img.blog.itpub.net/blog/2019/01/07/f9a620ada36dd233.png?x-oss-process=style/bb)

5. 第一次構建會比較慢，後端會自動部署構建 Pipeline 所必須的 Jenkins 引擎、Docker Registry 和 Minio，如下圖：
![](http://img.blog.itpub.net/blog/2019/01/07/79d649805d496dc1.png?x-oss-process=style/bb)
> 後續您的程式碼源有程式碼更新或版本更新時，Pipeline將根據您設定的自動構建策略自動釋出新版本到叢集應用中。

6. 進入[滴滴雲](https://blog.didiyun.com)控制檯可以看到，每自動構建一次，映象版本也會同時釋出一次到 Docker 映象倉庫中：
![](http://img.blog.itpub.net/blog/2019/01/07/ee1d5f54ecff482c.png?x-oss-process=style/bb)

### 結論

基於 Kubernetes 叢集可以非常便利的完成程式碼拉取、程式碼編譯/構建、Docker 映象構建、Docker 映象分發(釋出到私有或公有映象倉庫)、應用部署(從倉庫拉取映象並在叢集部署應用)，且可以根據您設定的自動構建策略完成自動化流程，參考本文步驟您可以同時構建多條 Pipeline 同時自動化構建您的應用程式，而無需關心細節。

### CI/CD 相關概念
* 持續整合 ( Continuous Integration, CI ) :  程式碼合併，構建，部署，測試都在一起，不斷地執行這個過程，並對結果反饋。
* 持續部署 ( Continuous Deployment, CD ) :　部署到測試環境、預生產環境、生成環境。　
* 持續部署 ( Continuous Delivery, CD ) :  將最終產品釋出到生成環境、給使用者使用。

> 寫在後面：據說完成應用釋出只完成了整個產品或服務的一半甚至更少，後面將會有漫長的監控、運維與迭代過程，後續即將推出一系列監控與運維實踐，此處先佔坑並預留連結地址： ** [《多 Kubernetes 叢集和多租戶環境中 Prometheus 搭建和使用監控指南》](https://github.com/anypm/anypm-kubernetes-tutorials-series/blob/master/how-to-create-use-prometheus-in-kubernetes-clusters.md)**

* 基於 Prometheus 的 Kubernetes 叢集治標監控
![](http://img.blog.itpub.net/blog/2019/01/07/d4fa3e7535f48b95.png?x-oss-process=style/bb)

* 基於 Prometheus 的 Kubernetes 節點指標監控
![](http://img.blog.itpub.net/blog/2019/01/07/0e2e1b9b8f722307.png?x-oss-process=style/bb)

* 基於 Grafana 的 Kubernetes 叢集
![](http://img.blog.itpub.net/blog/2019/01/07/9525ba3c61599852.png?x-oss-process=style/bb)

盡情期待哦：）

使用 Kubernetes 和滴滴雲 Docker 倉庫構建 CI/CD 流水線

相關文章