## 前言

應對敏捷開發的需求，對CI(持續整合))/CD（持續交付）的提出了更高的標準，今天來討論下，如何基於開源元件（gitlab/jenkins/harbor/kubernetes）使用CI/CD，賦能團隊的開發、運維。

## 核心元件

| 元件名稱   | 版本    | 備註                          |
| ---------- | ------- | ----------------------------- |
| kubernetes | v1.15.3 | 10.0.0.182:6443               |
| jenkins    | 2.176.2 | 叢集內部署/ namespace: devops |
| gitlab     | 11.8    | 主機部署                      |
| harbor     | v1.7.4  | docker-compose部署            |

## 基本流程

1. 在GitLab建立對應的專案。
2. 開發者將程式碼提交到GitLab。
3. Jenkins建立對應的任務（Job），整合該專案的Git地址和Kubernetes叢集。
4. 如有配置鉤子，推送（Push）程式碼會自動觸發Jenkins構建，如沒有配置鉤子，需要手動構建。
5. Jenkins控制Kubernetes（使用的是Kubernetes外掛）建立Jenkins Slave。
6. Jenkins Slave根據流水線（Pipeline）定義的步驟執行構建。
   1. 檢出程式碼、打包、編譯。
   2. 透過Dockerfile生成映象。
   3. 將映象提送（Push）到私有Harbor。
   4. Jenkins再次控制Kubernetes進行最新的映象部署。

__注__:

- 上面所述為一般步驟，中間還可能會涉及自動化測試等步驟，可自行根據業務場景新增。
- 上面流水線步驟一般由應用程式碼庫的根目錄下Jenkinsfile決定，Jenkins會自動讀取該檔案；另外如果需要對具體的應用流水線實施強管控，可以獨立管理jenkinsfile模板，然後根據jenkins API介面即時生成流水線。
- 預設使用的Dockerfile放置在程式碼倉庫的根目錄下。

## 元件部署

2. kubernetes [Kubernetes系列第3篇 Kubernetes叢集安裝部署](http://blog.itpub.net/69947382/viewspace-2656666/)
2. gitlab [無忌過招:手把手教你搭建自己的GitLab庫](http://blog.itpub.net/69947382/viewspace-2657353/)
3. harbor [安裝配置指南](https://github.com/goharbor/harbor/blob/v1.7.4/docs/installation_guide.md)
4. jenkins

_注_: 本文主要說明下jenkins的部署及配置，其他元件如果你部署有問題，歡迎留言。

## Jenkins 部署及配置

_說明_:

- 以下的yaml檔案均在 k8s master節點的 /home/jenkins_deploy目錄下，
- 部署示例的depployment.yaml 的註解
  - `nodeName ipaddress` , ipaddress 請確認其為一個有效的ip.
  - 示例中jenkins的目錄 `/var/jenkins_home` 是直接掛載到host_path, 如果你有條件，建議替換為共享儲存。
  - 因使用的jenkins-master 的基礎映象來自公網，需要k8s maste 節點也要可以訪問外網，或者你可以將 `jenkins/jenkins:lts-alpine` 推送至自己的內網映象倉庫。
- 部署示例的ingress.yaml 的註解
  - 需要你也需要辦公網（叢集外）訪問，請將`jenkins.dev.hanker.net`, 改為有效的域名地址，或是你也可以透過`NodePort`的形式宣告 service，就可以直接透過`ip:port`的形式訪問jenkins了。

### 1. 準備部署yaml

- deployment.yaml

```
apiVersion: v1
kind: Namespace
metadata:
  name: devops
  
# Deployment 
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: jenkins
  namespace: devops
spec:
  replicas: 1
  revisionHistoryLimit: 3
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      nodeName: 1.1.1.1
      serviceAccountName: jenkins-admin
      containers:
      - image: jenkins/jenkins:lts-alpine
        imagePullPolicy: IfNotPresent
        name: jenkins
        volumeMounts:
        - name: jenkins-volume
          mountPath: /var/jenkins_home
        - name: jenkins-localtime
          mountPath: /etc/localtime
        env:
          - name: JAVA_OPTS
            value: '-Xms256m -Xmx1024m -Duser.timezone=Asia/Shanghai'
          - name: TRY_UPGRADE_IF_NO_MARKER
            value: 'true'
        ports:
        - name: http
          containerPort: 8080
        - name: agent
          containerPort: 50000
        resources:
          requests:
            cpu: 1000m
            memory: 1Gi
          limits:
            cpu: 1200m
            memory: 2Gi
      volumes:
        - name: jenkins-localtime
          hostPath:
            path: /etc/localtime
        - name: jenkins-volume
          hostPath:
            path: /home/jenkins/jenkins_home
```

- 配置service, services.yaml

```
---
apiVersion: v1
kind: Service
metadata:
  name: jenkins-service
  namespace: devops
spec:
  ports:
  - name: http
    protocol: TCP
    port: 8080
    targetPort: 8080
  - port: 50000
    targetPort: 50000
    name: agent
  selector:
    app: jenkins
```

- 授權jenkins對k8s的訪問 rbac.yaml

```
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    k8s-app: jenkins
  name: jenkins-admin
  namespace: devops

---

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: jenkins-rbac
  namespace: devops
rules:
  - apiGroups: ["","extensions","app"]
    resources: ["pods","pods/exec","deployments","replicasets"]
    verbs: ["get","list","watch","create","update","patch","delete"]

---

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: jenkins-admin
  namespace: devops
  labels:
    k8s-app: jenkins
subjects:
  - kind: ServiceAccount
    name: jenkins-admin
    namespace: devops
roleRef:
  kind: ClusterRole
  name: jenkins-rbac
  apiGroup: rbac.authorization.k8s.io
```

- 為了便於辦公網（叢集外）訪問，ingress.yaml

```
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: jenkins-ingress
  namespace: devops
spec:
  rules:
  - host: jenkins.dev.hanker.net
    http:
      paths:
      - backend:
          serviceName: jenkins-service
          servicePort: 8080
        path: /
```

### 2. 應用yaml，部署jenkins

```
$ pwd
$ /home/jenkins_deploy
$ kubectl apply -f *.yaml
```

### 3. 確認jenkins 服務狀態

```
[root@node0 jenkins_deploy]# kubectl -n devops get deployment jenkins
NAME      READY   UP-TO-DATE   AVAILABLE   AGE
jenkins   1/1     1            1           51d
[root@node0 jenkins_deploy]# 
```

### 4. 訪問jenkins 安裝外掛、設定

_注:_ 步驟1 宣告的域名 `jenkins.dev.hanker.net` 已經解析至ingress，故可直接訪問； 如果你也想透過自定義域名訪問jenkins，麻請解析至正確的ingress服務節點，即可。

1. 確認你也已經安裝了kubernetes/ kubernetes cli 外掛

_操作指引_： 【Manage Jenkins】 -> 【Manage Plugins】

你應該可以透過類似的指令獲取jenkins-master的密碼

```
$ kubectl -n devops exec jenkins-pod-name cat /var/jenkins_home/secrets/initialAdminPassword
```

![](http://img.blog.itpub.net/blog/2019/10/24/59ff1525996ba455.jpeg?x-oss-process=style/bb)

2. 配置Kubernetes 外掛

_操作指引_： 【Manage Jenkins】->【Configure System】

![](http://img.blog.itpub.net/blog/2019/10/24/dbf0af27d91f5b5a.jpeg?x-oss-process=style/bb)
![](http://img.blog.itpub.net/blog/2019/10/24/c2fc1adea2a980d1.png?x-oss-process=style/bb)

_圖中標註：_

1. 請修改為你所在環境對應的k8s master
2. 宣告jenkins-agent 的命令空間，也可以根據需要調整；
3. jenkins-master的訪問地址，本示例使用的是 service-name的形式訪問。
4. 測試與k8s分享群的連線情況。如果你獲取到『
   Connection test successful』，恭喜你可以繼續。
5. 配置Kubernetes Pod Template

![](http://img.blog.itpub.net/blog/2019/10/24/dba529609d79ef3c.png?x-oss-process=style/bb)

_圖中標註：_

1. 設定基礎的jenkins-agent映象；
2. 指定工作目錄；
   - 如果你需要下載、匯出或是快取構建的話，指定一個為共享儲存的目錄就很有意義了。
3. 設定目錄掛載
   - 如步驟2如說，你可以將宿主機的目錄或是網路儲存掛載至jenkins-agent.

【Kubernetes系列】第7篇 CI/CD之元件部署

相關文章