歡迎訪問我的GitHub
https://github.com/zq2599/blog_demos
內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；
關於GitLab CI
在《體驗SpringBoot(2.3)應用製作Docker映象(官方方案)》一文中，我們們掌握了SpringBoot官方推薦的映象構建方案，接下來要體驗的是GitLab的CI能力，它負責把程式碼變成私有倉庫中的映象，我們們可以專心編碼了；
GitLab CI的作用如下圖，開發者提交程式碼到GitLab後，就會觸發編譯、構建、製作映象、推送到倉庫這些事情，然後K8S環境就能用上最新的映象了：
本文內容
本文繼續堅持實戰的風格，和大家一起完成以下操作：
- 準備一個SpringBoot-2.3應用；
- 編寫GitLab的pipeline指令碼；
- 提交程式碼觸發pipeline指令碼的工作；
- K8S環境使用最新映象；
- 體驗GitLab如何將最新映象自動部署到K8S環境；
環境資訊
- GitLab：Community Edition 13.0.6
- GilLab Runner：13.1.0
- kubernetes：1.15.3
- SpringBoot：2.3.0.RELEASE
- JDK：1.8.0_121
- Maven：3.3.9
- Docker：19.03.8
- 作業系統：CentOS Linux release 7.8.2003
準備
實戰前需要您準備好以下環境：
- GitLab，參考《群暉DS218+部署GitLab》
- 私有映象倉庫，參考《群暉DS218+部署Harbor(1.10.3)》
- GitLab Runner，參考《GitLab Runner部署(kubernetes環境)》
- Kubernetes，參考《kubespray2.11安裝kubernetes1.15》
SpringBoot應用原始碼
本次實戰用的是普通的SpringBoot工程，如果您不打算寫程式碼，也可以從GitHub上下載本次實戰的原始碼，地址和連結資訊如下表所示：
| 名稱 | 連結 | 備註 |
|---|---|---|
| 專案主頁 | https://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 |
| git倉庫地址(https) | https://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址，https協議 |
| git倉庫地址(ssh) | git@github.com:zq2599/blog_demos.git | 該專案原始碼的倉庫地址，ssh協議 |
這個git專案中有多個資料夾，本章的應用在dockerlayerdemo資料夾下，如下圖所示：
實戰操作
- 建立名為dockerlayerdemo的SpringBoot專案，SpringBoot版本號為2.3.0.RELEASE，pom.xml內容如下：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.3.0.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.bolingcavalry</groupId>
<artifactId>dockerlayerdemo</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>dockerlayerdemo</name>
<description>Demo project for Spring Boot layer docker image</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
<exclusions>
<exclusion>
<groupId>org.junit.vintage</groupId>
<artifactId>junit-vintage-engine</artifactId>
</exclusion>
</exclusions>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<version>2.3.0.RELEASE</version>
<configuration>
<layers>
<enabled>true</enabled>
</layers>
</configuration>
</plugin>
</plugins>
</build>
</project>
- java程式碼並非重點，在application類中加了個http介面：
package com.bolingcavalry.dockerlayerdemo;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.Date;
@SpringBootApplication
@RestController
public class DockerlayerdemoApplication {
public static void main(String[] args) {
SpringApplication.run(DockerlayerdemoApplication.class, args);
}
@RequestMapping(value = "/hello")
public String hello(){
return "hello " + new Date();
}
}
- pom.xml所在目錄增加資料夾.m2，裡面放入settings.xml，這是maven的配置檔案，可以設定您的特殊的maven資訊；
- pom.xml所在目錄增加Dockerfile檔案，用於製作映象：
# 指定基礎映象，這是分階段構建的前期階段
FROM openjdk:8u212-jdk-stretch as builder
# 執行工作目錄
WORKDIR application
# 配置引數
ARG JAR_FILE=target/*.jar
# 將編譯構建得到的jar檔案複製到映象空間中
COPY ${JAR_FILE} application.jar
# 通過工具spring-boot-jarmode-layertools從application.jar中提取拆分後的構建結果
RUN java -Djarmode=layertools -jar application.jar extract
# 正式構建映象
FROM openjdk:8u212-jdk-stretch
WORKDIR application
# 前一階段從jar中提取除了多個檔案，這裡分別執行COPY命令複製到映象空間中，每次COPY都是一個layer
COPY --from=builder application/dependencies/ ./
COPY --from=builder application/spring-boot-loader/ ./
COPY --from=builder application/snapshot-dependencies/ ./
COPY --from=builder application/application/ ./
ENTRYPOINT ["java", "org.springframework.boot.loader.JarLauncher"]
- pom.xml所在目錄增加.gitlab-ci.yml檔案，這就是CI時的pipeline指令碼：
image: maven:3.6.3-jdk-8
variables:
MAVEN_CLI_OPTS: "-s .m2/settings.xml --batch-mode"
MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository"
# 定義快取
# 如果gitlab runner是shell或者docker，此快取功能沒有問題
# 如果是k8s環境，要確保已經設定了分散式檔案服務作為快取
cache:
key: dockerlayerdemo-ci-cache
paths:
- .m2/repository/
- target/*.jar
# 本次構建的階段：build package
stages:
- package
- build
# 生產jar的job
make_jar:
image: maven:3.6.3-jdk-8
stage: package
tags:
- k8s
script:
- echo "=============== 開始編譯原始碼，在target目錄生成jar檔案 ==============="
- mvn $MAVEN_CLI_OPTS clean compile package -Dmaven.test.skip=true
- echo "target資料夾" `ls target/`
# 生產映象的job
make_image:
image: docker:latest
stage: build
tags:
- k8s
script:
- echo "從快取中恢復的target資料夾" `ls target/`
- echo "=============== 登入Harbor ==============="
- docker login 192.168.50.43:5888 -u admin -p Harbor12345
- echo "=============== 打包Docker映象 ： " gitlabci-java-demo:$CI_COMMIT_SHORT_SHA "==============="
- docker build -t 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA .
- echo "=============== 推送到映象倉庫 ==============="
- docker push 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA
- echo "=============== 登出 ==============="
- docker logout
- echo "清理掉本次構建的jar檔案"
- rm -rf target/*.jar
關於以上pipeline指令碼，有下面五點需要注意：
第一：關於cache，如果您的gitlab runner是shell或者docker型別就無需關注，cache是直接生效的，但如果您的gitlab runner是K8S那就要注意了，需要在gitlab runner中填寫cache相關的配置，讓分散式檔案服務作為cache的底層實現；
第二：一共定義了兩個stage：package和build，順序是先package再build，注意生成jar的job一定要是package，使用jar構建映象的job要是build，這樣在構建映象的時候才能順利從快取中取得jar；
第三：make_image這個job的指令碼中，會執行登入私有映象倉庫的操作，為了操作方便，登入的賬號密碼都是直接寫在指令碼里面的，實際使用時請不要這樣做，建議使用Harbor的機器人賬號密碼，並且寫入GitLab CI的環境變數配置頁面，而不是直接寫在pipeline指令碼中
第四：tags引數用來和已有的GitLab Runner匹配，請按照您自己的runner的情況設定；
第五：生成docker映象的tag等於$CI_COMMIT_SHORT_SHA，這是本次提交的commit id，因此，每次提交都會導致映象倉庫中多一個映象，其tag等於commit id；
- 最終整個工程的內容如下：
至此，所有開發工作已經完成，接下來驗證執行情況；
驗證CI
- 將所有內容提交到GitLab，如果CI環境配置OK的話會立即觸發構建，下圖是構建成功的效果：
2. 先來看make_jar的執行情況，如下圖，SpringBoot工程成功構建出jar檔案：
3. 再看make_image執行情況，如下圖：
4. 映象製作成功後，開始推送到harbor：
5. 最終完成推送，並且清理殘留檔案：
6. 最後看看pipeline的整體情況，如下圖：
7. 從上圖可知commit id是02307851，因此Harbor中應該有tag等於02307851的映象，登入Harbor檢視，如下圖紅框：
在K8S環境驗證
接下來要在K8S環境驗證之前的映象可以正常執行：
- SSH登入K8S環境，執行以下命令，用最新的映象建立deployment：
kubectl create deployment dockerlayerdemo \
--image=192.168.50.43:5888/common/gitlabci-java-demo:02307851
- 執行以下命令建立NodePort型別的service：
kubectl create service nodeport \
dockerlayerdemo --tcp 8080:8080
- 瀏覽器訪問http://192.168.50.135:31685/hello ，其中192.168.50.135是K8S宿主機的IP地址，如下圖，可以正常訪問SpringBoot服務：
GitLab CI的價值
文章看到這裡，我們們pipeline指令碼也寫了，映象有了，K8S上部署的服務也驗證了，這就結束了嗎？
---還沒有，我們們來感受一下從修改程式碼到K8S環境上生效的流程：
- 修改java程式碼，如下圖：
- 提交程式碼：
- 順利生成映象：
4. 在K8S環境執行以下命令即可完成映象更新：
kubectl set image deployment dockerlayerdemo \
gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:8735c78d
- 上述命令中的gitlabci-java-demo來自kubectl describe deployment dockerlayerdemo結果中，顯示的容器名稱，如下圖紅框：
- 系統提示更新成功：
- 再次用瀏覽器訪問相同的地址，如下圖紅框，修改的程式碼已經生效：
可見藉助GitLab CI，編碼到部署之間的過程已被簡化，可以更加專注的擼碼了；
體驗CD？
除了持續整合(CI)，還可以把持續部署(CD)也加入到pipeline指令碼中，這樣我們只需提交程式碼，對應的映象會被自動部署到K8S環境；
- 開啟.gitlab-ci.yml，增加一個stage定義deploy，如下所示，現在一共有三個stage了：
stages:
- package
- build
- deploy
- 再在尾部增加一個job，如下所示，映象名為ictu/sshpass:latest，該映象內建了sshpass，可以ssh連線到K8S環境，執行kubectl set image XXX命令更新映象，注意包裹kubectl set image命令的是雙引號，這個很重要，只有用雙引號時裡面的$TAG才會被替換成對應的值：
# 生產映象的job
deploy_k8s:
# 禁用cache，避免上傳、下載、壓縮、解壓縮帶來的開銷
cache: {}
image: ictu/sshpass:latest
stage: deploy
tags:
- k8s
script:
- export TAG=$CI_COMMIT_SHORT_SHA
- echo "TAG is "$TAG
- sshpass -p 888888 ssh -o "StrictHostKeyChecking no" root@192.168.50.135 "kubectl set image deployment dockerlayerdemo gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:$TAG"
- 再次提醒，上面的指令碼中，賬號、IP和密碼都應該放入GitLab的引數設定頁面，而不該直接寫入pipeline指令碼中；
- 如下圖，再次修改java檔案，將hello返回結果改為abcdef：
5. 提交程式碼後，可以在CI頁面觀察新增job的執行過程；
6. 指令碼完成後，開啟瀏覽器試試，果然已經更新：
至此，CI和CD都驗證通過，可見GitLab的CI能力給我們的日常開發帶來了不少便利，也希望本文能給您帶來一些參考；
你不孤單，欣宸原創一路相伴
歡迎關注公眾號：程式設計師欣宸
微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos