### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 基於Spring Boot框架的應用如何在kubernetes環境部署，是沿用Docker容器的做法還是另有其他？接下來我們們從理論到設計再到實戰，一起來感受傳統後臺應用在容器環境的微妙變化；

### Spring Boot應用
- 基於Spring Boot框架的應用，通常會構建成XXX.jar檔案，執行java -jar XXX.jar來執行該應用；

### Docker下的Spring Boot應用映象
- Docker環境下，通常用Maven的docker-maven-plugin外掛將應用打包成映象，例如以java:8u111-jdk作為基礎映象再加入jar檔案，這樣容器啟動的時候執行java -jar XXX.jar就能將應用執行起來了；

### 傳統思路
- Spring Boot應用映象在kubernetes宣告為Pod，即可正常執行；

- 但是，這是合適的做法麼？去K8S官網需要一些理論上的指導吧；

### 尋找官方的理論依據
- 官方文件地址：https://kubernetes.io/docs/concepts/workloads/pods/pod-overview/

- 其中對Pod中多個容器的關係描述如下：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656372923421123716.png)

- 上圖紅框中提到一個容器基於共享資源對外提供服務，另一個"sidecar"容器負責更新這些共享資源；

- 在Kubernetes中文社群的文件中也對此作了闡述，地址是：http://docs.kubernetes.org.cn/312.html

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656372940381843403.png)

- 在提到Pod中的sidecar模式時，官方文件用到"relatively advanced"來形容，進一步證實了當下該模式的正確性，如下圖：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656372951543570677.png)

- 具體的實現模型如下圖：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656372964783596416.png)

### Spring Boot應用的sidecar設計
- 根據kubernetes官方文件的指導，再結合SpringBoot應用的特點，我設計出的sidecar部署方式如下：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656372976877185653.png)

- 該應用的業務服務被封裝在一個Pod定義中，該Pod由兩個容器組成；
- 綠色容器是來自OpenJDK 官方映象：openjdk:8u181-jre-alpine3.8，用docker history命令檢視體積，幾十兆不算大：

```shell
[root@localhost work]# docker history openjdk:8u181-jre-alpine3.8
IMAGE CREATED CREATED BY SIZE COMMENT
2e01f547f003 12 days ago /bin/sh -c set -x && apk add --no-cache ... 78.6 MB 
<missing> 12 days ago /bin/sh -c #(nop) ENV JAVA_ALPINE_VERSION... 0 B 
<missing> 12 days ago /bin/sh -c #(nop) ENV JAVA_VERSION=8u181 0 B 
<missing> 7 weeks ago /bin/sh -c #(nop) ENV PATH=/usr/local/sbi... 0 B 
<missing> 7 weeks ago /bin/sh -c #(nop) ENV JAVA_HOME=/usr/lib/... 0 B 
<missing> 7 weeks ago /bin/sh -c { echo '#!/bin/sh'; echo 's... 87 B 
<missing> 7 weeks ago /bin/sh -c #(nop) ENV LANG=C.UTF-8 0 B 
<missing> 7 weeks ago /bin/sh -c #(nop) CMD ["/bin/sh"] 0 B 
<missing> 7 weeks ago /bin/sh -c #(nop) ADD file:25c10b1d1b41d46... 4.41 MB
```

- 之所以要用jre-alpine版本，是因為8u181-jdk版本相比之下大了很多，如下所示：

```shell
[root@localhost work]# docker history openjdk:8u181-jdk
IMAGE CREATED CREATED BY SIZE COMMENT
954739b8bdfb 7 days ago /bin/sh -c /var/lib/dpkg/info/ca-certifica... 355 kB 
<missing> 7 days ago /bin/sh -c set -ex; if [ ! -d /usr/share... 348 MB 
<missing> 7 days ago /bin/sh -c #(nop) ENV CA_CERTIFICATES_JAV... 0 B 
<missing> 7 days ago /bin/sh -c #(nop) ENV JAVA_DEBIAN_VERSION... 0 B 
<missing> 3 weeks ago /bin/sh -c #(nop) ENV JAVA_VERSION=8u181 0 B 
<missing> 3 weeks ago /bin/sh -c #(nop) ENV JAVA_HOME=/docker-j... 0 B 
<missing> 3 weeks ago /bin/sh -c ln -svT "/usr/lib/jvm/java-8-op... 33 B 
<missing> 3 weeks ago /bin/sh -c { echo '#!/bin/sh'; echo 's... 87 B 
<missing> 3 weeks ago /bin/sh -c #(nop) ENV LANG=C.UTF-8 0 B 
<missing> 3 weeks ago /bin/sh -c apt-get update && apt-get insta... 2.21 MB 
<missing> 3 weeks ago /bin/sh -c apt-get update && apt-get insta... 142 MB 
<missing> 3 weeks ago /bin/sh -c set -ex; if ! command -v gpg >... 7.8 MB 
<missing> 3 weeks ago /bin/sh -c apt-get update && apt-get insta... 23.2 MB 
<missing> 3 weeks ago /bin/sh -c #(nop) CMD ["bash"] 0 B 
<missing> 3 weeks ago /bin/sh -c #(nop) ADD file:b3598c18dc39584... 101 MB 
```
- 紅色容器的映象是用Spring Boot應用構建出來的，稍後再詳細整個過程；
- 在kubernetes環境，這兩個容器會掛載同一個Volume，紅色容器將jar放在此處，綠色容器使用此處的jar；
- 紅色容器用來提供jar，沒有程式需要保持執行狀態，很適合設定為Init Container型別；
- 綠色容器的java程式是長久執行的；

- 以上就是整體設計思路，接下來我們們就來實戰吧，分三步完成：

### 實戰步驟列舉
- 本次實戰分為以下幾部分組成：
- 開發Spring Boot應用；
- 製作Docker映象，做兩個版本，以便驗證升級；
- 編寫yaml檔案； 
- 在kubernetes環境部署，驗證；
- 升級版本，驗證；

### 環境和版本資訊
1. 編譯構建的jdk和執行的jre都用1.8版本；
2. maven：3.3.3；
3. spring boot：2.1.0.RELEASE；
4. docker：1.13.1；
5. kubernetes：1.12.2；

- 本次實戰一共有四臺CentOS7機器，基本資訊如下：

| hostname      |   IP地址 |   身份|   配置|
| :-------- | :----| :----| :----|
| localhost| 192.168.119.157 | master，主控節點 | 雙核，2G記憶體 |
| node1| 192.168.119.156 | node，一號業務節點 | 雙核，4G記憶體 |
| node2| 192.168.119.159 | node，二號業務節點 | 雙核，2G記憶體 |
| maven| 192.168.119.155 | 負責編譯構建Spring Boot應用 | 雙核，2G記憶體 |

- kubernetes環境由localhost、node1、node2三臺機器組成，maven負責編譯構建、生成映象、上傳到映象倉庫等操作；

### 開發Spring Boot應用
- 這是個簡單的Spring Boot應用，對外提供一個http介面，返回一個字串；

- 您可以選擇直接從GitHub下載這個工程的原始碼，地址和連結資訊如下表所示：

| 名稱      |   連結 |   備註|
| :-------- | :----| :----|
| 專案主頁| https://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 |
| git倉庫地址(https)| https://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址，https協議 |
| git倉庫地址(ssh)| git@github.com:zq2599/blog_demos.git | 該專案原始碼的倉庫地址，ssh協議 |

- 這個git專案中有多個資料夾，本章原始碼在springbootsidecardemo這個資料夾下，如下圖紅框所示：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656373002767403729.png)

- 您也可以隨本文一起來開發這個應用：
- 應用名為springbootsidecardemo，是用maven構建的，JDK使用1.8，Spring Boot版本2.1.0.RELEASE；
- 應用的pom.xml如下，為了構建Docker映象使用了docker-maven-plugin外掛，該外掛具體的配置請參照下面的註釋：

```xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemalocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
 <modelversion>4.0.0</modelversion>

<groupid>com.bolingcavalry</groupid>
 <artifactid>springbootsidecardemo</artifactid>
 <version>0.0.1</version>
 <packaging>jar</packaging>

<name>springbootsidecardemo</name>
 <description>Demo project for Spring Boot sidecard demo in K8S</description>

<parent>
 <groupid>org.springframework.boot</groupid>
 <artifactid>spring-boot-starter-parent</artifactid>
 <version>2.1.0.RELEASE</version>
 <relativepath></relativepath> 
 </parent>

<dependencies>
 <dependency>
 <groupid>org.springframework.boot</groupid>
 <artifactid>spring-boot-starter-web</artifactid>
 </dependency>

<dependency>
 <groupid>org.springframework.boot</groupid>
 <artifactid>spring-boot-starter-test</artifactid>
 <scope>test</scope>
 </dependency>
 </dependencies>

<build>
 <finalname>app</finalname>
 <plugins>
 <plugin>
 <groupid>org.springframework.boot</groupid>
 <artifactid>spring-boot-maven-plugin</artifactid>
 </plugin>

<plugin>
 <groupid>com.spotify</groupid>
 <artifactid>docker-maven-plugin</artifactid>
 <version>0.4.12</version>
 
 <configuration>
 
 <imagename>bolingcavalry/${project.artifactId}</imagename>
 
 <imagetags>
 <imagetag>${project.version}</imagetag>
 </imagetags>
 
 <baseimage>busybox</baseimage>
 
 <resources>
 <resource>
 <targetpath>/</targetpath>
 <directory>${project.build.directory}</directory>
 <include>app.jar</include>
 </resource>
 </resources>
 </configuration>
 </plugin>
 </plugins>
 </build>
</project>
```
- 上面的配置有一處需要注意，就是基礎映象的選擇（就是baseImage節點中的內容），我用了busybox，用它是因為夠小，來看docker映象倉庫中的描述，地址是https://hub.docker.com/_/busybox/：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656373022807687787.png)

- 看到這裡，可能會有朋友問"為什麼不用scratch？它比busybox更小"，scratch雖小，但不帶基本的shell命令，例如cp命令，而後容器啟動時要用cp命令對檔案做複製操作，因此只能選擇busybox了；

- Controller類的程式碼也很簡單：

```java
package com.bolingcavalry.springbootsidecardemo.controller;

import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Date;

/**
 * @Description: 一個最普通的Controller，hello介面返回一個字串並帶上當前時間
 * @author: willzhao E-mail: zq2599@gmail.com
 * @date: 2018/11/6 14:15
 */
@RestController
public class HelloController {

@RequestMapping(value = "/hello")
    public String hello(){
        return "Hello version 1.0 " + new Date();
    }
}
```

### 製作應用的Docker映象
- 請確保您當前環境的maven和Docker都已經OK了；
- 在應用的pom.xml所在目錄執行如下命令即可構建Docker映象：

```shell
mvn clean package -U -DskipTests docker:build
```

- 構建成功的控制檯輸出如下：

```shell
[INFO] Building image bolingcavalry/springbootsidecardemo
[INFO] Building image bolingcavalry/springbootsidecardemo
Step 1/2 : FROM busybox
 ---> 59788edf1f3e
Step 2/2 : ADD /app.jar //
 ---> 8105c9ac033b
Removing intermediate container fdc62513abf6
Successfully built 8105c9ac033b
[INFO] Built bolingcavalry/springbootsidecardemo
[INFO] Tagging bolingcavalry/springbootsidecardemo with 0.0.1
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 5.354 s
[INFO] Finished at: 2018-11-06T05:07:08-08:00
[INFO] Final Memory: 42M/225M
[INFO] ------------------------------------------------------------------------
```

- 構建成功後用docker history命令檢視映象，如下，三個layer組成：

```shell
root@maven:~# docker history bolingcavalry/springbootsidecardemo:0.0.1
IMAGE CREATED CREATED BY SIZE COMMENT
8105c9ac033b 46 minutes ago /bin/sh -c #(nop) ADD file:909ca8e9c8898cd... 16.6 MB 
59788edf1f3e 4 weeks ago /bin/sh -c #(nop) CMD ["sh"] 0 B 
<missing> 4 weeks ago /bin/sh -c #(nop) ADD file:63eebd629a5f755... 1.15 MB
```

- 去工程的target目錄下看看構建的app.jar檔案，如下所示，也是16兆，所以這個映象已經被做到最小了，相對於以前那種JAVA環境+jar檔案的映象，這個映象更易於下載和上傳：

```shell
root@maven:/usr/local/work/github/blog_demos/springbootsidecardemo/target# ls -al
total 16276
drwxr-xr-x 9 root root     4096 Nov  6 05:08 .
drwxr-xr-x 5 root root     4096 Nov  6 05:29 ..
-rw-r--r-- 1 root root 16621351 Nov  6 05:08 app.jar
-rw-r--r-- 1 root root     4432 Nov  6 05:08 app.jar.original
drwxr-xr-x 3 root root     4096 Nov  6 05:08 classes
drwxr-xr-x 2 root root     4096 Nov  6 05:08 docker
drwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-sources
drwxr-xr-x 3 root root     4096 Nov  6 05:08 generated-test-sources
drwxr-xr-x 2 root root     4096 Nov  6 05:08 maven-archiver
drwxr-xr-x 3 root root     4096 Nov  6 05:08 maven-status
drwxr-xr-x 3 root root     4096 Nov  6 05:08 test-classes
```

- 執行docker push命令，將映象推送到映象倉庫中，我這裡是推送到了hub.docker.com，您可以根據實際情況來執行，例如私有倉庫、阿里雲等都可以，當然了，如果當前機器就是K8S的機器就不用推送了，畢竟此映象就是在K8S環境用的；

- 如果覺得推送到倉庫太慢，或者從倉庫下載太慢，也可以使用檔案匯入匯出的方式，具體操作如下：

```shell
#將映象匯出為tar檔案
docker save 2e01f547f003 > 1.tar

###將tar檔案還原為映象
docker load < 1.tar

###還原後的映象的名稱和tag都不對，要用tag命令來設定
docker tag 8105c9ac033b bolingcavalry/springbootsidecardemo:0.0.1
```

### 製作應用升級版的Docker映象
- 為了驗證K8S下的應用升級，做好tag為0.0.1的映象之後，我們改動應用程式碼，把pom.xml中的版本改成0.0.2，然後再做個映象，這樣稍後在K8S就能驗證Pod升級了；
- 修改HelloController.java的原始碼，hello方法返回的字串，之前是Hello version 1.0，現在改成Hello version 2.0；
- 修改pom.xml中的version節點，之前是0.0.1，現在改成0.0.2，由於我們已配置了映象tag就是工程版本，因此新構建的映象tag會是0.0.2；
- 再次執行maven命令構建，然後推送到映象倉庫；
- 此時我們有兩個映象了：

```shell
root@maven:~# docker images | grep sidecar
bolingcavalry/springbootsidecardemo                                 0.0.2        f6ba01c33388        11 hours ago        17.8 MB
bolingcavalry/springbootsidecardemo                                 0.0.1        8105c9ac033b        11 hours ago        17.8 MB
```

- 現在映象已經OK，該準備部署到kubernetes環境了；

### 編寫yaml檔案
- 在可以執行kubectl命令的機器上編寫配置檔案，Pod的配置javaweb-deploy.yaml檔案內容如下：

```yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: javaweb
spec:
  replicas: 1
  template:
    metadata:
     labels:
      name: javaweb
    spec:
     initContainers:
     - image: bolingcavalry/springbootsidecardemo:0.0.1
       name: appjar
       command: ["cp", "/app.jar", "/app"]
       volumeMounts:
       - mountPath: /app
         name: app-volume
     containers:
     - image: openjdk:8u181-jre-alpine3.8
       name: openjdk8u181
       command: ["java","-jar","/webapp/app.jar"]
       volumeMounts:
       - mountPath: /webapp
         name: app-volume
       ports:
       - containerPort: 8080
     volumes:
     - name: app-volume
       emptyDir: {}
```

- 從上述配置中，有兩處需要注意：
- 第一，應用映象被設定為initConteiners型別的容器，被設定執行cp命令將自己的app.jar檔案複製到共享的 Volume；
- 第二，一直執行用於提供服務的容器，來自openjdk映象的java程式，該程式載入的jar檔案就是共享的 Volume中的app.jar；

- 為了能在瀏覽器上訪問該應用，再部署個service，其配置檔案javaweb-svc.yaml的內容如下：

```yaml
apiVersion: v1
kind: Service
metadata:
  name: javaweb
spec:
  type: NodePort
  ports:
       - port: 8080
         nodePort: 30008
  selector:
    name: javaweb
```

- 啟動pod和service，在前面的yaml檔案所在目錄執行命令如下：

```shell
kubectl create -f javaweb-deploy.yaml \
&& kubectl create -f javaweb-svc.yaml
```

- service的型別是NodePort，因此可以透過Node節點的IP地址訪問服務，我這邊Node地址為192.168.119.159，因此訪問地址就是：http://192.168.119.159:30008/hello ，在瀏覽器訪問返回如下內容：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656373048940819977.png)

- 符合預期，證明主容器加sidecar容器的組合方式是可以正常工作的，接下來試試升級；

### 升級版本
- 接下來模擬生產環境的應用升級，前面準好了兩個版本的應用映象：0.0.1和0.0.2，現在K8S環境執行的是0.0.1，我們們將其升級為0.0.2：
- 修改javaweb-deploy.yaml檔案中映象的tag，從0.0.1改成0.0.2，如下圖紅框所示：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656373066543585120.png)

- 在javaweb-deploy.yaml檔案所在目錄執行如下命令即可完成升級：

```shell
kubectl apply -f javaweb-deploy.yaml
```

- 在瀏覽器訪問http://192.168.119.159:30008/hello，返回如下內容，可見的確是修改後的應用邏輯：

![image.png](https://bbs-img.huaweicloud.com/blogs/img/20220628/1656373085475492491.png)

- 升級成功，符合預期；

### 小結
- sidecar模式下，僅需更新應用jar打包的映象，這個映象可以做到極小；
- 提供java程式的映象是固定的，在K8S環境下，一個Node上實際執行著多種pod，如果他們的java程式都由一個映象提供，其好處是不言而喻的；
- Spring Boot應用的執行，是由java程式與應用jar檔案組成的，很適合sidecar模式，透過容器解耦，透過pod對外服務；

- 至此，Spring Boot應用在kubernetes的sidecar設計與實戰就全部完成了，希望此文能助您將應用以sidecar模式部署在kubernetes，如果您發現我對官網的指導內容理解有誤或有偏差，歡迎您的熱心指正，謝謝！

### 參考文件
- 下面是文中涉及到的一些知識點的細節，歡迎點選參考：

- Docker下構建java應用映象：
- [《maven構建docker映象三部曲之一：準備環境》](https://bbs.huaweicloud.com/blogs/350613)；
- [《maven構建docker映象三部曲之二：編碼和構建映象》](https://bbs.huaweicloud.com/blogs/350907)；
- [《maven構建docker映象三部曲之三：推送到遠端倉庫(內網和阿里雲)》](https://bbs.huaweicloud.com/blogs/350981)；

- kubernetes上部署應用和升級：
- [《kubernetes下的Nginx加Tomcat三部曲之一：極速體驗》](http://blog.itpub.net/70017844/viewspace-2895291/)；
- [《kubernetes下的Nginx加Tomcat三部曲之二：細說開發》](http://blog.itpub.net/70017844/viewspace-2895292/)；
- [《kubernetes下的Nginx加Tomcat三部曲之三：實戰擴容和升級》](http://blog.itpub.net/70017844/viewspace-2895293/)；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)</missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing></missing>

Spring Boot應用在kubernetes的sidecar設計與實戰

相關文章