### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### K8S環境的Jenkin效能問題處理
- 本文是[《K8S環境的Jenkin效能問題處理》](https://xinchen.blog.csdn.net/article/details/105005245)的續篇，上一篇解決了Jenkins叢集中的Master節點的效能問題，但是真正執行任務的並非Master節點，而是為每個任務臨時建立的Pod，這些Pod的效能問題決定著任務的快慢甚至成敗；
### 環境資訊
1. 硬體：三臺CentOS 7.7伺服器
2. kubernetes：1.15
3. JDK：1.8.0_141
4. maven：3.6.3

- 在K8S環境部署和使用Jenkins的細節請參考[《Helm部署和體驗jenkins》](https://xinchen.blog.csdn.net/article/details/103670976)
### 任務節點的效能問題
- Java程式設計師常用Jenkins編譯構建Maven專案，如果構建引數用的是預設配置，很容易出現效能問題，接下來就用開源專案來重現此問題：
- 在配置Jenkins的kubernetes外掛時，給任務pod分配的記憶體是1G，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2020032916522488.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 接下來從GitHub下載Flink的原始碼（1.8.3-rc3版本），然後編譯構建，本次任務對應的pipeline原始碼如下：
```pipeline
pipeline {
  agent {
    label 'my-jenkins-jenkins-slave'
  }

tools {
    maven 'mvn-3.6.3'
  }

stages {
    stage('Checkout') {
      steps {
        echo '從GitHub下載flink工程的原始碼(1.8.3-rc3歸檔包)'
        sh 'wget https://codeload.github.com/apache/flink/tar.gz/release-1.8.3-rc3'
        echo '下載結束，解壓歸檔包'
        sh 'tar -zxf release-1.8.3-rc3'
      }
    }

stage('Build') {
      steps {
        echo '開始編譯構建'
        sh 'cd flink-release-1.8.3-rc3 && mvn clean package -U -s /home/jenkins/settings/settings.xml'
      }
    }
  }
}
```
- 在執行編譯構建任務過程中，點選下圖紅框中的灰色圓球，即可跳轉到執行任務的Pod的日誌頁面：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329165402481.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 下圖就是Pod日誌頁面，紅框內顯示任務出現了異常，(此時正在執行單元測試用例）
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329165426225.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 如下圖紅框所示，執行任務的Pod顯示為離線狀態：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329165442269.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 此時登入到kubernetes環境，檢視Pod狀態，如下圖紅框所示，執行任務的Pod狀態為OOMKilled，看來是記憶體不足導致Podl被銷燬了：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329165458464.png)
### 第一次調節(K8S引數)
- 由於Pod記憶體過小導致任務失敗，可以在Jenkins的設定頁面調節Pod記憶體，如下圖所示，這次設定到6G，注意不要超出宿主機的硬體配置：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329165535680.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 重複執行一次上述任務，這一次記憶體充足因而構建成功；
### 觀察
- 由於本次任務主要是執行maven編譯構建，因此有必要了解一下maven程式的記憶體使用情況：
- 在任務執行的過程中，找到Pod對應的docker容器（ **kubectl describe pod xxx** 命令），ID是 **22484d8b1e56**
- 執行 **docker exec 22484d8b1e56 jps** 得到maven程式ID為 **87** （名稱為Launcher的那個），如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329170002574.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 執行 **docker exec 22484d8b1e56 jmap -heap 87** 可以看到maven程式的JVM記憶體情況，如下圖，可見maven實際使用記憶體只有3G左右：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329170647998.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 此時Pod有6G記憶體，可以透過引數設定給maven程式更多記憶體；
### 第二次調節(JVM引數)
- 接下來嘗試設定maven程式的記憶體引數， **這裡將大部分記憶體劃分給老年代試試** ：
- 如下圖，進入設定頁面：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2020032917080575.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 如下圖，找到 **Pod Templates** ，新增環境變數，鍵是 **MAVEN_OPTS** ，值是 **-Xms5632m -Xmx5632m -Xmn512m -Xss256k** ，由於Pod總記憶體是6G，因此經過此設定後，整個Pod的系統記憶體只剩 **512m** ，其餘5632m記憶體全部劃分給maven程式，並且maven程式的年輕代只有512m，將所有記憶體都留給了老年代：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329170856841.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 儲存設定後再次執行任務，先找到任務Pod對應的docker容器，再用 **jmap -heap** 命令檢視maven程式的記憶體情況，如下圖，5632m記憶體全部劃分給了maven程式，並且年輕代也控制在512m：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2020032917092862.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 下圖是執行jstat命令檢視maven程式的GC情況，紅框中是YGC次數，藍框中是FGC次數，由於年輕代記憶體過小導致頻繁YGC，不過FGC次數不多：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329170946226.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 在構建過程中還發生過 **StackOverflow** 異常，如下圖所示，解決辦法依舊是調節引數 **MAVEN_OPTS** ，值是 **-Xms5632m -Xmx5632m -Xmn512m -Xss512k** ，也就是將執行緒棧記憶體放大一倍：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200329171037729.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 上述設定並非最優，而是驗證MAVEN記憶體引數的調節可以生效；
- 透過Jenkins設定頁面對任務的Pod以及對應的maven程式的自定義設定已完成，希望本文能給您一些參考，幫助您根據專案的特點做針對性的調節和最佳化；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

K8S環境的Jenkin效能問題處理續篇(任務Pod設定)

相關文章