### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 本篇概覽
- 大家好，從本章開始，我們用Apache bench和JMeter對kubernetes環境中的web服務做效能測試，經歷過一系列實戰後，對我們有以下幫助：
1. 瞭解apache bench工具的使用；
2. 瞭解JMeter工具的使用；
3. 瞭解kubernetes的縱向擴容；
4. 瞭解kubernetes的橫向擴容；

### 章節介紹
- 《Kubernetes下web服務的效能測試》由以下三篇組成：
1. 即本章的工作：準備實戰環境，包括apache bench和JMeter的安裝配置，kubernetes環境，部署tomcat服務；
2. 實戰縱向擴容，增強單個Pod的配置，用apache bench和JMeter驗證擴容效果；
3. 實戰橫向擴容，增加Pod數量，用apache bench和JMeter驗證擴容效果；

### 實戰步驟
- 本章我們要做以下事情：
1. 規劃環境；
2. 準備Tomcat服務的映象；
3. 在kubernetes建立Tomcat服務的deployment和service；
4. 安裝Apache bench；
5. 用Apache bench測試Tomcat服務的效能；
6. 安裝JMeter；
7. 用JMeter測試Tomcat服務的效能；

### 環境規劃
- 整個實戰需要四臺機器，分別是k8s master、k8s node、Apache bench所在機器，JMeter所在機器(win10)，如下圖：

![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/85b98fbbe3ae36127463f652dd3daad5.png)

- 整理資訊列表如下：

| IP地址      |   身份 |   作業系統|   備註|
| :-------- | :----| :----| :----|
| 192.168.119.148| kubernetes的master | ubuntu16 |記憶體不小於2G|
| 192.168.119.153| kubernetes的節點1 | ubuntu16 |記憶體8G |
| 192.168.119.1| 安裝了Jemter的機器 | win10 ||
| 192.168.119.153| 安裝了Apache bench的機器 | ubuntu16 ||

### 準備Tomcat服務的映象
- 用於測試的是個springboot的web服務，我們要將此springboot工程構建成docker映象，這樣kubernetes環境才能建立此服務的Pod；

- 映象名稱：bolingcavalry/k8stomcatdemo:0.0.5，已經上傳到 hub.docker.com，您可以直接使用這個映象；

- 如果您想自己開發一個web映象，請參考文章《kubernetes下的Nginx加Tomcat三部曲之二：細說開發》，參考原始碼在GitHub可以下載，如下表所示：

| 名稱      |   連結 |   備註|
| :-------- | :----| :----|
| 專案主頁| https://github.com/zq2599/blog_demos | 該專案在GitHub上的主頁 |
| git倉庫地址(https)| https://github.com/zq2599/blog_demos.git | 該專案原始碼的倉庫地址，https協議 |
| git倉庫地址(ssh)| git@github.com:zq2599/blog_demos.git | 該專案原始碼的倉庫地址，ssh協議 |

- 這個git專案中有多個目錄，本次的web工程原始碼放在k8stomcatdemo，如下圖紅框所示：

![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/dfab617725cb5a5d4e400a641e513c8b.png)

- 有個細節請注意：Apache bench在測試的時候，如果server每次返回內容的長度都不一樣，會被算作失敗，因此最好將返回內容長度固定，如下程式碼，使用"%15s"將IP地址的字串固定為15位，不足15位就用空格補全：
```java
@RequestMapping(value = "/getserverinfo", method = RequestMethod.GET)
    public String getUserInfoWithRequestParam(){
        return String.format("server : %15s, time : %s", getIPAddr(), new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()));
    }
```

### 在kubernetes建立Tomcat服務的deployment和service
- 接下來我們要在kubernetes建立deployment和service了，請登入可以執行kubectl命令的機器：
1. 建立檔案tomcat.yaml，內容如下：
```yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
 name: tomcathost
spec:
 replicas: 1
 template:
 metadata:
 labels:
 name: tomcathost
 spec:
 containers:
 - name: tomcathost
 image: bolingcavalry/k8stomcatdemo:0.0.5
 tty: true
 ports:
 - containerPort: 8080
 resources:
 requests:
 memory: "256Mi"
 cpu: "100m"
 limits:
 memory: "256Mi"
 cpu: "100m"
```
- 如上所示，web服務的映象是bolingcavalry/k8stomcatdemo:0.0.5，Pod數量為1，使用了0.1的CPU和256M的記憶體；
2. 在tomcat.yaml所在目錄下建立檔案tomcat-svc.yaml，內容如下：
```yaml
apiVersion: v1
kind: Service
metadata:
 name: tomcathost
spec:
 type: NodePort
 ports:
 - port: 8080
 nodePort: 30008
 selector:
 name: tomcathost
```
- 如上所示，使用了NodePort，這樣就能透過節點機器的IP地址和30008埠訪問到此服務了；
3. 在tomcat.yaml所在目錄執行命令kubectl create -f tomcat.yaml,tomcat-svc.yaml，即可建立deployment和service：
```shell
root@maven:/usr/local/work/ab# kubectl create -f tomcat.yaml,tomcat-svc.yaml
deployment "tomcathost" created
service "tomcathost" created
root@maven:/usr/local/work/ab# kubectl get services
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.43.0.1 <none> 443/TCP 64d
tomcathost NodePort 10.43.131.61 <none> 8080:30008/TCP 5m
```

4. 在dashboard頁面可以看到此Pod情況如下圖，資源符合配置中的限制：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/61fed75e507e12999eeaea1717377dcf.png)

5. 我的kubernetes節點1的IP地址是192.168.119.153:，所以在瀏覽器訪問：http://192.168.119.153:30008/getserverinfo，可以在瀏覽器頁面看到服務端的響應，如下圖：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/6dd2045344cf8202c316a57e0b9f6d2a.png) 
服務端已經OK，接下來我們開始準備測試吧；

### 安裝Apache bench；
- 在ubuntu16的電腦上，執行以下命令即可安裝apache bench：
```shell
apt-get install -y apache2-utils
```

### 用Apache bench測試Tomcat服務的效能

1. 執行以下命令可以立即開始ab測試：
```shell
ab -n 20000 -c 100 http://192.168.119.153:30008/getserverinfo
```
- 上述命令的意思一百個併發使用者進行共計兩萬次請求，請求地址是http://192.168.119.153:30008/getserverinfo

2. 等待執行完成結果如下：

```Shell
root@maven:/usr/local/work/ab# ab -n 20000 -c 100 http://192.168.119.153:30008/getserverinfo
This is ApacheBench, Version 2.3 
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.119.153 (be patient)
Completed 2000 requests
Completed 4000 requests
Completed 6000 requests
Completed 8000 requests
Completed 10000 requests
Completed 12000 requests
Completed 14000 requests
Completed 16000 requests
Completed 18000 requests
Completed 20000 requests
Finished 20000 requests

Server Software:        
Server Hostname:        192.168.119.153
Server Port:            30008

Document Path:          /getserverinfo
Document Length:        52 bytes

Concurrency Level:      100
Time taken for tests:   573.587 seconds
Complete requests:      20000
Failed requests:        0
Total transferred:      3700000 bytes
HTML transferred:       1040000 bytes
Requests per second:    34.87 [#/sec] (mean)
Time per request:       2867.934 [ms] (mean)
Time per request:       28.679 [ms] (mean, across all concurrent requests)
Transfer rate:          6.30 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    1   1.1      1      43
Processing:     3 2860 2641.7   2369   29799
Waiting:        3 2725 2553.1   2256   29799
Total:          3 2861 2641.6   2370   29800

Percentage of the requests served within a certain time (ms)
  50%   2370
  66%   2999
  75%   3416
  80%   3802
  90%   5072
  95%   6410
  98%   8801
  99%  16683
 100%  29800 (longest request)
```
- 以上是測試結果，有三個引數需要重點關注：

| 名稱 | 數值 | 含義|
| :-------- | :----| :----|
| Requests per second| 34.87 | 每秒吞吐率，單位時間內能處理的最大請求數 |
| Time per request| 2867.934 | 使用者平均請求等待時間 |
| Time per request (mean, across all concurrent requests)| 28.679 | 伺服器平均請求等待時間； 它是吞吐率的倒數； 它也等於"使用者平均請求等待時間"除以"併發使用者數" |

### 注意JIT的影響
- 有一點請特別注意：剛啟動的Tomcat服務，Controller的程式碼還沒有觸發JIT，所以理論上效能是低於生產環境的，請先執行一次AB測試使其完成JIT(JIT導致的CPU飆高也會在此時發生，後面就不會了)，這此的測試結果直接丟棄，然後再重新做一次AB測試，取這次的結果；

- 基本的Apache bench操做已經熟悉了，接下來我們開始安裝和使用JMeter吧；

### 安裝JMeter
- 為了使用圖形化介面，我的Jemeter是安裝在win10電腦上的；
1. 確保本地已裝好JDK，並且JAVA_HOME環境變數也已配好，JMeter4需要JDK8或者JDK9；
2. 去官網下載安裝包，地址：http://jmeter.apache.org/download_jmeter.cgi ，安裝包如下圖紅框中所示：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/ba7374266cc30a8cb2c4e5b04930f0a0.png)
3. 將安裝包解壓後，滑鼠雙擊apache-jmeter-4.0\bin\jmeter.bat檔案，即可啟動JMeter，如下圖：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/f003c9ca1e1e590d1f70f666e0618d4d.png)
4. 把語言改成中文吧，Options -> Choose Language -> Chinese (Simplified)，如下圖：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/090cd949bfefd727ef513aa27690c2f3.png)

- JMeter安裝成功了，接下來我們發起一次效能測試吧；

### 用JMeter測試Tomcat服務的效能
- 在"測試計劃"上點選右鍵，選擇"新增" -> "Threads(Users)" -> "執行緒組"，如下所示：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/ada5b71fa093372bfc116d98ce8da83d.png)
- 在右側視窗配置新建立的“執行緒組”的引數，如下圖：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/8e45512e1df5e010bdd640d1333f77f2.png)
- 將上圖四個紅框中的引數分別介紹如下：
- 紅框1中的名稱隨便填寫；
- 紅框2中的"執行緒數"表示併發數，這裡填寫100，和前面的AB測試保持一致；
- 紅框3中的"Ram-Up Period(in seconds)"表示經過多少秒併發數才達到100；
- 紅框4中的“迴圈次數”表示每個執行緒執行多少次請求，填寫200，這樣總數就有20000，和AB測試一致了；
- 在"k8s_tomcat_效能測試"上右鍵點選，選擇"新增" -> "Sampler" -> "Http請求"，如下圖： 
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/efec7a5877c64d587acbd74cc29ecd5d.png)
- 在Http請求的引數配置頁面上填寫配置資訊，如下圖所示
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/e5097962a18d6d20be75d42df73d4188.png)
- 將上圖六個紅框中的引數分別介紹如下：
- 紅框1中的"協議"填寫"http"；
- 紅框2中的"伺服器名稱或IP"填寫"192.168.119.153"，就是kubernetes節點IP；
- 紅框3中的"埠號"填寫"30008"；
- 紅框4中的"方法"選擇"GET"；
- 紅框5中的"路徑"填寫"/getserverinfo"，***注意要帶上斜槓***；
- 填寫完畢後，記得點選紅框6中的"儲存"按鈕；
- 配置測試結果輸出資訊，在"HTTP請求"上點選右鍵，選擇"新增" -> "監聽器" -> "聚合報告"，如下圖：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/de67f9d75c2f384864b3559373ccc008.png)
這裡沒有需要配置的，直接點選上面的儲存按鈕即可；
- JMeter配置就上面這些了，點選下圖紅框中的綠色三角形圖示，開始測試：
![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/49c41d30d61006517885285bdc3a8149.png)
- 點選左側的"聚合報告"，可以看到一個簡易的圖表，測試過程中是不斷更新的，測試完成後停止更新，如下所示：

| # Samples	| Average | Median | 90% Line | 95% Line | 99% Line | Min | Max | Error % | Throughput | Received KB/sec | Sent KB/sec|
| :-------- | :----| :----| :----| :----| :----| :----| :----| :----| :----| :----| :----|
| 20000	| 3318| 2399| 6197| 8300| 34500| 1	| 52694| 0.00%	| 27.4/sec	| 4.44	| 3.69 |
- 這裡簡單說一下幾個資料指標的含義：

| 名稱	| 含義 |
| :-------- | :----|
| Samples | 請求總數|
| Average | 單個請求平均響應時間|
| Median | 50%使用者的響應時間|
| 90% Line | 90%使用者的響應時間|
| 95% Line | 95%使用者的響應時間|
| 99% Line | 99%使用者的響應時間|
| Min | 最短響應時間|
| Max | 最長響應時間|
| Error % | 錯誤率|
| Throughput | 吞吐量|
| Received KB/sec| 每秒收到位元組數|
| Sent KB/sec | 每秒發出位元組數|

### 小結
- 至此，我們們第一階段的目標已經完成了，小結如下：
1. 壓測所需的服務端環境準備完畢；
2. 壓測所需的AB和JMeter工具準備完畢；
3. 針對單個Tomcat容器的場景，用AB和JMeter完成了壓測，吞吐量為30左右，單個請求等待時間為3秒左右(AB和JMeter資料是有差異的)；

- 接下來的兩篇文章，我們會在kubernetes環境做不同型別的擴容，再繼續做壓測，然後對比擴容效果；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)</none></none>

Kubernetes下web服務的效能測試三部曲之一：準備工作

相關文章