### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 本篇概覽
- 本章是《Docker下的OpenResty三部曲》的終篇，前面兩章我們實戰了OpenResty的lua指令碼開發，並且將web服務釋出在Docker環境下，本章我們在kubernetes環境下搭建OpenResty加Tomcat的web服務；

### 前文資訊
- 第一章：[《Docker下的OpenResty三部曲之一：極速體驗》](http://blog.itpub.net/70017844/viewspace-2895181/)
- 第二章：[《Docker下的OpenResty三部曲之二：細說開發》](http://blog.itpub.net/70017844/viewspace-2895184/)

### 環境資訊
- 本次實戰搭建的環境如下所示：

![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/3daf95559e17c48827023017b03c52f8.png)

### 本次實戰的web服務
- 本次實戰的web服務，主要功能為：瀏覽器發起http請求到OpenResty，OpenResty負責去處理業務，處理過程中向Tomcat發起http請求，將Tomcat響應的資訊返回給瀏覽器；

### 和常見的Nginx加Tomcat有什麼不同？
- 上圖的架構和常見的Nginx加Tomcat很相似，不過還是有區別的：
1. Nginx節點主要工作是將請求轉發到Tomcat，由Tomcat去執行具體業務；
2. OpenResty節點上的lua指令碼可以執行具體業務，處理的過程中如有必要可以主動發起http請求到Tomcat，呼叫Tomcat提供的服務；
3. 關於OpenResty加Tomcat架構的更多特性和優點請移步開濤大神的部落格：[《跟我學Nginx+Lua開發》](http://jinnianshilongnian.iteye.com/category/333854)；

### 實戰原始碼和Docke映象材料下載
* 本次構建映象所需的材料我已準備齊全，您可以在github下載到：

| 名稱      |   連結 |   備註|
| :-------- | :----| :----|
| 專案主頁| https://github.com/zq2599/blog_download_files | 該專案在GitHub上的主頁 |
| git倉庫地址(https)| https://github.com/zq2599/blog_download_files.git | 該專案原始碼的倉庫地址，https協議 |
| git倉庫地址(ssh)| git@github.com:zq2599/blog_download_files.git | 該專案原始碼的倉庫地址，ssh協議 |

- 這個git專案中有多個目錄，本次所需的資源放在tomcat_openresty_docker_image_files，如下圖紅框所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201128153834599.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 注意，本章用到的資源目錄是tomcat_openresty_docker_image_files，上一章用的是nginx_lua_docker_image_files，裡面是不同資源；

- Tomcat上的web工程原始碼在k8stomcatdemo目錄下，是個普通的springboot工程，提供一個http介面可以返回Tomcat所在機器的IP地址，這個web工程已經被製作成映象檔案bolingcavalry/k8stomcatdemo:0.0.1-SNAPSHOT，有關這個工程的更多資訊，請參照[《kubernetes下的Nginx加Tomcat三部曲之二：細說開發》](https://bbs.huaweicloud.com/blogs/351713)；

### 列舉步驟
- 今天的整個實戰，我們要做以下事情：
1. 在前一章的基礎上重做OpenResty的Docker映象，新增一些內容；
2. 在kubernetes建立Tomcat的副本集和service；
3. 在kubernetes建立OpenResty的副本集和service；
4. 透過瀏覽器驗證kubernetes環境中的OpenResty加Tomcat提供的服務；

### 為什麼要重做Docker映象
- 在上一章我們已經做了OpenResty的映象並體驗過了，為何本章還要重做呢？
1. 在映象中安裝vim，並解決vim顯示中文亂碼的問題；
2. 新增一個http介面和lua指令碼，瀏覽器訪問這個介面時，對應的lua指令碼會向Tomcat發請求；
3. 將OpenResty的http模組整合到映象中；
4. 曲折的解決OpenResty的http模組無法解析域名的問題；

- 前期鋪墊說了這麼多，接下來我們就開始實戰吧；

### 製作OpenResty映象
- 本次的映象是在[《Docker下的OpenResty三部曲之二：細說開發》](https://bbs.huaweicloud.com/blogs/352759)中的Dockerfile的基礎上新增了一些內容做成的，接下來詳細說明這些新增的內容，完整的Dockerfile在GitHub資源的tomcat_openresty_docker_image_files資料夾下；

### 安裝vim，並解決vim顯示中文亂碼的問題
- 以下是Dockerfile中vim相關的內容：

```bash
#建立安裝命令
RUN apt-get install -y make vim gcc libreadline-dev libncurses5-dev libpcre3-dev libssl-dev perl

#修改vim的配置資訊，修復中文亂碼問題
RUN sed -i '$a\set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936' /etc/vim/vimrc
RUN sed -i '$a\set termencoding=utf-8' /etc/vim/vimrc
RUN sed -i '$a\set encoding=utf-8' /etc/vim/vimrc
```
- 如上所示，透過sed命令向/etc/vim/vimrc檔案中追加了三行，以保證中文顯示；

### 新增OpenResty的http模組
- 首先下載http.lua和http_headers.lua這兩個檔案，放在Dockerfile所在目錄，然後在Dockerfile新增以下內容：

```bashl
#將http庫檔案複製到預設庫
COPY ./http.lua $INSTALL_PATH/lualib/resty
COPY ./http_headers.lua $INSTALL_PATH/lualib/resty
```

### 增加一個http介面
- 為了對外新增一個http介面lua_http，在boling_cavalry.conf檔案中增加了以下內容，

```conf
location ~ /lua_http/(\d+)/(\d+) {
 #設定nginx變數
 set $a $1;
 set $b $host;
 default_type "text/html";
 #nginx內容處理
 content_by_lua_file /usr/local/work/lua/test_http.lua;
 }
```
- 如上所示，當瀏覽器輸入http://192.168.119.150:9000/lua_http/333/666這樣URL時，就會由test_http.lua這個指令碼來處理，test_http.lua的內容如下所示：

```lua
ngx.say("--------------------------------------------------------- ");

local http = require("resty.http")
--建立http客戶端例項
local httpc = http.new()

local resp, err = httpc:request_uri("http://127.0.0.1:80",{
	method = "GET",
	path = "/tomcat_proxy/getserverinfo",
	headers = {
		["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
	}
})

if not resp then
	ngx.say("request error :", err)
	return
end

ngx.say("resp status--", resp.status)

ngx.say(" resp body--", resp.body)

httpc:close()
```

- 如上所示，該指令碼的處理很簡單：發起一個http請求，將收到響應的code和body在頁面上顯示出來；

- 你們注意到了嗎？**請求的地址是127.0.0.1，是OpenResty自己，不是Tomcat！！！**

- 為什麼要向自己發http請求呢？不是應該發請求給Tomcat麼？我們一起來梳理一下吧：

- 按照原本的設計，此處的URL應該是http://tomcathost:8080/getserverinfo ，tomcathost是Tomcat的Pod在kubernetes暴露的service名稱，在kubernetes環境中tomcathost會被解析成Tomcat的Pod地址，請求就到了Tomcat了；

- 但是，OpenResty的httpc:request_uri這個API無法將tomcathost這個hostname解析成Tomcat的Pod地址，或者說不會用到kubernetes提供的DNS服務，因此請求無法到達Tomcat的Pod；

* 開濤大神的例項也用到了這個API，他在nginx.conf中配置了resolver 8.8.8.8，訪問的是外網hostname：s.taobao.com，但我這裡是kubernetes環境內的hostname，試過此方法，失敗；
* 網上也有遇到此類問題的，寫了指令碼定時掃描/etc/hosts，將hostname對應的IP儲存來下，在OpenResty中發起http請求時直接從這個對應關係中取IP，這個方法在Docker環境使用是OK的，Docker的link用的就是/etc/hosts中的關係，但是在kubernetes下，OpenResty的/etc/hosts中並沒有寫入Tomcat的IP，所以，失敗；

### 我的笨辦法，讓OpenResty請求到Tomcat
- 我用的是笨辦法，能將請求發到Tomcat，但是很曲折，理論上存在效能損失，親愛的讀者如果您有更科學的方法，期望能得到您的指點；
- 笨辦法的思路如下：

1. 在nginx.conf中新建一個upstream：

```conf
upstream tomcat_client {
 server tomcathost:8080;
 } 
```
- 此upstream中的server用到了tomcathost，這是kubernetes中Tomcat的service的名字，能被成功的解析成Tomcat的Pod的IP；
2. 再增加一個http介面tomcat_proxy，boling_cavalry.conf檔案中增加了以下內容：

```conf
location ~ /tomcat_proxy/(.*) {
 rewrite /tomcat_proxy(/.*) $1 break;
 proxy_pass http://tomcat_client;
 proxy_redirect default;
 proxy_set_header Host $host;
 proxy_set_header X-Real-IP $remote_addr;
 }
```
- 如上所示，如此一來，所有url是tomcat_proxy/xxxxxxx的請求都會被轉發到Tomcat了；

- 注意這一行：rewrite /tomcat_proxy(/.*) $1 break;，可以這麼理解：
a. http://127.0.0.1:80/tomcat_proxy/getserverinfo 這個請求可以被tomcat_proxy(/.*)這個正規表示式匹配；
b. 因為/getserverinfo和第一個圓括號中的表示式匹配，所以$1的值就是/getserverinfo；
c. 因此請求/tomcat_proxy/getserverinfo被rewrite成了$1，也就是/getserverinfo，帶上IP的完整的url就是http://127.0.0.1:80/getserverinfo ；
d. 所以，http://127.0.0.1:80/tomcat_proxy/getserverinfo 被轉發到了 http://tomcathost:8080/getserverinfo ，在rewrite的時候將tomcat_proxy抹去了；

- 最終，在呼叫OpenResty的request_uri方法的時候，請求的URL是 http://127.0.0.1:80/tomcat_proxy/getserverinfo ，可以被成功轉發到Tomcat，關鍵是Nginx中的upstream的hostname在kubernetes可以被成功解析成IP地址；

- 最後，在製作Dockerfile的時候，記得將新增的test_http.lua複製到映象中：

```bash
COPY ./test_http.lua $WORK_PATH/lua
```

- 以上就是製作新的Dockerfile時要新增的內容了，在Dockerfile所在目錄執行以下命令構建映象，注意TAG是0.0.2，區別於上一章映象的0.0.1：

```bashl
docker build -t bolingcavalry/ubuntu16-openresty:0.0.2 .
```

### 讓kubernetes的機器用上web工程的Docker映象
- 現在的映象只存在於開發和構建web工程的電腦上，為了讓kubernetes的node機器能用上這個映象，可以用以下四種方式實現：
1. 用docker push命令將本機映象推送到hub.docker.com網站，這樣其他機器都可以透過docker pull命令取得了，我就是用的這種方法，需要在hub.docker.com上註冊；
2. 用docker save命令匯出映象檔案，再用docker load命令匯入到kubernetes的node機器；
3. kubernetes所在機器安裝java和maven環境，將工程在這裡編譯構建；
4. 使用docker私有倉庫，例如搭建區域網私有倉庫或者阿里雲私有倉庫，參考[《maven構建docker映象三部曲之三：推送到遠端倉庫(內網和阿里雲)》](https://bbs.huaweicloud.com/blogs/350981)；

### 在kubernetes建立Tomcat的副本集和service
- 登入到一臺可以執行kubectl命令的機器，建立檔案tomcat.yaml：

```yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: tomcathost
spec:
  replicas: 3
  template:
    metadata:
     labels:
       name: tomcathost
    spec:
     containers:
     - name: tomcathost
       image: bolingcavalry/k8stomcatdemo:0.0.1-SNAPSHOT
       tty: true
       ports:
       - containerPort: 8080
```
- 以上檔案用來定義Tomcat的Pod的副本集；
- 在tomcat.yaml所在目錄建立tomcat-svc.yaml檔案，內容如下：
```yaml
apiVersion: v1
kind: Service
metadata:
  name: tomcathost
spec:
  type: ClusterIP
  ports:
       - port: 8080
  selector:
    name: tomcathost
```
- 以上檔案將Tomcat的Pod副本包裝成service，名字是tomcathost，這樣kubernetes環境中的其他Pod透過tomcathost這個hostname就能訪問到Tomcat的Pod副本了；
- 在tomcat.yaml檔案所在目錄下執行以下命令，建立Pod和service：

```bash
kubectl create -f tomcat.yaml,tomcat-svc.yaml
```
- 以上命令依次建立Pod和service；
- 執行kubectl get service檢視service情況，如下：

```bash
root@maven:/usr/local/work/openrest_rewrite# kubectl create -f tomcat.yaml,tomcat-svc.yaml
deployment "tomcathost" created
service "tomcathost" created
root@maven:/usr/local/work/openrest_rewrite# kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.43.0.1 <none> 443/TCP 62d
tomcathost ClusterIP 10.43.192.125 <none> 8080/TCP 1m
```

- 至此，Tocmat服務就OK了，接下來我們建立OpenResty服務吧；

### 在kubernetes建立OpenResty的副本集和service
- 在tomcat.yaml所在目錄下，建立檔案openresty.yaml：

```yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: openresty001
spec:
  replicas: 1
  template:
    metadata:
     labels:
      name: openresty001
    spec:
     containers:
     - name: openresty001
       image: bolingcavalry/ubuntu16-openresty:0.0.2
       ports:
       - containerPort: 80
```
- 以上檔案用來定義OpenResty的Pod的副本集；
- 在openresty.yaml所在目錄建立openresty-svc.yaml檔案，內容如下：
```yaml
apiVersion: v1
kind: Service
metadata:
  name: openresty001
spec:
  type: NodePort
  ports:
       - port: 80
         nodePort: 30007
  selector:
    name: openresty001
```
- 以上檔案將openresty的Pod副本包裝成service，名字是openresty001，並且將80埠和所在節點機器的30007埠建立對映；
- 在openresty.yaml檔案所在目錄下執行以下命令，建立Pod和service：

```bashl
kubectl create -f openresty.yaml,openresty-svc.yaml
```

- 以上命令依次建立Pod和service；
- 執行kubectl get service檢視service情況，如下：

```bash
root@maven:/usr/local/work/openrest_rewrite# kubectl create -f openresty.yaml,openresty-svc.yaml
deployment "openresty001" created
service "openresty001" created
root@maven:/usr/local/work/openrest_rewrite# kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.43.0.1 <none> 443/TCP 62d
openresty001 NodePort 10.43.148.118 <none> 80:30007/TCP 8s
tomcathost ClusterIP 10.43.192.125 <none> 8080/TCP 43m
```

- 終於將所有的服務都建立好了，接下來開始驗證吧；

### 驗證服務
- OpenResty服務所在的機器IP是192.168.119.153，所以在瀏覽器輸入：http://192.168.119.153:30007/lua_http/333/666 ，可以看到如下效果：

![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/77bffe72a0a61b5e2c0a39167feb8a01.png)

- 如上所示，結合test_http.lua的原始碼來看，“200”是Tomcat的返回code，“10.42.11.12”是Tomcat所在Pod的IP地址，我們去kubernetes的dashboard印證一下，如下圖，紅框1是檢視資訊的路徑，紅框2是Pod的IP地址，果然有10.42.11.12：

![這裡寫圖片描述](https://img-blog.csdnimg.cn/img_convert/163465193ffdfd3e489d1b76832a00af.png)

- 至此，《Docker下的OpenResty三部曲》就全部結束了，由於文章大綱沒有設計好，導致第三章內容太多，在這裡向您道歉了，如果有疑問歡迎您郵件至 zq2599@gmail.com，我們一起探討，也希望本文能對您的kubernetes實戰有所幫助；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)</none></none></none></none></none>

Docker下的OpenResty三部曲之三：OpenResty加Tomcat的服務

相關文章