KubernetesNginxIngress安裝與使用
目錄 (Table of Contents)
[TOCM]
概述
用過kubernetes的人都知道,kubernetes的service的網路型別有三種:cluertip,nodeport,loadbanlance,各種型別的作用就不在這裡描述了。如果一個service想向外部暴露服務,有nodeport和loadbanlance型別,但是nodeport型別,你的知道service對應的pod所在的node的ip,而loadbanlance通常需要第三方雲服務商提供支援。如果沒有第三方服務商服務的就沒辦法做了。除此之外還有很多其他的替代方式,以下我主要講解的是通過ingress的方式來實現service的對外服務的暴露。
下載搭建環境所需要的映象
- gcr.io/google_containers/nginx-ingress-controller:0.8.3 (ingress controller 的映象)
- gcr.io/google_containers/defaultbackend:1.0 (預設路由的servcie的映象)
- gcr.io/google_containers/echoserver:1.0 (用於測試ingress的service映象,當然這個你可以換成你自己的service都可以)
說明:由於GFW的原因下載不下來的,都可以到時速雲去下載相應的映象(只要把grc.io
換成index.tenxcloud.com
就可以了),由於我用的是自己私用映象倉庫,所以之後看到的映象都是我自己tag之後上傳到自己私有映象倉庫的。
配置default-http-bankend
首先便捷default-http-backend.yaml:
apiVersion: v1
kind: ReplicationController
metadata:
name: default-http-backend
spec:
replicas: 1
selector:
app: default-http-backend
template:
metadata:
labels:
app: default-http-backend
spec:
terminationGracePeriodSeconds: 60
containers:
- name: default-http-backend
# Any image is permissable as long as: # 1. It serves a 404 page at / # 2. It serves 200 on a /healthz endpoint
image: hub.yfcloud.io/google_containers/defaultbackend:1.0
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
然後建立建立default-http-backend的rc:
kubectl create -f default-http-backend .yaml
最後建立default-http-backend的service,有兩種方式建立,一種是:便捷default-http-backend-service.yaml,另一種通過如下命令建立:
kubectl expose rc default-http-backend --port=80 --target-port=8080 --name=default-http-backend
最後檢視相應的rc以及service是否成功建立:然後自己測試能否正常訪問,訪問方式如下,直接通過的pod的ip/healthz或者serive的ip/(如果是srevice的ip加port)
配置inrgess-controller
首先編輯ingress-controller.yaml檔案:
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx-ingress-controller
labels:
k8s-app: nginx-ingress-lb
spec:
replicas: 1
selector:
k8s-app: nginx-ingress-lb
template:
metadata:
labels:
k8s-app: nginx-ingress-lb
name: nginx-ingress-lb
spec:
terminationGracePeriodSeconds: 60
containers:
- image: hub.yfcloud.io/google_containers/nginx-ingress-controller:0.8.3
name: nginx-ingress-lb
imagePullPolicy: Always
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1 # use downward API
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
ports:
- containerPort: 80
hostPort: 80
- containerPort: 443
hostPort: 443
args:
- /nginx-ingress-controller
- --default-backend-service=$(POD_NAMESPACE)/default-http-backend
imagePullSecrets:
- name: hub.yfcloud.io.key
建立ingress-controller的rc:
kubectl create -f ingress-controller.yaml
最後驗證ingress-controller是否正常啟動成功,方法 如下:檢視ingress-controller中對應pod的ip,然後通過ip:80/healthz 訪問,成功的話會返回 ok。
配置需要測試的service
首先編輯測試用的test.yaml:
apiVersion: v1 kind: ReplicationController metadata:
name: echoheaders
spec:
replicas: 1
template:
metadata:
labels:
app: echoheaders
spec:
containers:
- name: echoheaders
image: hub.yfcloud.io/google_containers/echoserver:test
ports:
- containerPort: 8080
測試service的yaml這裡建立多個:
sv-alp-default.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-default
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30302
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-x.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-x
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30301
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-y.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-y
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30284
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
接著是
配置ingress
編輯ingress-alp.yaml:
apiVersion: extensions/v1beta1 kind: Ingress metadata:
name: echomap
spec:
rules:
- host: foo.bar.com
http:
paths:
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
- host: bar.baz.com
http:
paths:
- path: /bar
backend:
serviceName: echoheaders-y
servicePort: 80
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
最後測試,測試方法有兩種,如下:
方法一:
curl -v http://nodeip:80/foo -H `host: foo.bar.com`
結果如下:
* About to connect() to 183.131.19.232 port 80 (#0)
* Trying 183.131.19.232...
* Connected to 183.131.19.232 (183.131.19.232) port 80 (#0)
> GET /foo HTTP/1.1
> User-Agent: curl/7.29.0
> Accept: */*
> host: foo.bar.com
>
< HTTP/1.1 200 OK
< Server: nginx/1.11.3
< Date: Wed, 12 Oct 2016 10:04:40 GMT
< Transfer-Encoding: chunked
< Connection: keep-alive
<
CLIENT VALUES:
client_address=(`10.1.58.3`, 57364) (10.1.58.3)
command=GET
path=/foo
real path=/foo
query=
request_version=HTTP/1.1
SERVER VALUES:
server_version=BaseHTTP/0.6
sys_version=Python/3.5.0
protocol_version=HTTP/1.0
HEADERS RECEIVED:
Accept=*/*
Connection=close
Host=foo.bar.com
User-Agent=curl/7.29.0
X-Forwarded-For=183.131.19.231
X-Forwarded-Host=foo.bar.com
X-Forwarded-Port=80
X-Forwarded-Proto=http
X-Real-IP=183.131.19.231
* Connection #0 to host 183.131.19.232 left intact
其他路由的測試修改對應的url即可。
**注意:**nodeip是你的ingress-controller所對應的pod所在的node的ip。
方法二:
將訪問url的主機的host中加上:
nodeip foo.bar.com nodeip bar.baz.com
在瀏覽器中直接訪問:
foo.bar.com/foo
bar.baz.com/bar
bar.baz.com/foo
都是可以的。
問題集
在建立ingress-controller的時候報錯(ingress的yaml檔案是官網中的yaml檔案配置,我只改了相對應的映象。):
問題一:
以上錯誤資訊是ingress-controller建立失敗的原因,通過docker log 檢視rc中的對應的ingress-controller的容器的日誌。
原因:從錯誤資訊來看是因為ingress內部程式預設是通過localhost:8080連線master的apiserver,如果是單機版的k8s環境,就不會報這個錯,如果是叢集環境,並且你的ingress-controller的pod所對應的容器不是在master節點上(因為有的叢集環境master也是node,這樣的話,如果你的pod對應的容器在master節點上也不會報這個錯),就會報這個錯。
解決方法:在ingress-controller.yaml中加上如下引數,
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
之後的yaml檔案就是如前面定義的yaml檔案。
問題二:
這個問題是在建立ingress rc成功之後,馬上檢視rc對應的pod對應的容器時報的錯!
從這個問題衍生出個連帶的問題,如下圖:
問題1:
這個問題是在建立ingress rc成功之後,當第一個容器失敗,rc的垃圾機制回收第一次建立停止的容器後,重新啟動的容器。檢視rc對應的pod對應的容器時報的錯!
原因:因為ingress中的原始碼的健康檢查的url改成了 /healthz,而官方文件中的yaml中定義的健康檢查的路由是/ingress-controller-healthz,這個url是ingress的自檢url,當超過8次之後如果得到結果還是unhealthy,則會掛掉ingress對應的容器。
解決方法:將yaml中的健康檢查的url改成:/healthz即可。:
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1
目錄 (Table of Contents)
[TOCM]
概述
用過kubernetes的人都知道,kubernetes的service的網路型別有三種:cluertip,nodeport,loadbanlance,各種型別的作用就不在這裡描述了。如果一個service想向外部暴露服務,有nodeport和loadbanlance型別,但是nodeport型別,你的知道service對應的pod所在的node的ip,而loadbanlance通常需要第三方雲服務商提供支援。如果沒有第三方服務商服務的就沒辦法做了。除此之外還有很多其他的替代方式,以下我主要講解的是通過ingress的方式來實現service的對外服務的暴露。
下載搭建環境所需要的映象
- gcr.io/google_containers/nginx-ingress-controller:0.8.3 (ingress controller 的映象)
- gcr.io/google_containers/defaultbackend:1.0 (預設路由的servcie的映象)
- gcr.io/google_containers/echoserver:1.0 (用於測試ingress的service映象,當然這個你可以換成你自己的service都可以)
說明:由於GFW的原因下載不下來的,都可以到時速雲去下載相應的映象(只要把grc.io
換成index.tenxcloud.com
就可以了),由於我用的是自己私用映象倉庫,所以之後看到的映象都是我自己tag之後上傳到自己私有映象倉庫的。
配置default-http-bankend
首先便捷default-http-backend.yaml:
apiVersion: v1
kind: ReplicationController
metadata:
name: default-http-backend
spec:
replicas: 1
selector:
app: default-http-backend
template:
metadata:
labels:
app: default-http-backend
spec:
terminationGracePeriodSeconds: 60
containers:
- name: default-http-backend
# Any image is permissable as long as: # 1. It serves a 404 page at / # 2. It serves 200 on a /healthz endpoint
image: hub.yfcloud.io/google_containers/defaultbackend:1.0
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
然後建立建立default-http-backend的rc:
kubectl create -f default-http-backend .yaml
最後建立default-http-backend的service,有兩種方式建立,一種是:便捷default-http-backend-service.yaml,另一種通過如下命令建立:
kubectl expose rc default-http-backend --port=80 --target-port=8080 --name=default-http-backend
最後檢視相應的rc以及service是否成功建立:然後自己測試能否正常訪問,訪問方式如下,直接通過的pod的ip/healthz或者serive的ip/(如果是srevice的ip加port)
配置inrgess-controller
首先編輯ingress-controller.yaml檔案:
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx-ingress-controller
labels:
k8s-app: nginx-ingress-lb
spec:
replicas: 1
selector:
k8s-app: nginx-ingress-lb
template:
metadata:
labels:
k8s-app: nginx-ingress-lb
name: nginx-ingress-lb
spec:
terminationGracePeriodSeconds: 60
containers:
- image: hub.yfcloud.io/google_containers/nginx-ingress-controller:0.8.3
name: nginx-ingress-lb
imagePullPolicy: Always
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1 # use downward API
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
ports:
- containerPort: 80
hostPort: 80
- containerPort: 443
hostPort: 443
args:
- /nginx-ingress-controller
- --default-backend-service=$(POD_NAMESPACE)/default-http-backend
imagePullSecrets:
- name: hub.yfcloud.io.key
建立ingress-controller的rc:
kubectl create -f ingress-controller.yaml
最後驗證ingress-controller是否正常啟動成功,方法 如下:檢視ingress-controller中對應pod的ip,然後通過ip:80/healthz 訪問,成功的話會返回 ok。
配置需要測試的service
首先編輯測試用的test.yaml:
apiVersion: v1 kind: ReplicationController metadata:
name: echoheaders
spec:
replicas: 1
template:
metadata:
labels:
app: echoheaders
spec:
containers:
- name: echoheaders
image: hub.yfcloud.io/google_containers/echoserver:test
ports:
- containerPort: 8080
測試service的yaml這裡建立多個:
sv-alp-default.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-default
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30302
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-x.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-x
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30301
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-y.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-y
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30284
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
接著是
配置ingress
編輯ingress-alp.yaml:
apiVersion: extensions/v1beta1 kind: Ingress metadata:
name: echomap
spec:
rules:
- host: foo.bar.com
http:
paths:
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
- host: bar.baz.com
http:
paths:
- path: /bar
backend:
serviceName: echoheaders-y
servicePort: 80
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
最後測試,測試方法有兩種,如下:
方法一:
curl -v http://nodeip:80/foo -H `host: foo.bar.com`
結果如下:
* About to connect() to 183.131.19.232 port 80 (#0)
* Trying 183.131.19.232...
* Connected to 183.131.19.232 (183.131.19.232) port 80 (#0)
> GET /foo HTTP/1.1
> User-Agent: curl/7.29.0
> Accept: */*
> host: foo.bar.com
>
< HTTP/1.1 200 OK
< Server: nginx/1.11.3
< Date: Wed, 12 Oct 2016 10:04:40 GMT
< Transfer-Encoding: chunked
< Connection: keep-alive
<
CLIENT VALUES:
client_address=(`10.1.58.3`, 57364) (10.1.58.3)
command=GET
path=/foo
real path=/foo
query=
request_version=HTTP/1.1
SERVER VALUES:
server_version=BaseHTTP/0.6
sys_version=Python/3.5.0
protocol_version=HTTP/1.0
HEADERS RECEIVED:
Accept=*/*
Connection=close
Host=foo.bar.com
User-Agent=curl/7.29.0
X-Forwarded-For=183.131.19.231
X-Forwarded-Host=foo.bar.com
X-Forwarded-Port=80
X-Forwarded-Proto=http
X-Real-IP=183.131.19.231
* Connection #0 to host 183.131.19.232 left intact
其他路由的測試修改對應的url即可。
**注意:**nodeip是你的ingress-controller所對應的pod所在的node的ip。
方法二:
將訪問url的主機的host中加上:
nodeip foo.bar.com nodeip bar.baz.com
在瀏覽器中直接訪問:
foo.bar.com/foo
bar.baz.com/bar
bar.baz.com/foo
都是可以的。
問題集
在建立ingress-controller的時候報錯(ingress的yaml檔案是官網中的yaml檔案配置,我只改了相對應的映象。):
問題一:
以上錯誤資訊是ingress-controller建立失敗的原因,通過docker log 檢視rc中的對應的ingress-controller的容器的日誌。
原因:從錯誤資訊來看是因為ingress內部程式預設是通過localhost:8080連線master的apiserver,如果是單機版的k8s環境,就不會報這個錯,如果是叢集環境,並且你的ingress-controller的pod所對應的容器不是在master節點上(因為有的叢集環境master也是node,這樣的話,如果你的pod對應的容器在master節點上也不會報這個錯),就會報這個錯。
解決方法:在ingress-controller.yaml中加上如下引數,
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
之後的yaml檔案就是如前面定義的yaml檔案。
問題二:
這個問題是在建立ingress rc成功之後,馬上檢視rc對應的pod對應的容器時報的錯!
從這個問題衍生出個連帶的問題,如下圖:
問題1:
這個問題是在建立ingress rc成功之後,當第一個容器失敗,rc的垃圾機制回收第一次建立停止的容器後,重新啟動的容器。檢視rc對應的pod對應的容器時報的錯!
原因:因為ingress中的原始碼的健康檢查的url改成了 /healthz,而官方文件中的yaml中定義的健康檢查的路由是/ingress-controller-healthz,這個url是ingress的自檢url,當超過8次之後如果得到結果還是unhealthy,則會掛掉ingress對應的容器。
解決方法:將yaml中的健康檢查的url改成:/healthz即可。:
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1
目錄 (Table of Contents)
[TOCM]
概述
用過kubernetes的人都知道,kubernetes的service的網路型別有三種:cluertip,nodeport,loadbanlance,各種型別的作用就不在這裡描述了。如果一個service想向外部暴露服務,有nodeport和loadbanlance型別,但是nodeport型別,你的知道service對應的pod所在的node的ip,而loadbanlance通常需要第三方雲服務商提供支援。如果沒有第三方服務商服務的就沒辦法做了。除此之外還有很多其他的替代方式,以下我主要講解的是通過ingress的方式來實現service的對外服務的暴露。
下載搭建環境所需要的映象
- gcr.io/google_containers/nginx-ingress-controller:0.8.3 (ingress controller 的映象)
- gcr.io/google_containers/defaultbackend:1.0 (預設路由的servcie的映象)
- gcr.io/google_containers/echoserver:1.0 (用於測試ingress的service映象,當然這個你可以換成你自己的service都可以)
說明:由於GFW的原因下載不下來的,都可以到時速雲去下載相應的映象(只要把grc.io
換成index.tenxcloud.com
就可以了),由於我用的是自己私用映象倉庫,所以之後看到的映象都是我自己tag之後上傳到自己私有映象倉庫的。
配置default-http-bankend
首先便捷default-http-backend.yaml:
apiVersion: v1
kind: ReplicationController
metadata:
name: default-http-backend
spec:
replicas: 1
selector:
app: default-http-backend
template:
metadata:
labels:
app: default-http-backend
spec:
terminationGracePeriodSeconds: 60
containers:
- name: default-http-backend
# Any image is permissable as long as: # 1. It serves a 404 page at / # 2. It serves 200 on a /healthz endpoint
image: hub.yfcloud.io/google_containers/defaultbackend:1.0
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
然後建立建立default-http-backend的rc:
kubectl create -f default-http-backend .yaml
最後建立default-http-backend的service,有兩種方式建立,一種是:便捷default-http-backend-service.yaml,另一種通過如下命令建立:
kubectl expose rc default-http-backend --port=80 --target-port=8080 --name=default-http-backend
最後檢視相應的rc以及service是否成功建立:然後自己測試能否正常訪問,訪問方式如下,直接通過的pod的ip/healthz或者serive的ip/(如果是srevice的ip加port)
配置inrgess-controller
首先編輯ingress-controller.yaml檔案:
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx-ingress-controller
labels:
k8s-app: nginx-ingress-lb
spec:
replicas: 1
selector:
k8s-app: nginx-ingress-lb
template:
metadata:
labels:
k8s-app: nginx-ingress-lb
name: nginx-ingress-lb
spec:
terminationGracePeriodSeconds: 60
containers:
- image: hub.yfcloud.io/google_containers/nginx-ingress-controller:0.8.3
name: nginx-ingress-lb
imagePullPolicy: Always
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1 # use downward API
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
ports:
- containerPort: 80
hostPort: 80
- containerPort: 443
hostPort: 443
args:
- /nginx-ingress-controller
- --default-backend-service=$(POD_NAMESPACE)/default-http-backend
imagePullSecrets:
- name: hub.yfcloud.io.key
建立ingress-controller的rc:
kubectl create -f ingress-controller.yaml
最後驗證ingress-controller是否正常啟動成功,方法 如下:檢視ingress-controller中對應pod的ip,然後通過ip:80/healthz 訪問,成功的話會返回 ok。
配置需要測試的service
首先編輯測試用的test.yaml:
apiVersion: v1 kind: ReplicationController metadata:
name: echoheaders
spec:
replicas: 1
template:
metadata:
labels:
app: echoheaders
spec:
containers:
- name: echoheaders
image: hub.yfcloud.io/google_containers/echoserver:test
ports:
- containerPort: 8080
測試service的yaml這裡建立多個:
sv-alp-default.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-default
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30302
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-x.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-x
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30301
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-y.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-y
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30284
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
接著是
配置ingress
編輯ingress-alp.yaml:
apiVersion: extensions/v1beta1 kind: Ingress metadata:
name: echomap
spec:
rules:
- host: foo.bar.com
http:
paths:
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
- host: bar.baz.com
http:
paths:
- path: /bar
backend:
serviceName: echoheaders-y
servicePort: 80
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
最後測試,測試方法有兩種,如下:
方法一:
curl -v http://nodeip:80/foo -H `host: foo.bar.com`
結果如下:
* About to connect() to 183.131.19.232 port 80 (#0)
* Trying 183.131.19.232...
* Connected to 183.131.19.232 (183.131.19.232) port 80 (#0)
> GET /foo HTTP/1.1
> User-Agent: curl/7.29.0
> Accept: */*
> host: foo.bar.com
>
< HTTP/1.1 200 OK
< Server: nginx/1.11.3
< Date: Wed, 12 Oct 2016 10:04:40 GMT
< Transfer-Encoding: chunked
< Connection: keep-alive
<
CLIENT VALUES:
client_address=(`10.1.58.3`, 57364) (10.1.58.3)
command=GET
path=/foo
real path=/foo
query=
request_version=HTTP/1.1
SERVER VALUES:
server_version=BaseHTTP/0.6
sys_version=Python/3.5.0
protocol_version=HTTP/1.0
HEADERS RECEIVED:
Accept=*/*
Connection=close
Host=foo.bar.com
User-Agent=curl/7.29.0
X-Forwarded-For=183.131.19.231
X-Forwarded-Host=foo.bar.com
X-Forwarded-Port=80
X-Forwarded-Proto=http
X-Real-IP=183.131.19.231
* Connection #0 to host 183.131.19.232 left intact
其他路由的測試修改對應的url即可。
**注意:**nodeip是你的ingress-controller所對應的pod所在的node的ip。
方法二:
將訪問url的主機的host中加上:
nodeip foo.bar.com nodeip bar.baz.com
在瀏覽器中直接訪問:
foo.bar.com/foo
bar.baz.com/bar
bar.baz.com/foo
都是可以的。
問題集
在建立ingress-controller的時候報錯(ingress的yaml檔案是官網中的yaml檔案配置,我只改了相對應的映象。):
問題一:
以上錯誤資訊是ingress-controller建立失敗的原因,通過docker log 檢視rc中的對應的ingress-controller的容器的日誌。
原因:從錯誤資訊來看是因為ingress內部程式預設是通過localhost:8080連線master的apiserver,如果是單機版的k8s環境,就不會報這個錯,如果是叢集環境,並且你的ingress-controller的pod所對應的容器不是在master節點上(因為有的叢集環境master也是node,這樣的話,如果你的pod對應的容器在master節點上也不會報這個錯),就會報這個錯。
解決方法:在ingress-controller.yaml中加上如下引數,
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
之後的yaml檔案就是如前面定義的yaml檔案。
問題二:
這個問題是在建立ingress rc成功之後,馬上檢視rc對應的pod對應的容器時報的錯!
從這個問題衍生出個連帶的問題,如下圖:
問題1:
這個問題是在建立ingress rc成功之後,當第一個容器失敗,rc的垃圾機制回收第一次建立停止的容器後,重新啟動的容器。檢視rc對應的pod對應的容器時報的錯!
原因:因為ingress中的原始碼的健康檢查的url改成了 /healthz,而官方文件中的yaml中定義的健康檢查的路由是/ingress-controller-healthz,這個url是ingress的自檢url,當超過8次之後如果得到結果還是unhealthy,則會掛掉ingress對應的容器。
解決方法:將yaml中的健康檢查的url改成:/healthz即可。:
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1
目錄 (Table of Contents)
[TOCM]
概述
用過kubernetes的人都知道,kubernetes的service的網路型別有三種:cluertip,nodeport,loadbanlance,各種型別的作用就不在這裡描述了。如果一個service想向外部暴露服務,有nodeport和loadbanlance型別,但是nodeport型別,你的知道service對應的pod所在的node的ip,而loadbanlance通常需要第三方雲服務商提供支援。如果沒有第三方服務商服務的就沒辦法做了。除此之外還有很多其他的替代方式,以下我主要講解的是通過ingress的方式來實現service的對外服務的暴露。
下載搭建環境所需要的映象
- gcr.io/google_containers/nginx-ingress-controller:0.8.3 (ingress controller 的映象)
- gcr.io/google_containers/defaultbackend:1.0 (預設路由的servcie的映象)
- gcr.io/google_containers/echoserver:1.0 (用於測試ingress的service映象,當然這個你可以換成你自己的service都可以)
說明:由於GFW的原因下載不下來的,都可以到時速雲去下載相應的映象(只要把grc.io
換成index.tenxcloud.com
就可以了),由於我用的是自己私用映象倉庫,所以之後看到的映象都是我自己tag之後上傳到自己私有映象倉庫的。
配置default-http-bankend
首先便捷default-http-backend.yaml:
apiVersion: v1
kind: ReplicationController
metadata:
name: default-http-backend
spec:
replicas: 1
selector:
app: default-http-backend
template:
metadata:
labels:
app: default-http-backend
spec:
terminationGracePeriodSeconds: 60
containers:
- name: default-http-backend
# Any image is permissable as long as: # 1. It serves a 404 page at / # 2. It serves 200 on a /healthz endpoint
image: hub.yfcloud.io/google_containers/defaultbackend:1.0
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
然後建立建立default-http-backend的rc:
kubectl create -f default-http-backend .yaml
最後建立default-http-backend的service,有兩種方式建立,一種是:便捷default-http-backend-service.yaml,另一種通過如下命令建立:
kubectl expose rc default-http-backend --port=80 --target-port=8080 --name=default-http-backend
最後檢視相應的rc以及service是否成功建立:然後自己測試能否正常訪問,訪問方式如下,直接通過的pod的ip/healthz或者serive的ip/(如果是srevice的ip加port)
配置inrgess-controller
首先編輯ingress-controller.yaml檔案:
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx-ingress-controller
labels:
k8s-app: nginx-ingress-lb
spec:
replicas: 1
selector:
k8s-app: nginx-ingress-lb
template:
metadata:
labels:
k8s-app: nginx-ingress-lb
name: nginx-ingress-lb
spec:
terminationGracePeriodSeconds: 60
containers:
- image: hub.yfcloud.io/google_containers/nginx-ingress-controller:0.8.3
name: nginx-ingress-lb
imagePullPolicy: Always
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1 # use downward API
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
ports:
- containerPort: 80
hostPort: 80
- containerPort: 443
hostPort: 443
args:
- /nginx-ingress-controller
- --default-backend-service=$(POD_NAMESPACE)/default-http-backend
imagePullSecrets:
- name: hub.yfcloud.io.key
建立ingress-controller的rc:
kubectl create -f ingress-controller.yaml
最後驗證ingress-controller是否正常啟動成功,方法 如下:檢視ingress-controller中對應pod的ip,然後通過ip:80/healthz 訪問,成功的話會返回 ok。
配置需要測試的service
首先編輯測試用的test.yaml:
apiVersion: v1 kind: ReplicationController metadata:
name: echoheaders
spec:
replicas: 1
template:
metadata:
labels:
app: echoheaders
spec:
containers:
- name: echoheaders
image: hub.yfcloud.io/google_containers/echoserver:test
ports:
- containerPort: 8080
測試service的yaml這裡建立多個:
sv-alp-default.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-default
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30302
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-x.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-x
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30301
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-y.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-y
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30284
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
接著是
配置ingress
編輯ingress-alp.yaml:
apiVersion: extensions/v1beta1 kind: Ingress metadata:
name: echomap
spec:
rules:
- host: foo.bar.com
http:
paths:
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
- host: bar.baz.com
http:
paths:
- path: /bar
backend:
serviceName: echoheaders-y
servicePort: 80
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
最後測試,測試方法有兩種,如下:
方法一:
curl -v http://nodeip:80/foo -H `host: foo.bar.com`
結果如下:
* About to connect() to 183.131.19.232 port 80 (#0)
* Trying 183.131.19.232...
* Connected to 183.131.19.232 (183.131.19.232) port 80 (#0)
> GET /foo HTTP/1.1
> User-Agent: curl/7.29.0
> Accept: */*
> host: foo.bar.com
>
< HTTP/1.1 200 OK
< Server: nginx/1.11.3
< Date: Wed, 12 Oct 2016 10:04:40 GMT
< Transfer-Encoding: chunked
< Connection: keep-alive
<
CLIENT VALUES:
client_address=(`10.1.58.3`, 57364) (10.1.58.3)
command=GET
path=/foo
real path=/foo
query=
request_version=HTTP/1.1
SERVER VALUES:
server_version=BaseHTTP/0.6
sys_version=Python/3.5.0
protocol_version=HTTP/1.0
HEADERS RECEIVED:
Accept=*/*
Connection=close
Host=foo.bar.com
User-Agent=curl/7.29.0
X-Forwarded-For=183.131.19.231
X-Forwarded-Host=foo.bar.com
X-Forwarded-Port=80
X-Forwarded-Proto=http
X-Real-IP=183.131.19.231
* Connection #0 to host 183.131.19.232 left intact
其他路由的測試修改對應的url即可。
**注意:**nodeip是你的ingress-controller所對應的pod所在的node的ip。
方法二:
將訪問url的主機的host中加上:
nodeip foo.bar.com nodeip bar.baz.com
在瀏覽器中直接訪問:
foo.bar.com/foo
bar.baz.com/bar
bar.baz.com/foo
都是可以的。
問題集
在建立ingress-controller的時候報錯(ingress的yaml檔案是官網中的yaml檔案配置,我只改了相對應的映象。):
問題一:
以上錯誤資訊是ingress-controller建立失敗的原因,通過docker log 檢視rc中的對應的ingress-controller的容器的日誌。
原因:從錯誤資訊來看是因為ingress內部程式預設是通過localhost:8080連線master的apiserver,如果是單機版的k8s環境,就不會報這個錯,如果是叢集環境,並且你的ingress-controller的pod所對應的容器不是在master節點上(因為有的叢集環境master也是node,這樣的話,如果你的pod對應的容器在master節點上也不會報這個錯),就會報這個錯。
解決方法:在ingress-controller.yaml中加上如下引數,
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
之後的yaml檔案就是如前面定義的yaml檔案。
問題二:
這個問題是在建立ingress rc成功之後,馬上檢視rc對應的pod對應的容器時報的錯!
從這個問題衍生出個連帶的問題,如下圖:
問題1:
這個問題是在建立ingress rc成功之後,當第一個容器失敗,rc的垃圾機制回收第一次建立停止的容器後,重新啟動的容器。檢視rc對應的pod對應的容器時報的錯!
原因:因為ingress中的原始碼的健康檢查的url改成了 /healthz,而官方文件中的yaml中定義的健康檢查的路由是/ingress-controller-healthz,這個url是ingress的自檢url,當超過8次之後如果得到結果還是unhealthy,則會掛掉ingress對應的容器。
解決方法:將yaml中的健康檢查的url改成:/healthz即可。:
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1
目錄 (Table of Contents)
[TOCM]
概述
用過kubernetes的人都知道,kubernetes的service的網路型別有三種:cluertip,nodeport,loadbanlance,各種型別的作用就不在這裡描述了。如果一個service想向外部暴露服務,有nodeport和loadbanlance型別,但是nodeport型別,你的知道service對應的pod所在的node的ip,而loadbanlance通常需要第三方雲服務商提供支援。如果沒有第三方服務商服務的就沒辦法做了。除此之外還有很多其他的替代方式,以下我主要講解的是通過ingress的方式來實現service的對外服務的暴露。
下載搭建環境所需要的映象
- gcr.io/google_containers/nginx-ingress-controller:0.8.3 (ingress controller 的映象)
- gcr.io/google_containers/defaultbackend:1.0 (預設路由的servcie的映象)
- gcr.io/google_containers/echoserver:1.0 (用於測試ingress的service映象,當然這個你可以換成你自己的service都可以)
說明:由於GFW的原因下載不下來的,都可以到時速雲去下載相應的映象(只要把grc.io
換成index.tenxcloud.com
就可以了),由於我用的是自己私用映象倉庫,所以之後看到的映象都是我自己tag之後上傳到自己私有映象倉庫的。
配置default-http-bankend
首先便捷default-http-backend.yaml:
apiVersion: v1
kind: ReplicationController
metadata:
name: default-http-backend
spec:
replicas: 1
selector:
app: default-http-backend
template:
metadata:
labels:
app: default-http-backend
spec:
terminationGracePeriodSeconds: 60
containers:
- name: default-http-backend
# Any image is permissable as long as: # 1. It serves a 404 page at / # 2. It serves 200 on a /healthz endpoint
image: hub.yfcloud.io/google_containers/defaultbackend:1.0
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
ports:
- containerPort: 8080
resources:
limits:
cpu: 10m
memory: 20Mi
requests:
cpu: 10m
memory: 20Mi
然後建立建立default-http-backend的rc:
kubectl create -f default-http-backend .yaml
最後建立default-http-backend的service,有兩種方式建立,一種是:便捷default-http-backend-service.yaml,另一種通過如下命令建立:
kubectl expose rc default-http-backend --port=80 --target-port=8080 --name=default-http-backend
最後檢視相應的rc以及service是否成功建立:然後自己測試能否正常訪問,訪問方式如下,直接通過的pod的ip/healthz或者serive的ip/(如果是srevice的ip加port)
配置inrgess-controller
首先編輯ingress-controller.yaml檔案:
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx-ingress-controller
labels:
k8s-app: nginx-ingress-lb
spec:
replicas: 1
selector:
k8s-app: nginx-ingress-lb
template:
metadata:
labels:
k8s-app: nginx-ingress-lb
name: nginx-ingress-lb
spec:
terminationGracePeriodSeconds: 60
containers:
- image: hub.yfcloud.io/google_containers/nginx-ingress-controller:0.8.3
name: nginx-ingress-lb
imagePullPolicy: Always
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1 # use downward API
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
ports:
- containerPort: 80
hostPort: 80
- containerPort: 443
hostPort: 443
args:
- /nginx-ingress-controller
- --default-backend-service=$(POD_NAMESPACE)/default-http-backend
imagePullSecrets:
- name: hub.yfcloud.io.key
建立ingress-controller的rc:
kubectl create -f ingress-controller.yaml
最後驗證ingress-controller是否正常啟動成功,方法 如下:檢視ingress-controller中對應pod的ip,然後通過ip:80/healthz 訪問,成功的話會返回 ok。
配置需要測試的service
首先編輯測試用的test.yaml:
apiVersion: v1 kind: ReplicationController metadata:
name: echoheaders
spec:
replicas: 1
template:
metadata:
labels:
app: echoheaders
spec:
containers:
- name: echoheaders
image: hub.yfcloud.io/google_containers/echoserver:test
ports:
- containerPort: 8080
測試service的yaml這裡建立多個:
sv-alp-default.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-default
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30302
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-x.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-x
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30301
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
sv-alp-y.yaml:
apiVersion: v1 kind: Service metadata:
name: echoheaders-y
labels:
app: echoheaders
spec:
type: NodePort
ports:
- port: 80
nodePort: 30284
targetPort: 8080
protocol: TCP
name: http
selector:
app: echoheaders
接著是
配置ingress
編輯ingress-alp.yaml:
apiVersion: extensions/v1beta1 kind: Ingress metadata:
name: echomap
spec:
rules:
- host: foo.bar.com
http:
paths:
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
- host: bar.baz.com
http:
paths:
- path: /bar
backend:
serviceName: echoheaders-y
servicePort: 80
- path: /foo
backend:
serviceName: echoheaders-x
servicePort: 80
最後測試,測試方法有兩種,如下:
方法一:
curl -v http://nodeip:80/foo -H `host: foo.bar.com`
結果如下:
* About to connect() to 183.131.19.232 port 80 (#0)
* Trying 183.131.19.232...
* Connected to 183.131.19.232 (183.131.19.232) port 80 (#0)
> GET /foo HTTP/1.1
> User-Agent: curl/7.29.0
> Accept: */*
> host: foo.bar.com
>
< HTTP/1.1 200 OK
< Server: nginx/1.11.3
< Date: Wed, 12 Oct 2016 10:04:40 GMT
< Transfer-Encoding: chunked
< Connection: keep-alive
<
CLIENT VALUES:
client_address=(`10.1.58.3`, 57364) (10.1.58.3)
command=GET
path=/foo
real path=/foo
query=
request_version=HTTP/1.1
SERVER VALUES:
server_version=BaseHTTP/0.6
sys_version=Python/3.5.0
protocol_version=HTTP/1.0
HEADERS RECEIVED:
Accept=*/*
Connection=close
Host=foo.bar.com
User-Agent=curl/7.29.0
X-Forwarded-For=183.131.19.231
X-Forwarded-Host=foo.bar.com
X-Forwarded-Port=80
X-Forwarded-Proto=http
X-Real-IP=183.131.19.231
* Connection #0 to host 183.131.19.232 left intact
其他路由的測試修改對應的url即可。
**注意:**nodeip是你的ingress-controller所對應的pod所在的node的ip。
方法二:
將訪問url的主機的host中加上:
nodeip foo.bar.com nodeip bar.baz.com
在瀏覽器中直接訪問:
foo.bar.com/foo
bar.baz.com/bar
bar.baz.com/foo
都是可以的。
問題集
在建立ingress-controller的時候報錯(ingress的yaml檔案是官網中的yaml檔案配置,我只改了相對應的映象。):
問題一:
以上錯誤資訊是ingress-controller建立失敗的原因,通過docker log 檢視rc中的對應的ingress-controller的容器的日誌。
原因:從錯誤資訊來看是因為ingress內部程式預設是通過localhost:8080連線master的apiserver,如果是單機版的k8s環境,就不會報這個錯,如果是叢集環境,並且你的ingress-controller的pod所對應的容器不是在master節點上(因為有的叢集環境master也是node,這樣的話,如果你的pod對應的容器在master節點上也不會報這個錯),就會報這個錯。
解決方法:在ingress-controller.yaml中加上如下引數,
- name: KUBERNETES_MASTER
value: http://183.131.19.231:8080
之後的yaml檔案就是如前面定義的yaml檔案。
問題二:
這個問題是在建立ingress rc成功之後,馬上檢視rc對應的pod對應的容器時報的錯!
從這個問題衍生出個連帶的問題,如下圖:
問題1:
這個問題是在建立ingress rc成功之後,當第一個容器失敗,rc的垃圾機制回收第一次建立停止的容器後,重新啟動的容器。檢視rc對應的pod對應的容器時報的錯!
原因:因為ingress中的原始碼的健康檢查的url改成了 /healthz,而官方文件中的yaml中定義的健康檢查的路由是/ingress-controller-healthz,這個url是ingress的自檢url,當超過8次之後如果得到結果還是unhealthy,則會掛掉ingress對應的容器。
解決方法:將yaml中的健康檢查的url改成:/healthz即可。:
readinessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
livenessProbe:
httpGet:
path: /healthz
port: 80
scheme: HTTP
initialDelaySeconds: 10
timeoutSeconds: 1
本文轉自開源中國-Kubernetes Nginx Ingress 安裝與使用
相關文章
- Jenkins安裝與使用Jenkins
- Docker安裝與使用Docker
- Samba安裝與使用Samba
- DRF安裝與使用
- golint 安裝與使用Go
- Supervisor 安裝與使用
- MONGDB 安裝與使用
- nacos安裝與使用
- Presto安裝與使用REST
- Kylin安裝與使用
- Nginx安裝與使用Nginx
- Redis 安裝與使用Redis
- curl 安裝與使用
- MITMF安裝與使用MIT
- Arthas的安裝與使用
- DrissionPage的安裝與使用
- IDM的安裝與使用
- Jupyter Notebook 使用與安裝
- Go 安裝與使用 mqttGoMQQT
- SpringBoot CLI安裝與使用Spring Boot
- nvm的安裝與使用
- kafka的安裝與使用Kafka
- Linux 安裝Nginx與使用LinuxNginx
- sqoop 安裝與配置使用OOP
- Zabbix Agent 安裝與使用
- Anaconda的安裝與使用
- YALMIP安裝與使用整理
- PySpark與GraphFrames的安裝與使用Spark
- window 下 pyenv 安裝與使用
- 線上git安裝與使用Git
- AD元件庫安裝與使用元件
- Memcached安裝與使用例項
- macOS docker/laradock 安裝與使用MacDocker
- Homebrew 換源安裝與使用
- Android studio的安裝與使用Android
- NodeJs安裝與使用入門NodeJS
- Flink 1.7.0 安裝、配置與使用
- Linux 下的 Docker 安裝與使用 Docker-compose 安裝LinuxDocker