### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 如何快速部署
1. 藉助Helm，只需少量操作即可部署kafka；
2. kafka和zookeeper對儲存都有需求，若提前準備了StorageClass，儲存一事則變得十分簡單
### 參考文章
- 本次實戰涉及到的K8S、Helm、NFS、StorageClass等前置條件，它們的安裝和使用請參考：
1. [《kubespray2.11安裝kubernetes1.15》](https://blog.csdn.net/boling_cavalry/article/details/103106314)
2. [《部署和體驗Helm(2.16.1版本)》](https://blog.csdn.net/boling_cavalry/article/details/103667500)
3. [《Ubuntu16環境安裝和使用NFS》](https://blog.csdn.net/boling_cavalry/article/details/79498346)
4. [《K8S使用群暉DS218+的NFS》](https://blog.csdn.net/boling_cavalry/article/details/105465233)
5. [《K8S的StorageClass實戰(NFS)》](https://blog.csdn.net/boling_cavalry/article/details/105465672)
### 環境資訊
- 本次實戰的作業系統和軟體的版本資訊如下：
1. Kubernetes：1.15
2. Kubernetes宿主機：CentOS Linux release 7.7.1908
3. NFS服務：IP地址 **192.168.50.135** ，資料夾 **/volume1/nfs-storageclass-test**
4. Helm：2.16.1
5. Kafka：2.0.1
6. Zookeeper：3.5.5

- 接下來的實戰之前，請您準備好：K8S、Helm、NFS、StorageClass；
### 操作
- 新增helm倉庫(該倉庫中有kafka)： **helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator**
- 下載kafka的chart： **helm fetch incubator/kafka**
- 下載成功後當前目錄有個壓縮包： **kafka-0.20.8.tgz** ，解壓： **tar -zxvf kafka-0.20.8.tgz**
4. 進入解壓後的kafka目錄，編輯 **values.yaml** 檔案，下面是具體的修改點：
- 首先要設定在K8S之外的也能使用kafka服務，修改 **external.enabled** 的值，改為 **true** ：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111135937.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 找到 **configurationOverrides** ，下圖兩個黃框中的內容原本是註釋的，請刪除註釋符號，另外，如果您之前設定過跨網路訪問kafka，就能理解下面寫入K8S宿主機IP的原因了：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111241502.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 接下來設定資料卷，找到 **persistence** ，按需要調整大小，再設定已準備好的 **storageclass** 的名稱：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111304298.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 再設定zookeeper的資料卷：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111316158.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 設定完成，開始部署，先建立namespace，執行： **kubectl create namespace kafka-test**
- 在kafka目錄下執行： **helm install --name-template kafka -f values.yaml . --namespace kafka-test**
- 如果前面的配置沒有問題，控制檯提示如下所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111422912.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- kafka啟動依賴zookeeper，整個啟動會耗時數分鐘，期間可見zookeeper和kafka的pod逐漸啟動：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111440564.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 檢視服務：kubectl get services -n kafka-test，如下圖紅框所示，透過 **宿主機IP:31090、宿主機IP:31091、宿主機IP:31092** 即可從外部訪問kafka：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111507712.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 檢視kafka版本： **kubectl exec kafka-0 -n kafka-test -- sh -c 'ls /usr/share/java/kafka/kafka_*.jar'**  ，如下圖紅框所示，scala版本 **2.11** ，kafka版本 **2.0.1** ：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111556782.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- kafka啟動成功後，我們們來驗證服務是否正常；
### 對外暴露zookeeper
- 為了遠端操作kafka，有時需要連線到zookeeper，所以需要將zookeeper也暴露出來；
- 建立檔案 **zookeeper-nodeport-svc.yaml** ，內容如下：
```yml
apiVersion: v1
kind: Service
metadata:
  name: zookeeper-nodeport
  namespace: kafka-test
spec:
  type: NodePort
  ports:
       - port: 2181
         nodePort: 32181
  selector:
    app: zookeeper
    release: kafka
```

- 執行命令： **kubectl apply -f zookeeper-nodeport-svc.yaml**
- 檢視服務，發現已經可以透過 **宿主機IP:32181** 訪問zookeeper了，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111743155.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 驗證kafka服務
- 找一臺電腦安裝kafka包，就能透過裡面自帶的命令遠端連線和操作K8S的kafka了：

- 訪問kafka官網： **http://kafka.apache.org/downloads**  ，剛才確定了scala版本 **2.11** ，kafka版本 **2.0.1** ，因此下載下圖紅框中的版本：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111826812.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 下載後解壓，進入目錄 **kafka_2.11-2.0.1/bin**
- 檢視當前topic：
```shell
./kafka-topics.sh --list --zookeeper 192.168.50.135:32181
```
- 如下圖，空空如也：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111901823.png)
- 建立topic：
```shell
./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001
```
如下圖，建立成功後再檢視topic終於有內容了：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111923347.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 檢視名為test001的topic：
```shell
./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412111942904.png)
- 進入建立訊息的互動模式：
```shell
./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001
```
進入互動模式後，輸入任何字串再輸入回車，就會將當前內容作為一條訊息傳送出去：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412112006743.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 再開啟一個視窗，執行命令消費訊息：
```shell
./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412112024803.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 再開啟一個視窗，執行命令檢視消費者group：
```shell
./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list
```
如下圖可見groupid等於 **console-consumer-21022**
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412112102102.png)
- 執行命令檢視groupid等於console-consumer-21022的消費情況：
```shell
./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090
```
- 如下圖所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412112439348.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 遠端連線kafka體驗基本功能完畢，檢視、收發訊息都正常，證明本次部署成功；
### kafkacat連線
- afkacat是個客戶端工具，我這裡是在MacBook Pro上用brew安裝的；
- 我這裡K8S伺服器IP是 **192.168.50.135** ，因此執行此命令檢視kafka資訊： **kafkacat -b 192.168.50.135:31090 -L** ，如下圖，可以看到broker資訊，以及topic資訊(一個是test001，還有一個是consumer的offset)，把埠換成 **31091** 和 **31092** 會連線到另外兩個broker，也能得到相同資訊：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200412112545345.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 清理資源
- 本次實戰建立了很多資源：rbac、role、serviceaccount、pod、deployment、service，下面的指令碼可以將這些資源清理掉(只剩NFS的檔案沒有被清理掉)：
```shell
helm del --purge kafka
kubectl delete service zookeeper-nodeport -n kafka-test
kubectl delete storageclass managed-nfs-storage
kubectl delete deployment nfs-client-provisioner -n kafka-test
kubectl delete clusterrolebinding run-nfs-client-provisioner
kubectl delete serviceaccount nfs-client-provisioner -n kafka-test
kubectl delete role leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete clusterrole nfs-client-provisioner-runner
kubectl delete namespace kafka-test
```
- 至此，K8S環境部署和驗證kafka的實戰就完成了，希望能給您提供一些參考；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

K8S環境快速部署Kafka(K8S外部可訪問)

相關文章