K8S環境快速部署Kafka(K8S外部可訪問)

程式設計師欣宸發表於2022-12-16
K8SKafka

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

如何快速部署

  1. 藉助Helm，只需少量操作即可部署kafka；
  2. kafka和zookeeper對儲存都有需求，若提前準備了StorageClass，儲存一事則變得十分簡單

參考文章

本次實戰涉及到的K8S、Helm、NFS、StorageClass等前置條件，它們的安裝和使用請參考：

  1. 《kubespray2.11安裝kubernetes1.15》
  2. 《部署和體驗Helm(2.16.1版本)》
  3. 《Ubuntu16環境安裝和使用NFS》
  4. 《K8S使用群暉DS218+的NFS》
  5. 《K8S的StorageClass實戰(NFS)》

環境資訊

本次實戰的作業系統和軟體的版本資訊如下：

  1. Kubernetes：1.15
  2. Kubernetes宿主機：CentOS Linux release 7.7.1908
  3. NFS服務：IP地址192.168.50.135，資料夾/volume1/nfs-storageclass-test
  4. Helm：2.16.1
  5. Kafka：2.0.1
  6. Zookeeper：3.5.5

接下來的實戰之前，請您準備好：K8S、Helm、NFS、StorageClass；

操作

  1. 新增helm倉庫(該倉庫中有kafka)：helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
  2. 下載kafka的chart：helm fetch incubator/kafka
  3. 下載成功後當前目錄有個壓縮包：kafka-0.20.8.tgz，解壓：tar -zxvf kafka-0.20.8.tgz
  4. 進入解壓後的kafka目錄，編輯values.yaml檔案，下面是具體的修改點：
  5. 首先要設定在K8S之外的也能使用kafka服務，修改external.enabled的值，改為true：

在這裡插入圖片描述
6. 找到configurationOverrides，下圖兩個黃框中的內容原本是註釋的，請刪除註釋符號，另外，如果您之前設定過跨網路訪問kafka，就能理解下面寫入K8S宿主機IP的原因了：

在這裡插入圖片描述
7. 接下來設定資料卷，找到persistence，按需要調整大小，再設定已準備好的storageclass的名稱：

在這裡插入圖片描述
8. 再設定zookeeper的資料卷：

在這裡插入圖片描述
9. 設定完成，開始部署，先建立namespace，執行：kubectl create namespace kafka-test
10. 在kafka目錄下執行：helm install --name-template kafka -f values.yaml . --namespace kafka-test
11. 如果前面的配置沒有問題，控制檯提示如下所示：

在這裡插入圖片描述
12. kafka啟動依賴zookeeper，整個啟動會耗時數分鐘，期間可見zookeeper和kafka的pod逐漸啟動：

在這裡插入圖片描述
13. 檢視服務：kubectl get services -n kafka-test，如下圖紅框所示，通過宿主機IP:31090、宿主機IP:31091、宿主機IP:31092即可從外部訪問kafka：

在這裡插入圖片描述
14. 檢視kafka版本：kubectl exec kafka-0 -n kafka-test -- sh -c 'ls /usr/share/java/kafka/kafka_*.jar' ，如下圖紅框所示，scala版本2.11，kafka版本2.0.1：

在這裡插入圖片描述

  1. kafka啟動成功後，我們們來驗證服務是否正常；

對外暴露zookeeper

  1. 為了遠端操作kafka，有時需要連線到zookeeper，所以需要將zookeeper也暴露出來；
  2. 建立檔案zookeeper-nodeport-svc.yaml，內容如下：
apiVersion: v1
kind: Service
metadata:
  name: zookeeper-nodeport
  namespace: kafka-test
spec:
  type: NodePort
  ports:
       - port: 2181
         nodePort: 32181
  selector:
    app: zookeeper
    release: kafka
  1. 執行命令：kubectl apply -f zookeeper-nodeport-svc.yaml
  2. 檢視服務，發現已經可以通過宿主機IP:32181訪問zookeeper了，如下圖：
    在這裡插入圖片描述

驗證kafka服務

找一臺電腦安裝kafka包，就能通過裡面自帶的命令遠端連線和操作K8S的kafka了：

  1. 訪問kafka官網：http://kafka.apache.org/downloads ，剛才確定了scala版本2.11，kafka版本2.0.1，因此下載下圖紅框中的版本：

在這裡插入圖片描述
2. 下載後解壓，進入目錄kafka_2.11-2.0.1/bin
3. 檢視當前topic：

./kafka-topics.sh --list --zookeeper 192.168.50.135:32181

如下圖，空空如也：

在這裡插入圖片描述
4. 建立topic：

./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001

如下圖，建立成功後再檢視topic終於有內容了：

在這裡插入圖片描述
5. 檢視名為test001的topic：

./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001

在這裡插入圖片描述
6. 進入建立訊息的互動模式：

./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001

進入互動模式後，輸入任何字串再輸入回車，就會將當前內容作為一條訊息傳送出去：

在這裡插入圖片描述
7. 再開啟一個視窗，執行命令消費訊息：

./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning

在這裡插入圖片描述
8. 再開啟一個視窗，執行命令檢視消費者group：

./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list

如下圖可見groupid等於console-consumer-21022

在這裡插入圖片描述
9. 執行命令檢視groupid等於console-consumer-21022的消費情況：

./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090

如下圖所示：

在這裡插入圖片描述
遠端連線kafka體驗基本功能完畢，檢視、收發訊息都正常，證明本次部署成功；

kafkacat連線

  1. kafkacat是個客戶端工具，我這裡是在MacBook Pro上用brew安裝的；
  2. 我這裡K8S伺服器IP是192.168.50.135，因此執行此命令檢視kafka資訊：kafkacat -b 192.168.50.135:31090 -L，如下圖，可以看到broker資訊，以及topic資訊(一個是test001，還有一個是consumer的offset)，把埠換成31091和31092會連線到另外兩個broker，也能得到相同資訊：

在這裡插入圖片描述

清理資源

本次實戰建立了很多資源：rbac、role、serviceaccount、pod、deployment、service，下面的指令碼可以將這些資源清理掉(只剩NFS的檔案沒有被清理掉)：

helm del --purge kafka
kubectl delete service zookeeper-nodeport -n kafka-test
kubectl delete storageclass managed-nfs-storage
kubectl delete deployment nfs-client-provisioner -n kafka-test
kubectl delete clusterrolebinding run-nfs-client-provisioner
kubectl delete serviceaccount nfs-client-provisioner -n kafka-test
kubectl delete role leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-test
kubectl delete clusterrole nfs-client-provisioner-runner
kubectl delete namespace kafka-test

至此，K8S環境部署和驗證kafka的實戰就完成了，希望能給您提供一些參考；

歡迎關注公眾號：程式設計師欣宸

微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos

相關文章