Strimzi Kafka Bridge(橋接)實戰之一：簡介和部署

程式設計師欣宸發表於2023-09-27
Kafka橋接

歡迎訪問我的GitHub

這裡分類和彙總了欣宸的全部原創(含配套原始碼)：https://github.com/zq2599/blog_demos

關於《Strimzi Kafka Bridge(橋接)實戰》

  • 在strimzi技術體系中，橋接(bridge)是很要的功能，內容也很豐富，因此將橋接相關的內容從《strimzi實戰》系列中獨立出來，成立橋接相關的系列文章，便於分類和專項深入

本篇概覽

  • 本文是《Strimzi Kafka Bridge(橋接)實戰》系列的第一篇，按照慣例，先做好介紹和部署工作，以便後續深入學習
  • 什麼是橋接？來看官方說明，如下圖，最上面的Brokers就是核心的kafka服務，底部的Client是業務應用，分為訊息生產者(Producers)和消費者(Consumers)兩類，正中心藍色背景的Strimzi Kafka Bridge就是今天的主角：strimzi橋接服務，從下圖很容易看出它的作用：透過http介面來生產和消費kafka訊息
    在這裡插入圖片描述
  • 在整個strimzi技術體系中，bridge可謂舉足輕重，如下圖紅框，官方為bridge準備了專門文件連結，這是其他擴充套件元件都沒有的待遇
    在這裡插入圖片描述

安裝方式的選擇

  • bridge支援在兩種環境下安裝：
  1. kubernetes環境：使用strimzi的kafka-operator安裝
  2. 非kubernetes環境：使用bridge的安裝包，解壓後修改配置檔案，然後用內建的shell檔案啟動即可
  • 整個《strimzi實戰》系列都是在kubernetes環境中操作的，所以本篇只考慮上述第一種安裝方式：kafka-operator
  • 整個部署過程非常簡單，首先確認kubernetes和strimzi的operator都已經部署完成，kafka服務也已經部署好了（部署細節請參考《strimzi實戰之二：部署和訊息功能初體驗》）
  • 第二步：新增名為kafka-bridge.yaml的檔案，內容如下
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaBridge
metadata:
  name: my-bridge
spec:
  replicas: 1
  bootstrapServers: my-cluster-kafka-bootstrap:9092
  http:
    port: 8080
  • 執行以下命令開始部署bridge，我這裡kafka服務的namespace是aabbcc，請您改為自己實際的namespace
kubectl apply -f kafka-bridge.yaml -n aabbcc
  • 檢視deployment、service、pod，發現均有新增，如下圖
    在這裡插入圖片描述
  • 從上圖可見，bridge的service是ClusterIP型別，其值是10.96.0.222，於是迫不及待的試試bridge，執行以下命令，向bridge發出第一個請求，功能是獲取所有topic
curl -X GET http://10.96.0.222:8080/topics
  • 成功收到bridge的響應，如下圖，現有全部topic都返回了
    在這裡插入圖片描述

增加一個service，使得可以從外部訪問

  • bridge的服務是ClusterIP型別，外部無法訪問，那就新增一個NodePort型別的服務吧，新建檔案bridge-service-nodeport.yaml，內容如下，31331是我在宿主機上隨便找了個未佔用的埠，您隨意
apiVersion: v1
kind: Service
metadata:
  name: bridge-nodeport
spec:
  type: NodePort
  ports:
  - port: 8080
    nodePort: 31331
  selector:
    strimzi.io/cluster: my-bridge
    strimzi.io/kind: KafkaBridge
    strimzi.io/name: my-bridge-bridge
  • 執行以下命令讓上述service生效，我這裡kafka服務的namespace是aabbcc，請您改為自己實際的namespace
kubectl apply -f bridge-service-nodeport.yaml -n aabbcc
  • 從宿主機暴露埠後，就可以用客戶端工具（例如apipost）遠端訪問了，如下圖
    在這裡插入圖片描述

安全問題（需要自己處理）

  • 從前面的架構圖可以看出，業務服務與bridge之間是http協議，那麼存在安全問題嗎（畢竟是遠端呼叫）？如果真的存在安全問題，strimzi都應對之策嗎？
  • 安全問題確實存在，而且strimzi的應對之策也真夠敷衍...不多說了，來圍觀吧
    在這裡插入圖片描述
  • 調侃歸調侃，但是真正使用bridge的時候，尤其是應用與bridge不在同一個內網環境時，一定要自己做好安全工作
  • 至此，Strimzi Kafka Bridge的介紹和部署已經完成，接下來的文章會有更多實戰等著我們們，透過實際操作熟練掌握橋接特性

歡迎關注部落格園：程式設計師欣宸

學習路上，你不孤單，欣宸原創一路相伴...

相關文章