Knative 實戰:基於 Kafka 實現訊息推送

阿里系統軟體技術發表於2022-12-06

導讀:當前在 Knative 中已經提供了對 Kafka 事件源的支援,那麼如何基於 Kafka 實現訊息推送呢?本文作者將以阿里雲 Kafka 產品為例,給大家解鎖這一新的姿勢。

作者 | 元毅 阿里雲智慧事業群高階開發工程師

背景


訊息佇列 for Apache Kafka 是阿里雲提供的分散式、高吞吐、可擴充套件的訊息佇列服務。訊息佇列 for Apache Kafka 廣泛用於日誌收集、監控資料聚合、流式資料處理、線上和離線分析等大資料領域,已成為大資料生態中不可或缺的部分。
結合 Knative 中提供了 KafkaSource 事件源的支援, 可以方便的對接 Kafka 訊息服務。
另外也可以安裝社群 Kafka 2.0.0 及以上版本使用。

在阿里雲上建立 Kafka 例項

建立 Kafka 例項

登入訊息佇列 Kafka 控制檯, 選擇【購買例項】。由於當前 Knative 中 Kafka 事件源支援 2.0.0 及以上版本,在阿里雲上建立 Kafka 例項需要選擇包年包月、專業版本進行購買,購買之後升級到 2.0.0 即可。
Knative 實戰:基於 Kafka 實現訊息推送

部署例項並繫結 VPC

購買完成之後,進行部署,部署時設定 Knative 叢集所在的 VPC 即可:

Knative 實戰:基於 Kafka 實現訊息推送

建立 Topic 和 Consumer Group

接下來我們建立 Topic 和消費組。
進入【Topic 管理】,點選 建立 Topic, 這裡我們建立名稱為 demo 的 topic:
Knative 實戰:基於 Kafka 實現訊息推送
進入【Consumer Group 管理】,點選 建立 Consumer Group, 這裡我們建立名稱為 demo-consumer 的消費組:

Knative 實戰:基於 Kafka 實現訊息推送

部署 Kafka 資料來源

部署 Kafka addon 元件

登入容器服務控制檯,進入【Knative 元件管理】,部署 Kafka addon 元件。
Knative 實戰:基於 Kafka 實現訊息推送

建立 KafkaSource 例項

首先建立用於接收事件的服務 event-display:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: event-display
spec:
  template:
    spec:
      containers:
      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d
接下來建立 KafkaSource:
apiVersion: sources.eventing.knative.dev/v1alpha1
kind: KafkaSource
metadata:
  name: alikafka-source
spec:
  consumerGroup: demo-consumer
  # Broker URL. Replace this with the URLs for your kafka cluster,
  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.
  bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092
  topics: demo
  sink:
    apiVersion: serving.knative.dev/v1alpha1
    kind: Service
    name: event-display
說明:
  • bootstrapServers: Kafka VPC 訪問地址
  • consumerGroup: 設定消費組
  • topics:設定 Topic
    建立完成之後,我們可以檢視對應的例項已經執行:
    [root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods
    NAME                                    READY   STATUS    RESTARTS   AGE
    alikafka-source-k22vz-db44cc7f8-879pj   1/1     Running   0          8h

    驗證

    在 Kafka 控制檯,選擇 topic 傳送訊息,注意這裡的訊息格式必須是 json 格式:
    Knative 實戰:基於 Kafka 實現訊息推送
    我們可以看到已經接收到了傳送過來的 Kafka 訊息:
    [root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container

    ☁️  CloudEvent: valid ✅
    Context Attributes,
      SpecVersion: 0.2
      Type: dev.knative.kafka.event
      Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo
      ID: partition:7/offset:1
      Time: 2019-10-18T08:50:32.492Z
      ContentType: application/json
      Extensions: 
        key: demo
    Transport Context,
      URI: /
      Host: event-display.default.svc.cluster.local
      Method: POST
    Data,
      {
        "key""test"
      }

    小結

    結合阿里雲 Kafka 產品,透過事件驅動觸發服務(函式)執行,是不是簡單又高效?

    這樣我們利用 Knative 得以把雲原生的能力充分釋放出來,帶給我們更多的想象空間。歡迎對 Knative 感興趣的一起交流。

    來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31555606/viewspace-2661501/,如需轉載,請註明出處,否則將追究法律責任。

    相關文章