![1.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0dfd1644dc644163b2a3ff3fe98145c7~tplv-k3u1fbpfcp-zoom-1.image "1.jpeg")

*本文作者：蔡高揚，Apache RocketMQ Committer, 阿里雲智慧技術專家。*

近期，RocketMQ Operator[1] 正式釋出 0.3.0 版本，該版本包含了哪些特性與最佳化？讓我們一探究竟。

映象地址：

*apache/rocketmq-operator:0.3.0*

OperatorHub地址：

*<https:>*

## 重點特性

**ISSUE #39 支援 RocketMQ Dashboard 部署**

@liuruiyiyang

將 RocketMQ Dashboard[2] 納入RocketMQ Operator 管控，支援一鍵部署並管理 RocketMQ Dashboard，方便使用者對 RocketMQ 進行白屏化管理。

**ISSUE #84 JVM引數生成適配容器化部署**

@overstep123

RocketMQ 映象的啟動指令碼中能根據實際的CPU、記憶體資源生成 JVM 啟動引數，但計算資源時取的是宿主機的資料，透過 Kubernetes resources 設定的資源配額無法感知。在該 ISSUE 中，最佳化為先獲取 cgroup 中的CPU、記憶體配額，如能獲取到資料且不超出宿主機的資源大小，則以 cgroup 中的資料為準生成 JVM 啟動引數。

**ISSUE #96 operator-sdk 版本升級**

@gobbq

operator-sdk 是 RocketMQ Operator 的基礎程式碼與構建框架，先前使用的 0.11.x 版本已不再相容，社群也有反饋使用現行 operator-sdk 無法構建，影響開發活動，因此將其升級為 1.16 版本。此外更新 apiextensions.k8s.io/v1beta1 等已廢棄的 API 版本，使得 RocketMQ Operator 支援 Kubernetes v1.22及以上版本。

**ISSUE #105 支援從 Kubernetes 叢集外部訪問**

@shangjin92

Kubernetes 叢集中的 RocketMQ  預設只能從叢集中的 Pod 訪問。為了使 Kubernetes 叢集外的應用可使用 RocketMQ，擴充套件 Name Service  CRD、Broker CRD 支援 hostNetwork，同時 Broker 向 Name Server 註冊時使用 Node IP。外部應用訪問 Name Server 的地址配置為 Name Server 所在的 Node IP，即可獲取 Broker 的Node IP 從而訪問到 Broker。

更多的特性或bugfix可查閱release notes[3]。

在這裡對大家的貢獻表示感謝，希望大家繼續參與到新版本的貢獻中。

## 使用 RocketMQ Operator 快速部署 RocketMQ 叢集

接下來，我們使用 RocketMQ Operator 0.3.0 版本，展示如何在 Kubernetes 叢集中快速建立部署一個 RocketMQ 服務叢集，並支援應用從 Kubernetes 叢集外訪問。

待部署的 RocketMQ 叢集如下圖所示：叢集中包含2個 Name Server 和1個 Broker叢集，Broker叢集中包含2主2備，提供高可用服務。RocketMQ Operator 負責部署和管理這些模組。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/081e1bb553854c5a83c65520577fbd0a~tplv-k3u1fbpfcp-zoom-1.image "2.png")

1、準備好一套 K8s 叢集，並在你的 K8s 節點上配置好 kubectl 連線資訊。

2、克隆 rocketmq-operator 倉庫到上一步的節點上

```
$ git clone --branch 0.3.0 https://github.com/apache/rocketmq-operator.git
$ cd rocketmq-operator
```

3、執行如下指令碼安裝 RocketMQ Operator

```
$ sh install-operator.sh
```

4、檢查 RocketMQ Operator 是否安裝成功

成功安裝時，rocketmq-operator pod 處於 Running 狀態：

```
$ kubectl get po | grep rocketmq-operator
NAME                                 READY   STATUS    RESTARTS   AGE
rocketmq-operator-84466597d4-jxhgd   1/1     Running   0          28s
```

5、構建用於 K8s 叢集部署的 RocketMQ 5.0 映象

```
$ (cd images/namesrv/alpine/ && sh build-namesrv-image.sh 5.0.0 )
$ (cd images/broker/alpine/ && sh build-broker-image.sh 5.0.0 )
```

6、apply CR 部署 RocketMQ 叢集

執行 kubectl apply -f demo_cluster.yaml，快速部署一個RocketMQ叢集。

demo_cluster.yaml 內容如下：

```
apiVersion: rocketmq.apache.org/v1alpha1
kind: NameService
metadata:
  name: name-service
spec:
  size: 2
  nameServiceImage: apacherocketmq/rocketmq-nameserver:5.0.0-alpine-operator-0.3.0
  imagePullPolicy: IfNotPresent 
  hostNetwork: true
  dnsPolicy: ClusterFirstWithHostNet
  resources:
    requests:
      memory: "2Gi"
      cpu: "1000m"
    limits:
      memory: "2Gi"
      cpu: "2000m"
  # storageMode can be EmptyDir, HostPath, StorageClass
  storageMode: EmptyDir
  # hostPath is the local path to store data
  hostPath: /data/rocketmq/nameserver
  # volumeClaimTemplates defines the storageClass
  volumeClaimTemplates:
    - metadata:
        name: namesrv-storage
      spec:
        accessModes: [ "ReadWriteOnce" ]
        resources:
          requests:
            storage: 1Gi

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: broker-config
data:
  broker-common.conf: |
    BROKER_MEM: " -Xms2g -Xmx2g -Xmn1g "
    flushDiskType=ASYNC_FLUSH
    # set brokerRole to ASYNC_MASTER or SYNC_MASTER. DO NOT set to SLAVE because the replica instance will automatically be set!!!
    brokerRole=ASYNC_MASTER

---
apiVersion: rocketmq.apache.org/v1alpha1
kind: Broker
metadata:
  # name of broker cluster
  name: broker
spec:
  hostNetwork: true
  # size is the number of the broker cluster, each broker cluster contains a master broker and [replicaPerGroup] replica brokers.
  size: 2
  # replicaPerGroup is the number of each broker cluster
  replicaPerGroup: 1
  brokerImage: apacherocketmq/rocketmq-broker:5.0.0-alpine-operator-0.3.0
  imagePullPolicy: IfNotPresent
  resources:
    requests:
      memory: "4Gi"
      cpu: "2000m"
    limits:
      memory: "4Gi"
      cpu: "4000m"
  allowRestart: true
  # storageMode can be EmptyDir, HostPath, StorageClass
  storageMode: EmptyDir
  # hostPath is the local path to store data
  hostPath: /data/rocketmq/broker
  # scalePodName is [Broker name]-[broker group number]-master-0
  scalePodName: broker-0-master-0
  env:
    - name: BROKER_MEM
      valueFrom:
        configMapKeyRef:
          name: broker-config
          key: BROKER_MEM
  # volumes defines the broker.conf
  volumes:
    - name: broker-config
      configMap:
        name: broker-config
        items:
          - key: broker-common.conf
            path: broker-common.conf
  # volumeClaimTemplates defines the storageClass
  volumeClaimTemplates:
    - metadata:
        name: broker-storage
      spec:
        accessModes: [ "ReadWriteOnce" ]
        resources:
          requests:
            storage: 2Gi
```

上述例子僅供開發測試使用，因其 storageMode 的值配置為 EmptyDir，儲存資料會隨著 Pod 的刪除而刪除。在生產環境使用時，應使用 HostPath 或 StorageClass 掛載儲存來持久化資料。兩種配置的詳細使用說明可參考 RocketMQ Operator 使用文件[4]。

7、檢視 Pod 狀態，可檢視成功部署2個 Name Server，4個 Broker。由於這些 Pod 採用 Host Network，其 IP 與所在節點的 IP 相同。

```
# kubectl get po -owide
NAME                                 READY   STATUS    RESTARTS   AGE   IP            NODE                       NOMINATED NODE   READINESS GATES
broker-0-master-0                    1/1     Running   0          79s   172.16.0.23   172.16.0.23                <none>           <none>
broker-0-replica-1-0                 1/1     Running   0          79s   172.16.0.24   172.16.0.24                <none>           <none>
broker-1-master-0                    1/1     Running   0          79s   172.16.0.25   172.16.0.25                <none>           <none>
broker-1-replica-1-0                 1/1     Running   0          79s   172.16.0.251   172.16.0.251               <none>           <none>
name-service-0                       1/1     Running   0          79s   172.16.0.25   172.16.0.25                <none>           <none>
name-service-1                       1/1     Running   0          77s   172.16.0.23   172.16.0.23                <none>           <none>
rocketmq-operator-84466597d4-jxhgd   1/1     Running   0          37m   172.16.0.22   172.16.0.251               <none>           <none>
```

至此，RocketMQ Operator 已成功拉起一套 RocketMQ 叢集。接下來我們對該叢集進行檢查。

-   檢視叢集狀態

進入任意一個 Broker Pod，執行 sh mqadmin clusterlist 檢視叢集資訊：

```
$ kubectl exec -it broker-0-master-0 -- sh

~/rocketmq/broker/bin # sh mqadmin clusterlist
#Cluster Name           #Broker Name            #BID  #Addr                  #Version              #InTPS(LOAD)     #OutTPS(LOAD)  #Timer(Progress)        #PCWait(ms)  #Hour         #SPACE    #ACTIVATED
broker                  broker-0                0     172.16.0.25:10911      V5_0_0                 0.00(0,0ms)       0.00(0,0ms)  0-0(0.0w, 0.0, 0.0)               0  462803.97     0.1100          true
broker                  broker-0                1     172.16.0.24:10911      V5_0_0                 0.00(0,0ms)       0.00(0,0ms)  2-0(0.0w, 0.0, 0.0)               0  462803.97     0.1200         false
broker                  broker-1                0     172.16.0.23:10911      V5_0_0                 0.00(0,0ms)       0.00(0,0ms)  0-0(0.0w, 0.0, 0.0)               0  462803.97     0.1100          true
broker                  broker-1                1     172.16.0.251:10911     V5_0_0                 0.00(0,0ms)       0.00(0,0ms)  2-0(0.0w, 0.0, 0.0)               0  462803.97     0.2200         false
```

在上圖的例子中，可以見到有兩組 Broker 叢集，分別是 broker-0、broker-1，每組叢集中，BID=0的是主節點，其餘為備節點。

-   訊息收發測試

在上述 K8s 叢集之外的一臺機器（需與 K8s 節點網路可達）中，安裝 JDK 等依賴包，下載 RocketMQ 並解壓：

```
$ yum -y install java-1.8.0-openjdk-devel unzip telnet

$ wget  https://archive.apache.org/dist/rocketmq/5.0.0/rocketmq-all-5.0.0-bin-release.zip
unzip rocketmq-all-5.0.0-bin-release.zip 
```

設定 NAMESRV_ADDR 環境變數，其值為 Name Server 所在節點 IP:9876（本例子中取 172.16.0.25:9876）。

進入解壓後的目錄，執行 tools.sh 指令碼啟動示例 Producer 傳送訊息：

```
$ export NAMESRV_ADDR=172.16.0.25:9876

$ sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
SendResult [sendStatus=SEND_OK, msgId=7F0000010C9B76ED55285BE804980000, offsetMsgId=AC10001900002A9F0000000000000000, messageQueue=MessageQueue [topic=TopicTest, brokerName=broker-0, queueId=0], queueOffset=0]
SendResult [sendStatus=SEND_OK, msgId=7F0000010C9B76ED55285BE804B70001, offsetMsgId=AC10001900002A9F00000000000000E7, messageQueue=MessageQueue [topic=TopicTest, brokerName=broker-0, queueId=1], queueOffset=0]
SendResult [sendStatus=SEND_OK, msgId=7F0000010C9B76ED55285BE804B90002, offsetMsgId=AC10001900002A9F00000000000001CE, messageQueue=MessageQueue [topic=TopicTest, brokerName=broker-0, queueId=2], queueOffset=0]
...
```

繼續執行 tools.sh 指令碼啟動示例 Consumer，將列印剛才傳送的訊息：

```
$ sh tools.sh org.apache.rocketmq.example.quickstart.Consumer
Consumer Started.
ConsumeMessageThread_please_rename_unique_group_name_4_1 Receive New Messages: [MessageExt [brokerName=broker-1, queueId=0, storeSize=231, queueOffset=0, sysFlag=0, bornTimestamp=1666095532223, bornHost=/172.16.0.38:43968, storeTimestamp=1666095532234, storeHost=/172.16.0.23:10911, msgId=AC10001700002A9F0000000000000000, commitLogOffset=0, bodyCRC=601994070, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, TRACE_ON=true, MAX_OFFSET=125, MSG_REGION=DefaultRegion, CONSUME_START_TIME=1666095549194, UNIQ_KEY=7F0000010C9B76ED55285BE804BF0004, CLUSTER=broker, WAIT=true, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 32, 52], transactionId='null'}]] 
...
```

## 未來展望

下一步 RocketMQ Operator 將全面擁抱 RocketMQ 5.0，重點實現主備自主切換叢集支援、Proxy部署、Container對等部署、Docker映象與 rocketmq-docker 專案統一等特性，持續完善 RocketMQ Operator 。

歡迎大家使用RocketMQ Operator，提出寶貴建議，也可以透過調查問卷[5]方式向社群提供你的使用場景、期望特性等資訊。

## 相關連結

[1] RocketMQ Operator專案：

*<https:>*

[2] *<https:>*

[3] Release Notes：

*<https:>*

[4] *<https:>*

[5] *<https:>*

## 加入 Apache RocketMQ 社群

十年鑄劍，Apache RocketMQ 的成長離不開全球接近 500 位開發者的積極參與貢獻，相信在下個版本你就是 Apache RocketMQ 的貢獻者，在社群不僅可以結識社群大牛，提升技術水平，也可以提升個人影響力，促進自身成長。  
  
社群 5.0 版本正在進行著如火如荼的開發，另外還有接近 30 個 SIG（興趣小組）等你加入，歡迎立志打造世界級分散式系統的同學加入社群，新增社群開發者微信：rocketmq666 即可進群，參與貢獻，打造下一代訊息、事件、流融合處理平臺。

![3.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1d0cb274af3a4880b814ad012623da3e~tplv-k3u1fbpfcp-zoom-1.image "3.jpeg")

微信掃碼新增小火箭進群

另外還可以加入釘釘群與 RocketMQ 愛好者一起廣泛討論：

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d41590d1cbce465b990a843157bcab32~tplv-k3u1fbpfcp-zoom-1.image "4.png")

釘釘掃碼加群

關注「Apache RocketMQ」公眾號獲取更多技術乾貨</https:></https:></https:></https:></https:></none></none></none></none></none></none></none></none></none></none></none></none></none></none></https:>

持續最佳化，欣欣向雲 | RocketMQ Operator 0.3.0 正式釋出

相關文章