![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/5ab95ea05c134c1ba474056f610aca97.png)

作者 | 劉睿、杜恆

> **導讀**：[RocketMQ Operator](https://github.com/apache/rocketmq-operator) 現已加入 [OperatorHub](https://operatorhub.io/)，正式進入 Operator 社群。本文將從實踐出發，結合案例來說明，如何透過 RocketMQ Operator 在 Kubernetes 上快速搭建一個 RocketMQ 叢集，並提供一些 RocketMQ 叢集管理功能包括 Broker 擴容等。

本文主要分為三個部分：

- 首先簡單介紹一下 RocketMQ Operator 的相關知識；
- 然後結合案例詳細介紹 RocketMQ Operator 提供的自定義資源及使用方法；
- 最後介紹 Operator 社群目前的情況並展望 RocketMQ Operator 下一步的發展方向。

# 相關背景知識

## 1. RocketMQ

2012~2013 年期間，阿里巴巴中介軟體團隊自主研發並對外開源了第三代分散式訊息引擎 RocketMQ，其高效能、低延遲、抗堆積的特性穩定支撐了阿里巴巴 雙11 萬億級資料洪峰業務，其雲產品 Aliware MQ 在微服務、流計算、IoT、非同步解耦、資料同步等無數工況場景大放異彩。

2016 年，阿里巴巴向 Apache 軟體基金會捐贈了 RocketMQ。次年，RocketMQ 順利從基金會畢業，成為 Apache 頂級開源專案，與 Apache Hadoop，Apache Spark 一起為全球分散式、大資料領域的開發者帶來福音。然而，在雲原生時代的今天，RocketMQ 作為有狀態的分散式服務系統，如何在大規模叢集上做到極簡運維，則是一個極具挑戰和價值的問題。

RocketMQ 支援多種部署方式，以基本的雙主雙從架構為例，如下圖所示。

![1.png](https://ucc.alicdn.com/pic/developer-ecology/495201244f974afc91d675b67742229d.png)

RocketMQ 雙主雙從架構

這裡麵包括了一共 7 個 RocketMQ 服務例項：3 個 name server 例項，2 個 master broker 例項，以及 2 個 slave broker 例項。

傳統的部署方式需要手動或編寫指令碼在每個節點上進行環境和檔案配置。此外，隨著使用者業務的增加，存在對叢集進行無縫擴容等需求。傳統方式是運維人員訪問不同節點，依賴操作手冊和指令碼按步驟進行操作來完成，耗費人力，且存在誤操作的可能。一些公司可能會使用一些平臺和工具如 Ansible 來幫助自動化運維，此外越來越多的公司開始整合和使用基於 Kubernetes 的雲原生生態。

使用 Kubernetes 提供的 Deployment 和 StatefulSet 等原生資源可以很好地解決無狀態應用的管理問題，但對於資料庫和 RocketMQ 這類有狀態應用，則存在很多侷限性。例如對 RocketMQ 來說擴容不僅僅是拉起新的例項 Pod 就完成了，還需要同步複製 Broker 的狀態資訊包括 Topic 資訊和訂閱關係這些後設資料，同時要正確配置新 Broker 的 config 引數，包括 brokerName 和 NameServer IP List 等，才能使得新擴容的 Broker 可用，而這些僅僅靠使用者編寫 StatefulSet，修改 size 或 replicas 然後 apply 是無法做到的。

實際上 Kubernetes 開發人員也發現了這些問題，因此引入了自定義資源和控制器的概念，讓開發人員可以直接用 Go 語言呼叫 Kubernetes API，編寫自定義資源和對應的控制器邏輯來解決複雜有狀態應用的管理問題，提供特定應用相關的自定義資源的這類程式碼元件稱之為 Operator。由具備 RocketMQ 領域知識的專家編寫 Operator，遮蔽了應用領域的專業知識，讓使用者只需要關心和定義希望達到的叢集終態，這也是 Kubernetes 宣告式 API 的設計哲學。

## 2. Kubernetes Operator

Operator 是在 Kubernetes 基礎上透過擴充套件 Kubernetes API，用來建立、配置和管理複雜的有狀態應用，如分散式資料庫等。Operator 基於 Kubernetes 1.7 版本以來引入的自定義控制器的概念，在自定義資源和控制器之上構建，同時又包含了應用程式特定的領域知識。實現一個 Operator 的關鍵是 CRD（自定義資源）和 Controller（控制器）的設計。

Operator 站在 Kubernetes 內部視角，為應用的雲原生化開啟了新世界的大門。自定義資源可以讓開發人員擴充套件新增新功能，更新現有的功能，並且可以自動執行一些管理任務，這些自定義的控制器就像 Kubernetes 原生的元件一樣，Operator 可以直接使用 Kubernetes API 進行開發，也就是說他們可以根據這些控制器編寫的自定義規則來建立和更改 Pods / Services、對正在執行的應用進行擴縮容。

# 快速開始

本文使用 RocketMQ Operator 0.2.1 版本，展示如何使用 RocketMQ Operator 在 Kubernetes 上快速建立部署一個 RocketMQ 服務叢集。

- 準備好 K8s 環境，可以使用 docker desktop 自帶的 K8s，或者 minikube；

- 克隆 rocketmq-operator 倉庫到你的 K8s 節點上；

```
$ git clone https://github.com/apache/rocketmq-operator.git
$ cd rocketmq-operator
```

- 執行指令碼安裝 RocketMQ Operator；
 
```
$ ./install-operator.sh
```

- 檢查下 RocketMQ Operator 是否安裝成功

```
$ kubectl get pods
NAME                                      READY   STATUS    RESTARTS   AGE
rocketmq-operator-564b5d75d-jllzk         1/1     Running   0          108s
```

成功安裝時，rocketmq-operator pod 處於類似上面例子的 running 狀態。

- 應用 Broker 和 NameService 自定義資源，建立 RocketMQ 叢集；

應用 rocketmq-operator / example 中的 rocketmq_v1alpha1_rocketmq_cluster.yaml 檔案，快速部署一個 RocketMQ 叢集。rocketmq_v1alpha1_rocketmq_cluster.yaml 檔案內容如下：

```
apiVersion: rocketmq.apache.org/v1alpha1
kind: Broker
metadata:
  # name of broker cluster
  name: broker
spec:
  # size is the number of the broker cluster, each broker cluster contains a master broker and [replicaPerGroup] replica brokers.
  size: 1
  # nameServers is the [ip:port] list of name service
  nameServers: ""
  # replicationMode is the broker replica sync mode, can be ASYNC or SYNC
  replicationMode: ASYNC
  # replicaPerGroup is the number of each broker cluster
  replicaPerGroup: 1
  # brokerImage is the customized docker image repo of the RocketMQ broker
  brokerImage: apacherocketmq/rocketmq-broker:4.5.0-alpine
  # imagePullPolicy is the image pull policy
  imagePullPolicy: Always
  # resources describes the compute resource requirements and limits
  resources:
    requests:
      memory: "2048Mi"
      cpu: "250m"
    limits:
      memory: "12288Mi"
      cpu: "500m"
  # allowRestart defines whether allow pod restart
  allowRestart: true
  # storageMode can be EmptyDir, HostPath, StorageClass
  storageMode: EmptyDir
  # hostPath is the local path to store data
  hostPath: /data/rocketmq/broker
  # scalePodName is broker-[broker group number]-master-0
  scalePodName: broker-0-master-0
  # volumeClaimTemplates defines the storageClass
  volumeClaimTemplates:
    - metadata:
        name: broker-storage
      spec:
        accessModes:
          - ReadWriteOnce
        storageClassName: rocketmq-storage
        resources:
          requests:
            storage: 8Gi
---
apiVersion: rocketmq.apache.org/v1alpha1
kind: NameService
metadata:
  name: name-service
spec:
  # size is the the name service instance number of the name service cluster
  size: 1
  # nameServiceImage is the customized docker image repo of the RocketMQ name service
  nameServiceImage: apacherocketmq/rocketmq-nameserver:4.5.0-alpine
  # imagePullPolicy is the image pull policy
  imagePullPolicy: Always
  # hostNetwork can be true or false
  hostNetwork: true
  #  Set DNS policy for the pod.
  #  Defaults to "ClusterFirst".
  #  Valid values are 'ClusterFirstWithHostNet', 'ClusterFirst', 'Default' or 'None'.
  #  DNS parameters given in DNSConfig will be merged with the policy selected with DNSPolicy.
  #  To have DNS options set along with hostNetwork, you have to specify DNS policy
  #  explicitly to 'ClusterFirstWithHostNet'.
  dnsPolicy: ClusterFirstWithHostNet
  # resources describes the compute resource requirements and limits
  resources:
    requests:
      memory: "512Mi"
      cpu: "250m"
    limits:
      memory: "1024Mi"
      cpu: "500m"
  # storageMode can be EmptyDir, HostPath, StorageClass
  storageMode: EmptyDir
  # hostPath is the local path to store data
  hostPath: /data/rocketmq/nameserver
  # volumeClaimTemplates defines the storageClass
  volumeClaimTemplates:
    - metadata:
        name: namesrv-storage
      spec:
        accessModes:
          - ReadWriteOnce
        storageClassName: rocketmq-storage
        resources:
          requests:
            storage: 1Gi
```

> 注意到這個例子中 storageMode: EmptyDir，表示儲存使用的是 EmptyDir，資料會隨著 Pod 的刪除而抹去，因此該方式僅供開發測試時使用。一般使用 HostPath 或 StorageClass 來對資料進行持久化儲存。使用 HostPath 時，需要配置 hostPath，宣告宿主機上掛載的目錄。使用 storageClass 時，需要配置 volumeClaimTemplates，宣告 PVC 模版。具體可參考 [RocketMQ Operator 文件](https://github.com/apache/rocketmq-operator/blob/master/README.md)。

應用上面的 yaml 檔案，輸入命令：

```
$ kubectl apply -f example/rocketmq_v1alpha1_rocketmq_cluster.yaml
broker.rocketmq.apache.org/broker created
nameservice.rocketmq.apache.org/name-service created
```

檢視叢集 Pod 狀態：

```
$ kubectl get pods -owide
NAME                                 READY   STATUS    RESTARTS   AGE     IP             NODE             NOMINATED NODE   READINESS GATES
broker-0-master-0                    1/1     Running   0          27s     10.1.2.27      docker-desktop   <none>           <none>
broker-0-replica-1-0                 1/1     Running   0          27s     10.1.2.28      docker-desktop   <none>           <none>
name-service-0                       1/1     Running   0          27s     192.168.65.3   docker-desktop   <none>           <none>
rocketmq-operator-76b4b9f4db-x52mz   1/1     Running   0          3h25m   10.1.2.17      docker-desktop   <none>           <none>
```

使用預設的 rocketmq_v1alpha1_rocketmq_cluster.yaml 檔案配置，我們看到叢集中拉起了 1 個 name server 服務（name-service-0）和 2 個 broker 服務（1 主 1 從）。

**好啦！到這裡你已經成功透過 Operator 提供的自定義資源部署了一個 RocketMQ 服務叢集。**

- 訪問這個 RocketMQ 叢集中的 Pod 來驗證叢集是否能正常工作；

使用 RocketMQ 的 tools.sh 指令碼執行 Producer example：

```
$ kubectl exec -it broker-0-master-0 bash
bash-4.4# sh ./tools.sh org.apache.rocketmq.example.quickstart.Producer
OpenJDK 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
06:56:29.145 [main] DEBUG i.n.u.i.l.InternalLoggerFactory - Using SLF4J as the default logging framework
SendResult [sendStatus=SEND_OK, msgId=0A0102CF007778308DB1206383920000, offsetMsgId=0A0102CF00002A9F0000000000000000, messageQueue=MessageQueue [topic=TopicTest, brokerName=broker-0, queueId=0], queueOffset=0]
...
06:56:51.120 [NettyClientSelector_1] INFO  RocketmqRemoting - closeChannel: close the connection to remote address[10.1.2.207:10909] result: true
bash-4.4#
```

在另一個節點上執行 Consumer example：

```
$ kubectl exec -it name-service-0 bash
bash-4.4# sh ./tools.sh org.apache.rocketmq.example.quickstart.Consumer
OpenJDK 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
07:01:32.077 [main] DEBUG i.n.u.i.l.InternalLoggerFactory - Using SLF4J as the default logging framework
Consumer Started.
ConsumeMessageThread_1 Receive New Messages: [MessageExt [queueId=0, storeSize=273, queueOffset=19845, sysFlag=0, bornTimestamp=1596768410268, bornHost=/30.4.165.204:53450, storeTimestamp=1596768410282, storeHost=/100.81.180.84:10911, msgId=6451B45400002A9F000014F96A0D6C65, commitLogOffset=23061458676837, bodyCRC=532471758, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=19844, TRACE_ON=true, eagleTraceId=1e04a5cc15967684102641001d0db0, MAX_OFFSET=19848, MSG_REGION=DefaultRegion, CONSUME_START_TIME=1596783715858, UNIQ_KEY=1E04A5CC0DB0135FBAA421365A5F0000, WAIT=true, TAGS=TagA, eagleRpcId=9.1}, body=[72, 101, 108, 108, 111, 32, 77, 101, 116, 97, 81, 32, 48], transactionId='null'}]] 
ConsumeMessageThread_4 Receive New Messages: [MessageExt [queueId=1, storeSize=273, queueOffset=19637, sysFlag=0, bornTimestamp=1596768410296, bornHost=/30.4.165.204:53450, storeTimestamp=1596768410298, storeHost=/100.81.180.84:10911, msgId=6451B45400002A9F000014F96A0D7141, commitLogOffset=23061458678081, bodyCRC=1757146968, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=19636, TRACE_ON=true, eagleTraceId=1e04a5cc15967684102961002d0db0, MAX_OFFSET=19638, MSG_REGION=DefaultRegion, CONSUME_START_TIME=1596783715858, UNIQ_KEY=1E04A5CC0DB0135FBAA421365AB80001, WAIT=true, TAGS=TagA, eagleRpcId=9.1}, body=[72, 101, 108, 108, 111, 32, 77, 101, 116, 97, 81, 32, 49], transactionId='null'}]]
...
```

- 刪除叢集，清理環境；

清除 RocketMQ 服務叢集例項：

```
$ kubectl delete -f example/rocketmq_v1alpha1_rocketmq_cluster.yaml
```

清除 RocketMQ Operator：

```
$ ./purge-operator.sh
```

# 按照 OperatorHub 官網指導安裝 RocketMQ Operator

- 在 [OperatorHub.io](https://operatorhub.io/) 網頁搜尋 RocketMQ Operator；

選擇 Streaming & Messaging 類別，點選 RocketMQ Operator：

![2.png](https://ucc.alicdn.com/pic/developer-ecology/c82440f59bf046d580d59f57451f856d.png)

- 進入 RocketMQ Operator 頁面，點選 Install 按鈕；

![3.png](https://ucc.alicdn.com/pic/developer-ecology/1a5ba63e616a4e638966617969875679.png)

- 按照說明安裝 OLM 和 RocketMQ Operator；

![4.png](https://ucc.alicdn.com/pic/developer-ecology/60095f8e94544c0b9dd932f0543fc56c.png)

# 本地安裝 OLM 來使用 RocketMQ Operator

- 本地安裝和動 [OLM](https://github.com/operator-framework/operator-lifecycle-manager)(Operator Lifecycle Manager) console；

參考：[OLM 安裝文件](https://github.com/operator-framework/operator-lifecycle-manager/blob/master/doc/install/install.md)。

- 本地啟動 UI 介面控制檯；

```
$ make run-console-local
```

- 訪問 http://localhost:9000 檢視控制檯；

![5.png](https://ucc.alicdn.com/pic/developer-ecology/8b88d5931a05450a9ec6b144768d3352.png)

OperatorHub

- 搜尋 RocketMQ 或點選 All Items 分類中的 Streaming & Messaging，找到 RocketMQ Operator 並進行安裝；

- 安裝完 RocketMQ Operator 後可以在 Installed Operators 中找到 RocketMQ Operator；

![6.png](https://ucc.alicdn.com/pic/developer-ecology/58667c0edab64af68f3cf9a497c8ff81.png)

已安裝的 Operators 介面

![7.png](https://ucc.alicdn.com/pic/developer-ecology/3db6fe21bfb34b1993a36ebaf596e309.png)

RocketMQ Operator 介紹介面

![8.png](https://ucc.alicdn.com/pic/developer-ecology/04f961d4b6ef46b3be3d9d280b8ec084.png)

透過 UI 介面建立 NameService 自定義資源

可以在 UI 中建立指定 Namespace 下的 NameService 和 Broker 例項，並對已建立的例項進行瀏覽和管理。我們也可以透過命令檢視當前 K8s 叢集中的 Pod 狀態，例如：

```
$ kubectl get pods -A
NAMESPACE     NAME                                            READY   STATUS    RESTARTS   AGE
docker        compose-78f95d4f8c-8fr5z                        1/1     Running   0          32h
docker        compose-api-6ffb89dc58-nv9rh                    1/1     Running   0          32h
kube-system   coredns-5644d7b6d9-hv6r5                        1/1     Running   0          32h
kube-system   coredns-5644d7b6d9-mkqb6                        1/1     Running   0          32h
kube-system   etcd-docker-desktop                             1/1     Running   0          32h
kube-system   kube-apiserver-docker-desktop                   1/1     Running   0          32h
kube-system   kube-controller-manager-docker-desktop          1/1     Running   1          32h
kube-system   kube-proxy-snmxh                                1/1     Running   0          32h
kube-system   kube-scheduler-docker-desktop                   1/1     Running   1          32h
kube-system   storage-provisioner                             1/1     Running   1          32h
kube-system   vpnkit-controller                               1/1     Running   0          32h
marketplace   broker-0-master-0                               1/1     Running   0          5h3m
marketplace   broker-0-replica-1-0                            1/1     Running   0          5h3m
marketplace   name-service-0                                  1/1     Running   0          5h3m
marketplace   marketplace-operator-69756457d8-42chk           1/1     Running   0          32h
marketplace   rocketmq-operator-0.2.1-c9fffb5f-cztcl          1/1     Running   0          32h
marketplace   rocketmq-operator-84c7bb4ddc-7rvqr              1/1     Running   0          32h
marketplace   upstream-community-operators-5b79db455f-7t47w   1/1     Running   1          32h
olm           catalog-operator-7b788c597d-gjz55               1/1     Running   0          32h
olm           olm-operator-946bd977f-dhszg                    1/1     Running   0          32h
olm           operatorhubio-catalog-fvxp9                     1/1     Running   0          32h
olm           packageserver-789c7b448b-7ss7m                  1/1     Running   0          32h
olm           packageserver-789c7b448b-lfxrw                  1/1     Running   0          32h
```

可以看到在 marketplace 這個 namespace 中也成功建立了對應的 name server 和 broker 例項。

以上是基於 OperatorHub 和 OLM 安裝使用 RocketMQ Operator 的案例，我們將持續推送和維護新版本的 RocketMQ Operator 至該平臺，方便使用者獲取最新更新或選擇合適的 Operator 版本。

# 社群

RocketMQ Operator 是 Apache 社群的開源專案，服務於阿里巴巴 SaaS 類交付專有云，產品私有云環境部署等場景，同時也收到來自愛奇藝等網際網路公司開源貢獻者的程式碼提交。歡迎廣大使用者來社群專案中進行反饋，點選下方連結留下您的資訊，讓我們更好地完善 RocketMQ Operator。

連結：[https://github.com/apache/rocketmq-operator/issues/20](https://github.com/apache/rocketmq-operator/issues/20)

目前，RocketMQ Operator v0.2.1 的 PR 已合併進入 community-operators 倉庫，RocketMQ Operator 進入 [OperatorHub.io](https://operatorhub.io/) 後，使用者可以透過使用 [OLM](https://github.com/operator-framework/operator-lifecycle-manager)(Operator Lifecycle Manager) 來安裝、訂閱 RocketMQ Operator，獲得持續的服務支援。

# 未來展望
 
RocketMQ Operator v0.2.1 支援的功能主要包括：Name Server 和 Broker 叢集的自動建立，Name Server 叢集的無縫擴容（自動通知 Broker 叢集更新 Name Server IP 列表），非順序訊息下的 Broker 叢集無縫擴容（新 Broker 例項會從 Broker CRD 指定的源 Broker Pod 中同步後設資料，包括 Topic 資訊和訂閱資訊），以及 Topic 遷移等。

下一步我們希望和社群一起進一步完善 RocketMQ Operator 專案，包括灰度釋出，資料的全生命週期管理，容災備份恢復，流量等指標監控、自動彈性擴縮容等方面，最終實現透過 Operator 可以覆蓋 RocketMQ 服務全生命週期的管理。

歡迎大家使用 RocketMQ Operator，提出寶貴建議。

### 相關連結

- RocketMQ Operator 專案：[https://github.com/apache/rocketmq-operator](https://github.com/apache/rocketmq-operator)
- OperatorHub：[https://operatorhub.io/](https://operatorhub.io/)
- Operator Framework：[https://github.com/operator-framework](https://github.com/operator-framework)
- RocketMQ 官網：[https://rocketmq.apache.org/](https://rocketmq.apache.org/)
- Apache RocketMQ 倉庫：[https://github.com/apache/rocketmq](https://github.com/apache/rocketmq)

# 課程推薦

去年，CNCF 與 阿里雲聯合釋出了《雲原生技術公開課》已經成為了 Kubernetes 開發者的一門“必修課”。

今天，阿里雲再次集結多位具有豐富雲原生實踐經驗的技術專家，正式推出《雲原生實踐公開課》。課程內容由淺入深，專注講解“ 落地實踐”。還為學習者打造了真實、可操作的實驗場景，方便驗證學習成果，也為之後的實踐應用打下堅實基礎。

點選即可免費觀看課程：[https://developer.aliyun.com/learning/roadmap/cloudnative2020](https://developer.aliyun.com/learning/roadmap/cloudnative2020)

> “[阿里巴巴雲原生](https://mp.weixin.qq.com/s/x7OObZbsiPl5t9FFigHg-Q)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”</none></none></none></none></none></none></none></none>

雲原生時代 RocketMQ 運維管控的利器 - RocketMQ Operator

相關文章