隨著 Kubernetes（K8s）的全面成熟，越來越多的組織開始大規模地基於 K8s 構建基礎設施層。

根據 Sysdig 在容器編排領域的調研報告，K8s 在市場上的佔有率高達 75%。在 K8s 部署運維工具中，Operator 和 Helm 是較為主流的兩種。但由於 Helm 缺少對生命週期的管理，所以 Operator 在全生命期的管理中成為了唯一的選擇。

K8s Operator 是一種特定於應用的控制器，能持續監聽 K8s 資源物件的變化事件，進行全生命期的監控響應，高可靠地完成部署交付。Operator 提供了一個框架，通俗來說就是把運維的經驗沉澱為程式碼，實現運維的程式碼化、自動化、智慧化。

為了對雲原生分散式 [MQTT 訊息伺服器 EMQX](https://www.emqx.com/zh/products/emqx) 進行全生命期管理， [EMQX Operator](https://www.emqx.com/zh/emqx-kubernetes-operator) 應運而生。 使用 EMQX Operator，即使在網路和儲存環境複雜的 K8s 環境中，也可以輕鬆搭建百萬連線的 MQTT 叢集。本文將使用 EMQX Operator 進行基於 K8s 的百萬級 MQTT 連線服務搭建，並透過測試驗證搭建結果。

## 什麼是 EMQX Operator

[EMQX](https://www.emqx.com/zh/products/emqx) 是基於 Erlang/OTP 平臺開發的雲原生分散式 MQTT 訊息伺服器。隨著雲原生理唸的深入，以及 K8s 和 Operator 概念的普及，我們開發了 [EMQX Operator](https://github.com/emqx/emqx-operator) ( https://github.com/emqx/emqx-operator )，它可以在 Kubernetes 的環境上快速建立和管理 EMQX 叢集，實現對 EMQX 生命週期的管理，大大簡化部署和管理 EMQX 叢集的流程。其主要有以下功能優勢:

- 降低 EMQX 在 K8s 環境中部署成本
- 提供對持久化資料備份和恢復的基礎能力
- 提供對 EMQX Plugin 獨立部署、管理、配置持久化的能力（即將支援）
- 動態更新 Licence 和 SSL 等
- 自動化運維（高可用、擴容、異常處理）

## 使用 EMQX Operator 搭建基於 K8s 的百萬級 MQTT 叢集

### 核心引數調優

為了發揮 EMQX 的最大效能，我們在 worker node 節點上調整了核心引數。

> sudo vi /etc/sysctl.conf

```routeros
#!/bin/bash
echo "DefaultLimitNOFILE=100000000" >> /etc/systemd/system.conf
echo "session required pam_limits.so" >> /etc/pam.d/common-session
echo "*      soft    nofile      10000000"  >> /etc/security/limits.conf
echo "*      hard    nofile      100000000"  >> /etc/security/limits.conf

# lsmod |grep -q conntrack || modprobe ip_conntrack

cat >> /etc/sysctl.d/99-sysctl.conf <<eof net.ipv4.tcp_tw_reuse="1" fs.nr_open="1000000000" fs.file-max="1000000000" net.ipv4.ip_local_port_range="1025" net.ipv4.udp_mem="74583000" net.core.somaxconn="32768" net.ipv4.tcp_max_sync_backlog="163840" net.core.netdev_max_backlog="163840" net.core.optmem_max="16777216" net.ipv4.tcp_rmem="1024" net.ipv4.tcp_wmem="1024" net.ipv4.tcp_max_tw_buckets="1048576" net.ipv4.tcp_fin_timeout="15" net.core.rmem_default="262144000" net.core.wmem_default="262144000" net.core.rmem_max="262144000" net.core.wmem_max="262144000" net.ipv4.tcp_mem="378150000" net.netfilter.nf_conntrack_max="1000000" net.netfilter.nf_conntrack_tcp_timeout_time_wait="30" eof="" sysctl="" emqx="" pod="" cert="" manager="" kubectl="" apply="" https:="" operator="" helm="" repo="" add="" update="" install="" emqx-operator="" installcrds="true" emqx-operator-system="" get="" pods="" name="" ready="" status="" restarts="" age="" emqx-operator-controller-manager-68b866c8bf-kd4g6="" running="" cat="" apiversion:="" apps.emqx.io="" kind:="" emqxenterprise="" metadata:="" name:="" emqx-ee="" labels:="" cluster:="" spec:="" image:="" env:="" value:="" emqxtemplate:="" license:="" license="" string="" listener:="" type:="" loadbalancer="" annotations:="" service.beta.kubernetes.io="" json="" jq="" ack="" flannel="" ecs.c7.2xlarge="" centos7.9="" master="" ecs.c7.16xlarge="" worker="" node="" xmeter="" vpc="" mqtt="" publish="" subscribe="" qos="" size="" enterprise="" dashboard="" k8s="">版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/building-a-million-connection-mqtt-service-on-k8s](https://www.emqx.com/zh/blog/building-a-million-connection-mqtt-service-on-k8s)</eof>

K8s 上輕鬆搭建百萬連線的 MQTT 服務

相關文章