## 前言

雖然物聯網的應用場景很多，但總結來看各類場景都離不開對資料的採集-傳輸-儲存-分析。按照資料特性和業務需求不同，物聯網資料可以分為不同的種類:

- 後設資料：裝置最新的狀態資料，如線上狀態、當前感測器數值；
- 訊息資料：裝置釋出的訊息，包括上報資料和下發指令；
- 時序資料：持續變化的後設資料和訊息資料。

在物聯網應用中，資料儲存需求無處不在，資料只有經過傳輸、儲存，再經由業務系統查詢並處理才能實現各類業務需求，進一步發揮資料的價值。

物聯網裝置規模龐大，往往整體資料量也非常大，實踐中通常有以下選型：

- 後設資料需要頻繁插入更新，並且支援結構化查詢，所以推薦使用關聯式資料庫進行儲存。
- 訊息資料不需要全量儲存，只需要記錄關鍵操作，或者提取訊息資料的關鍵資料，應當根據業務情況適當的選型。
- 時序資料的特點是資料修改頻次低，對寫入速度和儲存壓縮比敏感，查詢需求多樣，因此推薦使用時序資料庫。

資料庫儲存選型不是絕對的，使用者可以綜合資料特性、資料量以及後端業務需求來選擇適合的資料庫，在各種因素中達到平衡。

[EMQX](https://www.emqx.com/zh/products/emqx) 是由 EMQ 開發的一款大規模分散式物聯網 MQTT 訊息伺服器。作為專門針對低頻寬和不穩定網路環境的物聯網應用設計的協議，MQTT 基於釋出/訂閱模式，具有簡單易實現、支援 QoS、報文小等特點。完整支援 MQTT 協議的 EMQX 則可以連線海量物聯網裝置，提供高可靠、高效能的實時資料移動、處理和整合，充當裝置與裝置、裝置與應用之間的橋樑。

PolarDB-X 是由阿里巴巴自主研發的雲原生分散式資料庫，是一款基於雲架構理念，並同時支援線上事務處理與線上分析處理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分散式資料庫。其具備金融級資料高可用、分散式水平擴充套件、混合負載、低成本儲存和極致彈性等能力，專注解決海量資料儲存、超高併發吞吐、大表瓶頸以及複雜計算效率等資料庫瓶頸難題。

本文將介紹[開源版 EMQX](https://www.emqx.io/zh) 與 PolarDB-X 打造的整合方案，可以實現關鍵物聯網資料的一站式採集、傳輸、儲存。

## EMQX+PolarDB-X 整合方案詳情

使用 EMQX 接入物聯網裝置，透過 EMQX 資料整合元件來處理並分發資料到 MQTT 匯聚主題，第三方指令碼透過 MQTT 訂閱的方式從匯聚主題中獲取資料，並代理寫入到 PolarDB-X，以下是整體架構圖：

![](https://oscimg.oschina.net/oscnet/up-9a71cd9133af50f31ac733ae6f4eb6f0fd7.png)
### 資料整合簡介

資料整合是 EMQX 在釋出訂閱模型的基礎之上的資料處理與分發元件，透過簡單的視覺化的配置，即可實時處理 EMQX 的訊息以及裝置事件並將其與 Kafka/RabbitMQ 等訊息中介軟體、以及各類 SQL/NoSQL/時序資料庫等資料系統整合。

其中訊息是指裝置端的上報或者雲端的下發訊息，裝置生命週期事件是指整個裝置在執行過程中的事件，這些事件對物聯網的應用開發有很大作用，圍繞此可以實現裝置管理、安全審計、裝置影子等業務，以及更精細化的控制 MQTT 訊息傳輸過程。

### 共享訂閱簡介

[MQTT 共享訂閱](https://www.emqx.com/zh/blog/introduction-to-mqtt5-protocol-shared-subscription)是在多個訂閱者之間實現負載均衡的訂閱方式，相當於訂閱端的負載均衡功能。

例如在 EMQX 叢集中，如果某個節點掛了，利用共享訂閱功能同時訂閱多個節點則可以避免某個節點故障導致資料丟失。
![](https://oscimg.oschina.net/oscnet/up-b1455355e58f8ea07aba894bad09e053a1b.png)
使用者可以透過使用 $share/{group}/{topic} 或 $queue/{topic} 格式的主題，發起共享訂閱。

### 第三方指令碼

由於 EMQX 開源版中不具備直接寫入 PolarDB-X 的能力，因此需要提供第三方的指令碼來實現資料寫入。

EMQX - 指令碼程式之間可以使用 MQTT 共享訂閱連線，避免訊息量過大時單個 MQTT 連線的處理能力成為方案瓶頸，同時充分使用[連線池](https://polardbx.com/document)與批處理技術，提高寫入 PolarDB-X 的吞吐。

利用 EMQX 海量裝置資料接入能力和資料整合能力，以及 PolarDB-X 的超高併發寫入和海量儲存支援能力，這一整合方案可以應對連線數規模與採集點數量龐大的物聯網場景。

## EMQX + PolarDB-X 方案搭建步驟

接下來我們透過幾個場景看一下如何進行方案搭建。

### 場景介紹

#### 儲存裝置線上狀態

在上下線時更新裝置狀態，並記錄上線/下線時間，如果裝置是初次連線則先將裝置資訊插入資料庫。

需要使用 EMQX 的客戶端上下線事件，對應的事件主題為 $event/client_connected 與 $event/client_disconnected。

PolarDB-X 表結構如下：

```pgsql
-- 裝置線上狀態表
create table clients (
  `id` bigint(11) auto_increment NOT NULL,
  `clientid` varchar(255) DEFAULT NULL,
  `username` varchar(255) DEFAULT NULL,
  `ip_address` varchar(255) DEFAULT NULL,
  `status` tinyint(1) DEFAULT 0,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL ON UPDATE CURRENT_TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  primary key (`id`),
  unique key(`clientid`)
) engine = InnoDB default charset = utf8 partition by hash(id) partitions 2;
```

#### 記錄裝置事件

記錄裝置上下線歷史、訂閱/取消訂閱事件，需要記錄裝置客戶端 ID、事件發生時間等關鍵新軒逸，訂閱/取消訂閱事件還需要記錄操作的主題。

EMQX 中對應的事件主題為$event/client_connected 、$event/client_disconnected 、$event/session_subscribed 、$event/session_unsubscribed。

PolarDB-X 表結構如下：

```pgsql
-- 裝置歷史事件表
create table client_events (
  `id` bigint(11) auto_increment NOT NULL,
  `clientid` varchar(255) DEFAULT NULL,
  `event` char(20) DEFAULT NULL,
  `topic` varchar(255) DEFAULT NULL,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL ON UPDATE CURRENT_TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  primary key (`id`)
) engine = InnoDB default charset = utf8 partition by hash(id) partitions 2;
```

#### 儲存裝置訊息

將指定主題的訊息儲存到資料庫當中，需要記錄裝置客戶端 ID、訊息主題、訊息 Payload 資訊。

PolarDB-X 表結構如下：

```sql
-- IoT 資料記錄表
create table messages (
  `id` bigint(11) auto_increment NOT NULL,
  `clientid` varchar(255) DEFAULT NULL,
  `topic` varchar(255) DEFAULT NULL,
  `payload` BLOB DEFAULT NULL,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  primary key (`id`)
) engine = InnoDB default charset = utf8 partition by hash(id) partitions 2;
```

### 操作步驟

具體的操作步驟如下：

1. 首先需要部署 PolarDB-X，按照文件中的[快速入門指南](https://polardbx.com/document)部署即可。

2. 透過 MySQL Client 連線到 PolarDB-X 並使用場景中提供的 SQL 建立資料表。

3. 在本地啟動 EMQX，啟動成功之後，訪問 [http://localhost:18083](http://localhost:18083/) 開啟 Dashboard。如果需要中文顯示可以到 **System → Settings** 中將語言更改為簡體中文。
![](https://oscimg.oschina.net/oscnet/up-48b0361a96120da794709cafb44b5541852.png)
4. 在資料整合中建立規則，建立一條能夠處理場景中所需事件以及 t/# 訊息主題的規則。

EMQX 的客戶端事件透過事件主題觸發，客戶端會在連線成功時觸發執行規則 SQL，規則可以從上下文中獲取當前客戶端中相關資訊，包括 客戶端 ID、事件名稱、連線時間、連線屬性等，透過除錯功能可以檢視規則執行結果。

規則 SQL：

```nginx
   SELECT
     *
   FROM
     "$events/client_connected",
     "$events/client_disconnected",
     "$events/session_subscribed",
     "$events/session_unsubscribed",
     "t/#"
   ```
![](https://oscimg.oschina.net/oscnet/up-3d75777606e540c248fe47e133783253a2f.png)

5. 新增動作，選擇訊息重發布動作，將規則處理結果轉發至 emqx_polardb 主題由第三方指令碼處理。除此之外，可以新增一個控制檯輸出動作用於除錯，在企業版中還可以可以配置將結果直接寫入 PolarDB-X。
![](https://oscimg.oschina.net/oscnet/up-5588b13674f227577e0e0684401306a053f.png)

6. 接下來，使用 Dashboard 上的 WebSocket 客戶端進行測試，訂閱 emqx_polardb 主題確認是否可以從中獲取到資料。
![](https://oscimg.oschina.net/oscnet/up-a226a2b63a5004f5c62da199a12b92a2b23.png)

7. 在第三方指令碼中實現 PolarDB-X 資料插入邏輯，關鍵程式碼如下：

```javascript
   // 訊息處理函式
   async function handleMessage(topic, payload) {
     let data = null
     try {
       data = JSON.parse(payload)
     } catch (e) {
       console.log('message not a JSON')
     }
     if (data === null) {
       return
     }
     // 根據事件型別處理
     const event = data.event
     // 上下線記錄
     if (event === 'client.connected' || event === 'client.disconnected') {
       const status = event === 'client.connected' ? 1 : 0
   
       // 更新裝置線上狀態
       // 藉助 ON DUPLICATE KEY UPDATE 特性實現
       await connection.execute(
         `INSERT INTO clients (clientid, username, ip_address, status) VALUES
       ('${data.clientid}', '${data.username}', '${data.sockname}', ${status}) ON DUPLICATE KEY UPDATE status = ${status}, ip_address = '${data.sockname}'`)
   
       // 儲存裝置上下線記錄
       await connection.execute(`INSERT INTO client_events (clientid, event, topic) VALUES
       (?, ?, '')`, [data.clientid, data.event])
   
     } else if (event === 'message.publish') {
   
       // 儲存裝置訊息
       await connection.execute(`INSERT INTO messages(clientid, topic, payload) VALUES
          (?, ?, ?);`, [data.clientid, data.topic, data.payload])
     } else {
   
       // 儲存裝置訂閱/取消訂閱記錄，記錄操作的主題
       await connection.execute(`INSERT INTO client_events (clientid, event, topic) VALUES
       (?, ?, ?)`, [data.clientid, data.event, data.topic])
     }
     console.log(`event ${event} saved ok`)
   }
   ```

8. 啟動第三方指令碼，將整個方案執行起來。

```gams
   $ node worker.js
   client 0 ready...
   event session.subscribed saved ok
   client 1 ready...
   event client.connected saved ok
   event session.subscribed saved ok
   client 2 ready...
   event client.connected saved ok
   event session.subscribed saved ok
   client 3 ready...
   event session.subscribed saved ok
   event client.connected saved ok
   client 4 ready...
   event client.connected saved ok
   event session.subscribed saved ok
   client 5 ready...
   event client.connected saved ok
   client 6 ready...
   event client.connected saved ok
   event session.subscribed saved ok
   event session.subscribed saved ok
   client 7 ready...
   event client.connected saved ok
   event session.subscribed saved ok
   event client.connected saved ok
   client 8 ready...
   event session.subscribed saved ok
   event client.connected saved ok
   client 9 ready...
   event session.subscribed saved ok
   ```

### 附錄：第三方指令碼完整示例

此處使用 Node.js 來實現訊息的訂閱與 PoarDB-X 插入，第三方指令碼可以是任意語言編寫的應用，建議與 EMQX、PolarDB-X 部署在同一個內網網路。

```javascript
// worker.js
const mqtt = require('mqtt')
const mysql = require('mysql2')

const config = {
  host: 'localhost',
  port: 10743,
  username: 'polardbx_root',
  password: '****',
  database: 'emqx_iot'
}

// 建立與 PolarDB-X 的連線
const connection = mysql.createConnection({
  host: config.host,
  user: config.username,
  password: config.password,
  database: config.database,
  port: config.port,
})

function createClient() {
  return new Promise((resolve, reject) => {
    const client = mqtt.connect('mqtt://localhost:1883')
    client.on('connect', () => {
      resolve(client)
    })
  })
}

async function handleMessage(topic, payload) {
  let data = null
  try {
    data = JSON.parse(payload)
  } catch (e) {
    console.log('message not a JSON')
  }
  if (data === null) {
    return
  }
  const event = data.event
  // 上下線記錄
  if (event === 'client.connected' || event === 'client.disconnected') {
    const status = event === 'client.connected' ? 1 : 0
    // 寫入 or 更新裝置表
    await connection.execute(
      `INSERT INTO clients (clientid, username, ip_address, status) VALUES
    ('${data.clientid}', '${data.username}', '${data.sockname}', ${status}) ON DUPLICATE KEY UPDATE status = ${status}, ip_address = '${data.sockname}'`)
    // 插入歷史表
    await connection.execute(`INSERT INTO client_events (clientid, event, topic) VALUES
    (?, ?, '')`, [data.clientid, data.event])
  } else if (event === 'message.publish') {
    // 插入訊息表
    await connection.execute(`INSERT INTO messages(clientid, topic, payload) VALUES
       (?, ?, ?);`, [data.clientid, data.topic, data.payload])
  } else {
    // 訂閱/取消訂閱記錄
    await connection.execute(`INSERT INTO client_events (clientid, event, topic) VALUES
    (?, ?, ?)`, [data.clientid, data.event, data.topic])
  }
  console.log(`event ${event} saved ok`)
}

async function main() {
  // 初始化 10 個訂閱客戶端
  for (let i = 0; i < 10; i++) {
    const client = await createClient()
    client.subscribe('$share/1/emqx_polardb')
    client.on('message', handleMessage)
    console.log(`client ${i} ready...`)
  }
}

main()
```

## 結語

PolarDB-X 的分散式特性以及儲存計算分離架構為其帶來了水平擴充套件、分散式事務、混合負載等能力，與同樣是分散式的 MQTT 訊息伺服器 EMQX 結合使用，可以打造真正的可伸縮物聯網應用，應對從數千到數千萬的裝置接入。

除了本文分享的開源版方案， EMQX 企業版以及全託管的雲服務版本[EMQX cloud](https://www.emqx.com/en/cloud)中還提供了 MySQL 資料整合能力，可以直接透過 PolarDB-X 相容語法完成資料整合，更加簡單高效地實現物聯網資料一站式連線、移動與儲存分析。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/build-a-one-stop-iot-data-solution-with-emqx-and-polardb-x](https://www.emqx.com/zh/blog/build-a-one-stop-iot-data-solution-with-emqx-and-polardb-x)

EMQX + PolarDB-X 構建一站式物聯網資料解決方案

相關文章