*作者：* *Kafka&Tablestore*

本文章主要介紹訊息佇列使用過程中所遇到的訊息丟失、重複消費等痛點問題的排查辦法，以及訊息佇列 Kafka「檢索元件」的場景實踐，並對其關鍵技術進行解讀。旨在幫助大家對訊息佇列 Kafka「檢索元件」的特點和使用方式更加熟悉，以更有效地解決訊息排查過程中所遇到的問題。

## 場景痛點介紹

在訊息佇列的使用過程中，由於其分散式特性難免會遇到訊息丟失、訊息重傳等問題。

-   例如在日誌聚合場景中，通常是多個異構資料來源生產資料到 Kafka 中以提供給下游的 Spark 等計算引擎消費。而當某些日誌缺失時，由於訊息資料的傳送方式、資料結構等種類繁雜，導致難以直接從客戶端的日誌來排查。

-   再例如訊息轉發的過程中，消費端可能會重複消費到同樣的資料，這就需要根據內容從訊息佇列中檢索資料以判斷訊息是否重複生產，而訊息佇列通常只能按照分割槽和消費位點遍歷掃描，並不能靈活的實現訊息檢索。

業內現有的訊息佇列產品都沒有較好的工具和方式來實現對訊息內容的檢索，這將使得排查難度和投入成本大大增加。

## Kafka 訊息檢索元件

### 檢索元件介紹

訊息佇列 Kafka 「檢索元件」是一個全託管、高彈性、互動式的檢索元件，具備萬億級訊息內容檢索的秒級響應能力，旨在解決業內訊息產品不支援檢索訊息內容的難題。訊息佇列 Kafka 「檢索元件」是透過 Kafka Connector 將 Topic 中的訊息資料轉存到表格儲存（Tablestore）中，基於表格儲存的多元索引功能提供訊息檢索能力。能夠支援透過訊息的分割槽、位點、傳送的時間範圍等一個或多個條件組合檢索，還支援根據訊息 Key、Value 全文檢索訊息。

## 案例實踐

### 案例背景

假設某運維團隊需要監控線上叢集的執行情況，採集程式級別的日誌匯入到 Kafka 中，下游使用 Flink 消費，實時計算各程式資源消耗情況。當在 Flink 中發現某個程式的某個時間段的日誌資料丟失時，需要使用訊息佇列 Kafka 「檢索元件」，基於訊息 Value 和時間範圍檢索訊息資料，判斷日誌是否已經成功推送到了訊息佇列 Kafka 中。

例如採集的日誌資料為 JSON 結構，某一條日誌資料格式為：

```
key   =  276
value =  {"PID":"276","COMMAND":"Google Chrom","CPU_USE":"7.2","TIME":"00:01:44","MEM":"8836K","STATE":"sleeping","UID":"0","IP":"164.29.0.1"}
```

### 開通訊息檢索

1. 首先需要登入到阿里雲訊息佇列 Kafka 控制檯中，選擇對應的 topic，開通訊息檢索服務。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3a860149fe6847058a1afde36e27ddbf~tplv-k3u1fbpfcp-zoom-1.image "1.png")

2.  訊息檢索服務開通後，將自動建立一個 Tablestore 例項，之後將訊息資料轉存到 Tablestore，並建立索引提供訊息檢索能力。每一個 topic 對應了 Tablestore 中的一張資料表。可以在訊息佇列 Kafka 控制檯上檢視每個 topic 的訊息檢索元件詳情。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c54acd96e5cb4d65adb329af25b7387d~tplv-k3u1fbpfcp-zoom-1.image "2.png")

### 訊息檢索實踐

1.  訊息檢索服務開通後，就可以使用訊息中的多個搜尋項檢索訊息，實現上述案例。例如指定一個時間範圍，並且檢索訊息 Value 中包含 PID = 276 的訊息。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e74dfec515904733aea1e932c3d87b6f~tplv-k3u1fbpfcp-zoom-1.image "3.png")

2.  返回結果示例

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c0df0e88a2c944e0bbcdeaad94580ab5~tplv-k3u1fbpfcp-zoom-1.image "4.png")

## 能力擴充套件

### 表格儲存 Tablestore 介紹

表格儲存 Tablestore 是基於底層飛天平臺構建的結構化資料儲存，能夠提供千億級規模資料儲存、毫秒級資料檢索的服務能力。訊息佇列 Kafka 轉存訊息到 Tablestore 後，支援透過 Tablestore 原生的資料訪問方式來檢索訊息，Tablestore 支援更復雜的檢索邏輯，同時支援透過 SQL 語法檢索訊息。下面列舉兩種訊息檢索方式：

### 多元索引搜尋

1.  登入到表格儲存 Tablestore 控制檯中，進入 Kafka 訊息資料轉存對應的 Tablestore 例項和資料表中，在索引管理頁面選擇多元索引搜尋訊息。

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/75966c24fd6243bb8963d36d3f81f9c4~tplv-k3u1fbpfcp-zoom-1.image "5.png")

2.  例如需要檢索訊息 Value 中包含 PID=276 或者 PID=277 的訊息。

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ea85432d15ec4473b59b06a12a2929ac~tplv-k3u1fbpfcp-zoom-1.image "6.png")

3.  返回結果

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7fd390f1a0034b4f82fb40a2c201d27b~tplv-k3u1fbpfcp-zoom-1.image "7.png")

### SQL 檢索訊息

1.  表格儲存 Tablestore 支援基於 SQL 語法來檢索訊息，首先需要在訊息轉存的資料表上建立一張 SQL 對映表。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/45cbc3d958654324ada6ecaa0601315a~tplv-k3u1fbpfcp-zoom-1.image "8.png")

2.  基於 Tablestore SQL 檢索 PID=276 的訊息。

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8229b9c12dc043a8bd6ed0e2c76130bd~tplv-k3u1fbpfcp-zoom-1.image "9.png")

## 總結

阿里雲訊息佇列 Kafka 「檢索元件」是訊息佇列領域率先支援互動式訊息內容檢索的元件，基於資料轉存表格儲存 Tablestore 提供訊息檢索服務能力，支援根據 Key、Value、分割槽等任意個條件自由組合檢索訊息，同時支援 Key、Value 全文檢索訊息，具備免開發、免運維、高彈性的特點。同時也可以直接透過表格儲存 Tablestore 索引或者 SQL 來檢索訊息，極大地提高了日常排查訊息存在或正確性的速度。

對於本文中 Tablestore 的多元索引和 SQL 查詢使用的部分有任何問題，歡迎加入技術交流群，群內提供免費的線上專家服務。歡迎掃碼加入或搜尋群號 23307953。

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/05a428e808a8452f867dca368da508ef~tplv-k3u1fbpfcp-zoom-1.image "10.png")

點選[此處](https://help.aliyun.com/document_detail/399333.html)，歡迎開通試用訊息佇列 Kafka「檢索元件」～

阿里雲訊息佇列 Kafka-訊息檢索實踐

相關文章