> 小 T 導讀：為了滿足智慧駕駛業務的資料處理需求，大疆車載試圖從多家資料庫中進行選型調研，幫助智慧駕駛業務提升寫入查詢效能、降低運維成本。本文將分享大疆車載在資料庫選型、系統搭建和業務遷移等方面的經驗。

根據國家發改委、科技部、工信部等 11 個部門聯合印發的《智慧汽車創新發展戰略》，到 2025 年，中國標準智慧汽車的技術創新、產業生態、基礎設施、法規標準、產品監管和網路安全體系基本形成。同時，實現有條件智慧駕駛的智慧汽車達到規模化生產，實現高度智慧駕駛的智慧汽車在特定環境下市場化應用。目前，隨著我國正在積極發展智慧網聯汽車，無人駕駛技術進一步推動，網際網路巨頭企業進入市場、加大投入研發技術，無人駕駛市場正處於快速發展階段。無人機頭部企業大疆車載也在去年 4 月份宣佈進入智慧駕駛領域。

由於當前的智慧駕駛業務還是新的業務場景，所以大疆車載在選型上的歷史負擔相對較輕。在 Database 選型要求上，從業務需求出發，主要聚焦在兩點：首先，結合當下的業務場景，需要滿足單臺車輛的高頻訊息上報頻率；其次，支援在資料量大的時候，通過聚合函式，或選擇函式來快速篩選出需要的資料。

此外，對資料庫要求支援叢集部署的同時，也要求更低的查詢語句編寫上手難度；而且需支援單表千萬量級，在海量資料併發場景下，需要有較高的統計報表能力和較好的查詢 SQL 效率；最後通過資料壓縮、運維成本和併發能力上的考量，最終選定 TDengine 來儲存海量資料。

綜合來看，TDengine 滿足需求的主要原因如下：

- 國產、開源的時序資料庫（Time Series Database）
- 開源版支援分散式叢集，方便擴充套件
- 列式儲存，資料壓縮比率高，讀寫效能優秀
- 一個裝置一張表，對應我們一個車輛一張表，模型契合
- 超級表對於分組聚合查詢的強大支援能力

**TDengine 建表思路**

作為智慧駕駛領域的創新者之一，大疆車載為汽車主機廠提供了軟硬一體的智慧駕駛解決方案。其中，車輛雲端平臺負責對車輛狀態資訊進行監控，具體包括 GPS、速度、轉速、里程等，經由 MQTT 流轉到 TDengine 儲存，滿足車輛歷史軌跡回放和車輛實時狀態監控。

車輛訊息樣例資料展示如下：
```cpp
{"message_id": "a78b6d9a","device_key": "deviceKey2","ts": "2022-03-01 15:01:59","longitude": 123.9795647512915,"latitude": 21.58338210717887,"altitude": 51.47800064086914,"signal_strength": 12,"satellites_in_view": 21,"speed": 72.798225,"acceleration": 12,"rpm":2190,"gear": "D","direction": -91.32959,"mileage": 10020,"ip": "10.1.2.3","create_time": "2022-03-01 15:02:03",}
```
落腳到實際業務上，我們搭建的表結構如下：

![](http://img.blog.itpub.net/blog/2022/07/05/3de776f577bb9f36.png?x-oss-process=style/bb)

我們落地使用的是 TDengine 2.2.1.3 單機版 ，按照車輛唯一的標識 DeviceKey 來建立子表，如 device_stat_$deviceKey，一個車輛的狀態資訊都存在一張子表中。mqtt_msg 超級表也是一樣的邏輯，也是以 DeviceKey 來建立子表。

![](http://img.blog.itpub.net/blog/2022/07/05/dee7ef330de2b668.png?x-oss-process=style/bb)

**架構與遷移**

![](http://img.blog.itpub.net/blog/2022/07/05/40eb6ad61f505b3b.png?x-oss-process=style/bb)

除了上報的 GPS、速度等，App 端還會和車輛/裝置之間進行大量的命令互動，如下發車輛指令操作，這些我們也是使用 TDengine 來進行儲存和鏈路追蹤的。具體到鏈路訊息追蹤的使用上，我們會將裝置與雲端、雲端與 App 之間雙向通訊的 MQTT 訊息轉發到 Kafka 訊息佇列中，然後業務系統進行消費解析，得到 TraceID、訊息 ID、訊息版本、訊息型別、訊息時間戳、訊息內容等不同欄位的資料，然後將其寫入 TDengine 的 mqtt_msg 超級表當中。

除了寫入以外，我們也有一定量的查詢操作，但是整體上還是以寫入為主，目前 TDengine 的效能完全可以滿足我們的需求。不過文字類的檢索並不是 TDengine 最擅長的場景，於是我們接入了 ES 提供部分服務。

由於是專案初期，目前我們暫時還在使用 TDengine 和 MySQL 雙寫新資料，把 MySQL 的 SQL 和 TDengine 的 SQL 做了對映關係，從而實現將歷史資料以日誌回放的方式遷移到 TDengine 中去。因此，目前兩個庫暫時可以互為備份，後面等業務完全遷移後，我們就可以使用 TDengine 的叢集多副本功能來完成資料備份了。

此外，濤思資料的工作人員也提供了另外兩種資料遷移方案供我們參考：一是利用 csv 檔案的匯出匯入。二則是基於一款開源的資料庫遷移工具 DataX，該工具目前已經完成了關係型資料庫（Relational Database）到 TDengine 的適配，實現了 TDengineReader 和 TDengineWriter 兩個外掛，遷移時只要做好相應的 json 檔案配置即可。

![](http://img.blog.itpub.net/blog/2022/07/05/847e216179705be7.png?x-oss-process=style/bb)

**效能展示**

在應用 TDengine 之後，車輛的實時狀態查詢變得十分簡單，具體展示如下：

1.查詢單個車輛的上報的最新位置狀態

```cpp
select last_row(*) from device_stat_deJgTAEzInsZeGLM\G;
```

![](http://img.blog.itpub.net/blog/2022/07/05/a2e3ec43d58f71c7.png?x-oss-process=style/bb)

2.多個車輛的最新位置狀態查詢

```cpp
select last_row(*) from device_stat where device_key in ('mpVOGpaHqAxGiHWo','HEChzTCZeIWSUysB','HgsIdzvJPeFlVDuT','LVaPHOXkEeTGjTpm','PFHnQCkcXCIBnbsC') group by device_key;
```

![](http://img.blog.itpub.net/blog/2022/07/05/e4c59a7d037e93ed.png?x-oss-process=style/bb)

對於車輛歷史時間區間內的狀態查詢，也可以極快地返回結果，用以進行前端分析。

```cpp
select * from device_stat_mpVOGpaHqAxGiHWo where ts >'2022-03-17 00:00:00' and ts < '2022-03-18 00:00:00';
```

![](http://img.blog.itpub.net/blog/2022/07/05/86d4ac489d5b201b.png?x-oss-process=style/bb)

3.進行 MQTT 訊息追蹤時，查詢 MQTT Broker 收發的最新訊息

```cpp
select last_row(*) from mqtt_msg\G;
```

![](http://img.blog.itpub.net/blog/2022/07/05/a1f5ee9265ee5b04.png?x-oss-process=style/bb)

4.按照 requestId 進行訊息追蹤

```cpp
select * from mqtt_msg where request_id = 'f90c46d4-22a3-4ab9-b50a-aad8b237fc57'\G;
```
![](http://img.blog.itpub.net/blog/2022/07/05/5fe486e5741b1dff.png?x-oss-process=style/bb)

5.時間區間內訊息查詢

```cpp
select * from mqtt_msg where ts >'2022-03-18 12:00:00' and ts < '2022-03-18 13:00:00';
```
![](http://img.blog.itpub.net/blog/2022/07/05/db8005c48770d239.png?x-oss-process=style/bb)

通過以上的查詢情況彙總可以看出，TDengine 實現了一些選擇特定資料的查詢和輕量的查詢，全部都是毫秒級返回資料，即便是 30000+ 行資料的查詢，消耗也只在 1.1 秒左右。

**寫在最後**

在當前的雲端平臺中，TDengine 的應用不僅節約了儲存成本和開發學習成本，同時也表現出了很好的寫入讀取效能，滿足了智慧駕駛雲端平臺海量時序資料的處理需求。

未來我們會對海量時空資料的應用場景進行持續探索和挖掘，對於 TDengine 我們也有更多的期許，希望它能：

在空間資料的讀寫上有新的特性和更好的支援
擁有更加豐富的認證授權機制，提供更細粒度的許可權管控
系統性地豐富各類日誌，協助更快地定位問題
最後，祝願 TDengine 越來越好，能夠在中國龐大的時序資料處理場景中脫穎而出，成為國產資料庫中的精品！

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

大疆車載從多家資料庫中選定 TDengine

相關文章

最新文章