**小 T 導讀：DataX 是由阿里雲開源的離線資料同步工具/平臺，目前已經支援多種主流異構資料來源在內的高效的資料互相同步功能。我們的研發團隊完成了 TDengine 的適配，相關程式碼已被 DataX 官方接受併合併到主幹中。**

DataX 是由阿里雲開源的離線資料同步工具/平臺，目前已經實現了包括 MySQL、Oracle、OceanBase、SQL Server、PostgreSQL、HDFS、Hive、HBase 等多種異構資料來源在內的高效的資料互相同步功能。

DataX 的設計思路是：

> DataX 本身作為資料同步框架，將不同資料來源的同步抽象為從資料來源讀取資料的 Reader 外掛，以及向目標端寫入資料的 Writer 外掛，理論上 DataX 框架可以支援任意資料來源型別的資料同步工作。同時 DataX 外掛體系作為一套生態系統，每接入一套新資料來源，就可以實現該資料來源和現有資料來源的互通。

基於該設計思路，我們的研發團隊完成了 TDengine 的適配，實現了 TDengineReader 和 TDengineWriter 兩個外掛，並被 DataX 官方接受，合併到了其主幹中。

TDengineReader 提供的功能包括：

1. 支援通過 SQL 進行資料篩選；
2. 根據時間間隔進行任務切分；
3. 支援 TDengine 的全部資料型別；
4. 支援批量讀取，可以通過 batchSize 引數控制批量拉取結果集的大小，從而提高讀取效能。

TDengineWriter 支援的功能包括：

1. 支援 OpenTSDB 的 json 格式的行協議，可以使用 TDengine 的 Schemaless 方式寫入 TDengine。
2. 支援批量寫入，可以通過 batchSize 引數控制批量寫入的數量，從而提高寫入效能。

目前 TDengine 已經加入 DataX 正式支援的資料庫列表中。

![](http://img.blog.itpub.net/blog/2022/06/24/a0aea38f2a66a3a1.png?x-oss-process=style/bb)

現在，如果使用者要將歷史 Database（比如 MySQL、OpenTSDB 等）中的資料遷移到 TDengine，或者將 TDengine 中的資料匯出，就可以利用 DataX 來實現了。

更多使用細節，可以參考“基於 DataX 的 TDengine 資料遷移工具”一文。

基於 DataX 的 TDengineWriter 和 TDengineReader 的實現和最新動態，請關注：https://github.com/taosdata/DataX

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

TDengine可通過資料同步工具 DataX讀寫

相關文章