> 作者：燒雞太子爺
>
> 來源：[恆生LIGHT雲社群](https://developer.hs.net/thread/1793)

1、前言

* 阿里雲的RDS服務提供了比較完善的DTS資料遷移的方案,但是在做非阿里雲間服務或跨資料庫間資料遷移時還是需要用ETL方案來同步。

基於此，今天和大家一起針對DataX做一個分享和探討，以便於後續在專案中遇到資料同步的需求的時候可以多一個技術選擇

2、DataX介紹

```
DataX 是淘寶開源的一個異構資料來源離線同步工具，致力於實現包括關係型資料庫(MySQL、postgreSQL等)、HDFS、Hive、ODPS、HBase、FTP等各種異構資料來源之間穩定高效的資料同步功能。我們希望在一個很短的時間視窗內，將一份資料從一個資料庫同時匯出到多個不同型別的資料庫。 DataX正是為了解決這些問題而生
```

DataX在阿里巴巴集團內被廣泛使用，承擔了所有大資料的離線同步業務，並已持續穩定執行了6年之久。目前每天完成同步8w多道作業，每日傳輸資料量超過300TB。

3、DataX框架設計

![1.jpg](https://developer.hs.net/storage/attachments/2021/12/22/blAbiVZ0yPnZ40nY2xQnreUh1UsAyHSXZKVDFOIe_thumb.jpg "4330")

```
                                    （圖片來源官網）
```

DataX本身作為離線資料同步框架，採用Framework + plugin架構構建。將資料來源讀取和寫入抽象成為Reader/Writer外掛，納入到整個同步框架中。

Reader：Reader為資料採集模組，負責採集資料來源的資料，將資料傳送給Framework。

Writer： Writer為資料寫入模組，負責不斷向Framework取資料，並將資料寫入到目的端。

Framework：Framework用於連線reader和writer，作為兩者的資料傳輸通道，並處理緩衝，流控，併發，資料轉換等核心技術問題。

DataX本身作為資料同步框架，將不同資料來源的同步抽象為從源頭資料來源讀取資料的Reader外掛，以及向目標端寫入資料的Writer外掛，理論上DataX框架可以支援任意資料來源型別的資料同步工作。同時DataX外掛體系作為一套生態系統, 每接入一套新資料來源該新加入的資料來源即可實現和現有的資料來源互通。

原始碼下載地址： [https://github.com/alibaba/DataX](https://github.com/alibaba/DataX)

外掛開發寶典地址： [https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md](https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md)

4、DataX3.0外掛體系

DataX目前已經有了比較全面的外掛體系，主流的RDBMS資料庫、NOSQL、大資料計算系統都已經接入。

DataX目前支援資料如下：

| 型別                                                      | 資料來源                          | Reader(讀) | Writer(寫) |
| --------------------------------------------------------- | ------------------------------- | ---------- | ---------- |
| RDBMS 關係型資料庫                                        | MySQL                           | √          | √          |
| ``                                                        | Oracle                          | √          | √          |
| ``                                                        | SqlServer                       | √          | √          |
| ``                                                        | PostgreSQL                      | √          | √          |
| ``                                                        | 達夢                            | √          | √          |
| ``                                                        | 通用RDBMS(支援所有關係型資料庫) | √          | √          |
| 阿里雲數倉資料儲存                                        | ODPS                            | √          | √          |
| ``                 | ADS                             | `` | √                               |            |            |
| ``                                                        | OSS                             | √          | √          |
| ``                                                        | OCS                             | √          | √          |
| NoSQL資料儲存                                             | OTS                             | √          | √          |
| ``                                                        | Hbase0.94                       | √          | √          |
| ``                                                        | Hbase1.1                        | √          | √          |
| ``                                                        | MongoDB                         | √          | √          |
| 無結構化資料儲存                                          | TxtFile                         | √          | √          |
| ``                                                        | FTP                             | √          | √          |
| ``                                                        | HDFS                            | √          | √          |

DataX Framework提供了簡單的介面與外掛互動，提供簡單的外掛接入機制，只需要任意加上一種外掛，就能無縫對接其他資料來源。

當然也可以自己開發外掛，官方也提供了外掛開發寶典。

外掛開發者不用關心太多，基本只需要關注特定系統讀和寫，以及自己的程式碼在邏輯上是怎樣被執行的，哪一個方法是在什麼時候被呼叫的。在此之前，需要明確以下概念：

* Job: Job是DataX用以描述從一個源頭到一個目的端的同步作業，是DataX資料同步的最小業務單元。比如：從一張mysql的表同步到odps的一個表的特定分割槽。
* Task: Task是為最大化而把Job拆分得到的最小執行單元。比如：讀一張有1024個分表的mysql分庫分表的Job，拆分成1024個讀Task，用若干個併發執行。
* TaskGroup: 描述的是一組Task集合。在同一個TaskGroupContainer執行下的Task集合稱之為TaskGroup
* JobContainer: Job執行器，負責Job全域性拆分、排程、前置語句和後置語句等工作的工作單元。類似Yarn中的JobTracker
* TaskGroupContainer: TaskGroup執行器，負責執行一組Task的工作單元，類似Yarn中的TaskTracker。

簡而言之， Job拆分成Task，在分別在框架提供的容器中執行，外掛只需要實現Job和Task兩部分邏輯。

### 5、DataX3.0核心架構

DataX3.0開源版本支援單機多執行緒模式完成同步作業執行，本小節按一個DataX作業宣告週期的時序圖，從整體架構設計非常簡要說明DataX各個模組相互關係。

![2.png](https://developer.hs.net/storage/attachments/2021/12/22/bAFESSrYNNno6xNHmsXGzuGkwFjAKnofMI8jAQe4_thumb.png "4331")

```
                                      （圖片來源網路）
```

核心模組介紹：

1.DataX完成單個資料同步的作業，我們稱之為Job，DataX接受一個Job之後，將啟動一個程式來完成整個作業同步過程。DataX Job模組是單個作業的中樞管理節點，承擔了資料清洗、子任務切分（將單一作業計算轉化為多個子Task）.

2.DataXJob啟動後，會根據不同的源端切分策略，將job切分成多個小的Task（子任務），以便於併發執行。Task便是DataX作業的最小單元，每一個Task都負責一部分資料的同步工作。

3.切分多個Task之後，DataX Job會呼叫Scheduler模組兒，根據配置的併發資料量，將拆分成的Task重新組合，組裝成TaskGroup(任務組)。每一個TaskGroup負責以一定的併發執行完畢分配好的所有Task,預設單個任務組的併發數量為5.

4:每一個Task都由TaskGroup負責啟動，Task啟動後，會固定啟動ReaderChannelWriter的執行緒來完成任務同步工作。

5.DataX作業執行起來之後，Job監控並等待多個TaskGroup模組任務完成，等待所有TaskGroup任務完成後Job成功退出。否則，異常退出，程式退出值非0.

DataX排程流程：

舉例來說，使用者提交了一個DataX作業，並配置了20個併發，目的是將一個100張分表的mysql資料同步到odps裡面。

DataX的排程決策思路是：

1.DataXJob根據分庫分表切分成了100個Task.

2.根據20個併發，DataX計算共需要分配4個TaskGroup. （預設每個TaskGroup的併發數量是5）

3.4個TaskGrou平均切分好的100個Task,每一個TaskGroup負責5個併發共計25個Task.

6、DataX安裝

執行環境：

* JDK (1.8.0_xxx) 必選
* DataX 必選
* Python (2.x) (支援Python3需要修改替換datax/bin下面的三個python檔案，替換檔案在doc/datax-web/datax-python3下) 必選，主要用於排程執行底層DataX的啟動指令碼，預設的方式是以Java子程式方式執行DataX，使用者可以選擇以Python方式來做自定義的改造

安裝：

1、原始碼編譯  2、官方編譯好的包。

下載好的包：

解壓官方下載的包：

![3.png](https://developer.hs.net/storage/attachments/2021/12/22/Ddc5lFvGD0M5r7T2vlxmFmQ4jSfb5JXuMiPIbQ3F_thumb.png "4332")

***

想向技術大佬們多多取經？開發中遇到的問題何處探討？如何獲取金融科技海量資源？

[恆生LIGHT雲社群](https://developer.hs.net/)，由恆生電子搭建的金融科技專業社群平臺，分享實用技術乾貨、資源資料、金融科技行業趨勢，擁抱所有金融開發者。

掃描下方小程式二維碼，加入我們！

![](https://developer.hs.net/storage/attachments/2021/12/20/vzjJlveZdvxcz6rUjIBaPMbRK36iL8jCjtMU5h97.png)

基於DataX的資料同步（上）-DataX介紹以及安裝

相關文章