Datax離線資料抽取(MySQL--MySQL)

Datax下載地址：

Datax MySQL讀：

Datax MySQL寫：

1.下載安裝Datax軟體(必須安裝jdk 1.8版本以上)

[root@localhost ~]# tar xvf jdk-8u65-linux-x64.tar.gz

[root@localhost ~]# mv jdk1.8.0_151  /usr/local/jdk1.8.0_151

[root@localhost ~]# vim /etc/profile

export PATH=$PATH:/usr/local/jdk1.8.0_151/bin

[root@localhost ~]# vim /etc/ld.so.conf.d/mysql-x86_64.conf

/usr/local/jdk1.8.0_151/lib

[root@localhost ~]# tar xvf  datax.tar.gz

[root@localhost ~]# cd datax/job/

2.編輯配置檔案

[root@localhost job]# vim job.json

{

    "job": {

        "setting": {

            "speed": {

                "channel": 5

            }

        },

        "content": [

            {

                "reader": {

                    "name": "mysqlreader",

                    "parameter": {

                        "username": "taf",

                        "password": "taf2015",

                        "column": ["*"],

                        "connection": [

                           {

                              "table": ["t2"],

                              "jdbcUrl": ["jdbc:mysql://172.16.8.160:3306/test?useUnicode=true&characterEncoding=utf8"]

                           }

                        ]

                    }

                },

                "writer": {

                    "name": "mysqlwriter",

                    "parameter": {

                        "writeMode": "update",

                        "username": "wangying",

                        "password": "wangying",

                        "column": ["*"],

                        "connection": [

                            {

                               "jdbcUrl": "jdbc:mysql://172.16.8.93:3306/db_stktag",

                               "table": ["t2"]

                            }

                        ]

                      }

                    }

                }

        ]

    }

}

[root@localhost job]# 

3.mysql兩邊表結果必須一至，使用python2抽取資料

[root@localhost job]# python2 /root/datax/bin/datax.py job.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !

Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.

2019-01-29 11:18:50.569 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl

2019-01-29 11:18:50.615 [main] INFO  Engine - the machine info  => 

osInfo:Oracle Corporation 1.8 25.151-b12

jvmInfo:Linux amd64 3.10.0-123.el7.x86_64

cpu num:8

totalPhysicalMemory:-0.00G

freePhysicalMemory:-0.00G

maxFileDescriptorCount:-1

currentOpenFileDescriptorCount:-1

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

任務啟動時刻                    : 2019-01-29 11:18:50

任務結束時刻                    : 2019-01-29 11:19:04

任務總計耗時                    :                 13s

任務平均流量                    :                1B/s

記錄寫入速度                    :              0rec/s

讀出記錄總數                    :                   7

讀寫失敗總數                    :                   0

[root@localhost job]#