使用dataX遇到的坑

yandao 發表於 2020-10-28

首先是安裝dataX,安裝非常簡單,只需下載對應的壓縮包即可。

下載地址:https://github.com/alibaba/DataX

第一個錯誤:命令提示符介面出現出現亂碼。

解決方法:

可以在cmd中輸入: CHCP 65001 (切換為UTP8編碼-65001 (UTF-8)),然後進行後續操作。

第二個錯誤:print的問題

  File "datax.py", line 114
    print readerRef
          ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(readerRef)?

切換版本

D:\Users\LENOVO>python --version
Python 3.8.2

D:\java\datax\bin>python --version
Python 2.7.18

第三個問題:連線mysql

2020-10-28 08:02:46.914 [job-0] WARN  DBUtil - test connection of [jdbc:mysql://localhost:3306/ssm] failed, for Code:[DBUtilErrorCode-10], Description:[連線資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(注意網路 環境).].  -  具體錯誤資訊為:com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2020-10-28 08:02:46.918 [job-0] ERROR RetryUtil - Exception when calling callable, 異常Msg:DataX無法連線對應的資料庫,可能原因是:1) 配置的ip/port/database/jdbc錯誤,無法連線。2) 配置的username/password錯誤,鑑權失敗。請和DBA確認該資料庫的 連線資訊是否正確。
java.lang.Exception: DataX無法連線對應的資料庫,可能原因是:1) 配置的ip/port/database/jdbc錯誤,無法連線。2) 配置的username/password錯誤,鑑權失敗。請和DBA確認該資料庫的連線資訊是否正確。
        at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:71) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:51) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.common.util.RetryUtil$Retry.call(RetryUtil.java:164) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
        at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:111) ~[datax-common-0.0.1-SNAPSHOT.jar:na]

解決方法:
檢視MySQL驅動包
把mysql-connector-java-5.1.34.jar 修改為
mysql-connector-java-8.0.18.jar
新增?serverTimezone=UTC

jdbc.url=jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC

完美結果:

020-10-28 08:19:36.780 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true.
2020-10-28 08:19:36.836 [job-0] INFO  OriginalConfPretreatmentUtil - table:[menu] has columns:[id,name,pid].
2020-10-28 08:19:36.900 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2020-10-28 08:19:36.900 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2020-10-28 08:19:36.902 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2020-10-28 08:19:36.906 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2020-10-28 08:19:36.907 [job-0] INFO  JobContainer - Job set Channel-Number to 3 channels.
2020-10-28 08:19:36.936 [job-0] INFO  SingleTableSplitUtil - split pk [sql=SELECT MIN(id),MAX(id) FROM menu] is running...