使用dataX遇到的坑
首先是安裝dataX,安裝非常簡單,只需下載對應的壓縮包即可。
下載地址:https://github.com/alibaba/DataX
第一個錯誤:命令提示符介面出現出現亂碼。
解決方法:
可以在cmd中輸入: CHCP 65001 (切換為UTP8編碼-65001 (UTF-8)),然後進行後續操作。
第二個錯誤:print的問題
File "datax.py", line 114
print readerRef
^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(readerRef)?
切換版本
D:\Users\LENOVO>python --version
Python 3.8.2
到
D:\java\datax\bin>python --version
Python 2.7.18
第三個問題:連線mysql
2020-10-28 08:02:46.914 [job-0] WARN DBUtil - test connection of [jdbc:mysql://localhost:3306/ssm] failed, for Code:[DBUtilErrorCode-10], Description:[連線資料庫失敗. 請檢查您的 賬號、密碼、資料庫名稱、IP、Port或者向 DBA 尋求幫助(注意網路 環境).]. - 具體錯誤資訊為:com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server..
2020-10-28 08:02:46.918 [job-0] ERROR RetryUtil - Exception when calling callable, 異常Msg:DataX無法連線對應的資料庫,可能原因是:1) 配置的ip/port/database/jdbc錯誤,無法連線。2) 配置的username/password錯誤,鑑權失敗。請和DBA確認該資料庫的 連線資訊是否正確。
java.lang.Exception: DataX無法連線對應的資料庫,可能原因是:1) 配置的ip/port/database/jdbc錯誤,無法連線。2) 配置的username/password錯誤,鑑權失敗。請和DBA確認該資料庫的連線資訊是否正確。
at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:71) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.plugin.rdbms.util.DBUtil$2.call(DBUtil.java:51) ~[plugin-rdbms-util-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.common.util.RetryUtil$Retry.call(RetryUtil.java:164) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
at com.alibaba.datax.common.util.RetryUtil$Retry.doRetry(RetryUtil.java:111) ~[datax-common-0.0.1-SNAPSHOT.jar:na]
解決方法:
檢視MySQL驅動包
把mysql-connector-java-5.1.34.jar 修改為
mysql-connector-java-8.0.18.jar
新增?serverTimezone=UTC
jdbc.url=jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC
完美結果:
020-10-28 08:19:36.780 [job-0] INFO OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://localhost:3306/ssm?serverTimezone=UTC&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true.
2020-10-28 08:19:36.836 [job-0] INFO OriginalConfPretreatmentUtil - table:[menu] has columns:[id,name,pid].
2020-10-28 08:19:36.900 [job-0] INFO JobContainer - jobContainer starts to do prepare ...
2020-10-28 08:19:36.900 [job-0] INFO JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2020-10-28 08:19:36.902 [job-0] INFO JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2020-10-28 08:19:36.906 [job-0] INFO JobContainer - jobContainer starts to do split ...
2020-10-28 08:19:36.907 [job-0] INFO JobContainer - Job set Channel-Number to 3 channels.
2020-10-28 08:19:36.936 [job-0] INFO SingleTableSplitUtil - split pk [sql=SELECT MIN(id),MAX(id) FROM menu] is running...
相關文章
- 用DataX導資料到Clickhouse遇到的坑
- 使用WebDriver遇到的那些坑Web
- 使用laravels可能遇到的小小坑Laravel
- 小程式使用Picker遇到的坑
- 使用constexpr時遇到的小坑
- 使用MySQL時遇到的各種坑MySql
- Laravel 使用 swoole 協程遇到的坑Laravel
- 使用vue匯出excel遇到的那些坑VueExcel
- 總結:使用MyBatis Generator時遇到的坑MyBatis
- @babel/preset-env使用polyfill遇到的坑Babel
- 使用Golang時遇到的一些坑Golang
- mpvue遇到的坑Vue
- Presto上使用SQL遇到的一些坑RESTSQL
- 記使用pdf.js過程遇到的坑JS
- 小程式 遇到的坑
- RSA加密遇到的坑加密
- Laravel Excel 遇到的坑LaravelExcel
- NSString 遇到的坑
- Laravel Session 遇到的坑LaravelSession
- 【eclipse遇到的坑】Eclipse
- 資料同步Datax與Datax_web的部署以及使用說明Web
- vue-router之addRoutes使用遇到的坑Vue
- 使用RecyclerView動態改變item時遇到的坑View
- android merge標籤 的使用 和 遇到的坑Android
- phalcon遇到的那些坑
- Swift3.0 - 遇到的坑Swift
- webpack 4 配置遇到的坑Web
- Maven配置中遇到的坑Maven
- 更新cocoapods 遇到的坑
- 坑四:利用json模組時遇到的坑JSON
- npm包使用過程中遇到的坑,長期更~NPM
- 使用vue2+Axios遇到的一些坑VueiOS
- 使用bat指令碼執行MySQL命令時遇到的坑BAT指令碼MySql
- 使用Docker網路解決方案weave遇到的那些坑Docker
- 搜尋框UISearchController的使用及所遇到的坑UIController
- Vue專案部署遇到的坑(你肯定會遇到!)Vue
- NPM 安裝包遇到的坑!NPM
- PHP date() 函式遇到的坑PHP函式