kettle 實時同步資料(插入/更新/刪除資料)
首先需要下載kettle工具,本人的環境為:jdk1.8。
下載地址:https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip
來接mysql資料庫需要把mysql-connector-java-5.1.38.jar匯入到解壓後的lib檔案中,並重啟kettel。
表同步為單向表操作。
首先新建轉換,然後連結資料庫。
然後設定表輸入,插入/更新,執行sql指令碼(為同步刪除操作);
本人插入表為127-mysql-test 庫中的user2表
插入更新表為127-mysql-test2庫中的user3表。
執行sql指令碼中刪除的也是127-mysql-test2庫中的user3表。
以上兩個方面設定後可以單次執行插入和更新,但是刪除源表後,插入表不能同步刪除,所以需要設定“執行sql指令碼”進行同步刪除操作。
以上操作後,可以同步插入更新和刪除,到此後需要有一個定時器,進行定時同步資料。
檔案->新建->作業
然後啟動就可以定時排程了。定時同步資料就完成了。
當然瞭如果是需要多張表一起同步的話,就多建立幾個轉換就ok了。
相關文章
- .NET 資料庫大資料 方案(插入、更新、刪除、查詢 、插入或更新)資料庫大資料
- mysql 資料插入和更新及刪除詳情FSSHMySql
- Laravel 批量插入(如果資料存在刪除原資料)Laravel
- MongoDB資料庫中更新與刪除資料MongoDB資料庫
- CnosDB的資料更新和刪除
- 利用Kettle進行資料同步(下)
- 利用Kettle進行資料同步(上)
- 刪除資料
- PG資料庫更新刪除卡死現象資料庫
- MySQL 批量更新、刪除資料shell指令碼MySql指令碼
- Kettle:Oracle多表格批量同步資料=》mysqlOracleMySql
- whk我【資料刪除】你個【資料刪除】的
- 刪除elasticsearch資料Elasticsearch
- indexedDB 刪除資料Index
- 什麼是資料實時同步,為什麼資料實時同步很重要
- Laravel 中利用『模型事件』來實現刪除資料時的連帶刪除Laravel模型事件
- Mysql資料實時同步實踐MySql
- 怎樣刪除windows10更新資料夾_如何清理windows10更新資料夾Windows
- dbca刪除資料庫時選項灰色資料庫
- SQL的資料庫操作:新增、更新、刪除、查詢SQL資料庫
- Yii 1.0資料庫操作 查詢、增加、更新、刪除資料庫
- 資料同步:教你如何實時把資料從 MySQL 同步到 OceanBaseMySql
- Laravel 資料庫裡的資料刪除Laravel資料庫
- [資料整合/資料同步] 基於資料庫增量日誌的資料同步方案 : Flink CDC/Debezium/DataX/Canal/Oracle Goldengate/Kettle/Sqoop資料庫OracleGoOOP
- indexedDB 刪除資料庫Index資料庫
- 2.11 刪除資料庫資料庫
- CoLab刪除資料夾
- 刪除重複資料
- MySQL刪除資料表MySql
- mybatis插入資料、批量插入資料MyBatis
- Laravel 如何實現資料的軟刪除Laravel
- .NET 百萬級 大資料插入、更新 ,支援多種資料庫大資料資料庫
- 刪除4G資料1300萬資料時間花費記錄
- mysql插入資料時如果有相同資料就不插入或者替換MySql
- MYSQL資料插入和更新的語法MySql
- oracle刪除重資料方法Oracle
- python 刪除大表資料Python
- mongodb刪除重複資料MongoDB