Kettle是一種開源的ETL工具

需求:
每天新建一個日誌表,使用Kettle匯出最新一天的資料。
模擬環境如下
create table tab_20140901 (id varchar(20));
create table tab_20140902 (id varchar(20));
create table tab_20140903 (id varchar(20));
create table tab_20140904 (id varchar(20));
insert into tab_20140901 values(1);
insert into tab_20140902 values(2);
insert into tab_20140903 values(3);
insert into tab_20140904 values(4);

首先,建立一個Job

獲取最新的表的轉換:

SQL:

SELECT table_name
FROM information_schema.tables
WHERE table_schema = 'mvbox'
AND str_to_date(substr(table_name, 5), '%Y%m%d') = (
SELECT MAX(str_to_date(substr(table_name, 5), '%Y%m%d'))
FROM information_schema.tables
WHERE table_schema = 'mvbox'
);

匯出最新表的資料的轉換

他先獲取上個轉換的變數.

寫入變數,實現動態SQL

執行Job,檢視SQL檔案輸出如下
INSERT INTO t(id) VALUES ('4');

後來經過測試，第二個轉換不使用 "獲取變數"也可以

參考:
http://blog.csdn.net/rotkang/article/details/21008271

Kettle實現動態SQL

相關文章