KETTLE一行一行執行方法

繁花似錦why_00發表於2015-06-03

目前瞭解的kettle一行一行執行的方法有兩種現在這裡做個總結

後面的一個問號就是表示它需要接受一個引數,你在這個表輸出下面需要指定replace variable in script 選項和execute for eachrow 為選中狀態,這樣,Kettle就會迴圈執行這個sql , 執行的次數為前面引數步驟傳入的資料集的大小。這樣的好處是迴圈執行sql,但是資料庫連線不斷開。

 

 

第二種

 

其中主job的下面兩個變數地方要注意

要每一次執行的行的轉換裡面的變數也要加上

以上兩種方法第一種是減少對資料庫連線的次數,資源消耗的比較少,如果對第二個表輸入的資料庫表加上索引的話,會大大提高資料抽取效率。第二種方法適合比較複雜的抽取,輸入的資料行數比較少,第二個轉換輸出資料每一行裡面比較複雜的資料處理。第二種方法的轉換還可以換成job,但是無論是轉換還是job都會在沒傳入一行引數的時候啟動要被執行的轉換或者job比較浪費資源。

以上兩個附件分別對應網址http://download.csdn.net/detail/why_00/8770797

http://download.csdn.net/detail/why_00/8770805

 

 

相關文章