Restcloud ETL實踐之Excel檔案資料採集

工作中會有好多地方需要將收集Excel資料進行彙總統計的資料來源使用，在進行資料的統計分析之前需要對收集的資料清洗、轉換等。

 

1. 開始

登入系統，點選“資料整合開發”，進入資料整合設計頁面，如下圖：

 

2. 選擇或建立應用

選擇或建立應用，即建流程存在位置，如下圖：

建立應用對流程進行歸類，便於管理。在一個應用中也可以建立多個分類進一步細化流程的管理。

 

 

3. 上傳檔案

檔案管理-》建立資料夾

 

3.1用於儲存上傳Excel檔案的資料夾，如已有無需建立。

 

 

3.2新增資料夾，提交（預設以使用者名稱為主目錄）

 

 

3.3 上傳檔案：點開加號-》上傳檔案-》點選【點選或者拖拽檔案進行上傳】將檔案上傳到建立的目錄裡。

 

上傳後，可看到已上傳的檔案，點選檔名可下載檢視，如下圖。

 

 

4. 配置流程

 

4.1建立流程

資料處理流程-》所有資料流程-》新增流程

配置流程資訊

 

4.2配置流程節點

開啟【輸入元件】-》拖動【Excel輸入】元件到流程介面，將相關元件使用【直線】連線起來

 

4.3 配置excel節點資訊

點選（或右擊“節點屬性”）【Excel輸入】元件開啟配置頁，新增檔案目錄、excel檔名，其它保持預設，點選下一步

 

根據實際表佈局調整欄位模式，我這裡選擇【Excel的第一行作為欄位名】，設定好後點選儲存

 

（這是我excel表的資料）

 

4.4 配置庫表輸出

點選（或右擊“節點屬性”）【庫表輸出】元件開啟配置頁

選擇資料來源-》載入資料表-》選擇需要採集excel表資料的資料表，下一步。（資料來源建立請查閱資料來源配置教程）

 

點選【從表中讀入】可自動獲得表欄位。

選【高階配置】，修改【資料更新方式】為【合併後批次】。

 

 

點選【資料預覽】可瀏覽資料表的資料。

 

4.5欄位名對映

點選（或右擊“節點屬性”）【欄位名對映】元件開啟配置頁

選"Excel輸入(T00002)"為源節點，“庫表輸出(T00001)”為目標節點，匹配模式根據自己需求配置，我這裡是配置“原欄位Id精確匹配”

 

點選【新增欄位】，在【源欄位Id】填excel的欄位名，【目標欄位Id】填資料表的欄位名

 

最後一步，點選【重新整理關係】，儲存。

 

5 執行測試

點選【儲存】=》【執行】=》【開始執行】

執行後，可檢視節點情況綠色透過，紅色為節點配置存在問題，流程執行結束會出現【操作提示】，點選【檢視日誌】可檢視流程每個節點的執行過程。

 

完畢