DataWorks2.0的“業務流程”與1.0的“工作流”的對比

許此一生發表於2018-12-27

DatwWorks終於升級2.0了,心情萬分激動之餘,又有一絲擔憂。因為,沒法再建立新的舊版工作流了。。。
新版拋棄了 “工作流” 這個概念,引入了 “業務流程” “解決方案” 兩個新的概念。於是,作為團隊Leader,我花了很大的精力去鑽研這兩個概念到底該如何應用在我的實際業務中。

1.目的

能儘快應用DataWorks2.0的諸多給力新功能;
儘快解決掉由於無法新建舊版工作流引起的不便;

2.舊版工作流劃分

任務節點一般分為以下幾類:

  • 源資料同步節點
  • 單業務基礎資料層統計節點
  • 跨業務基礎資料層統計節點
  • 結果資料層統計節點
  • 結果資料同步節點

2.1 劃分維度

舊版本的工作流,主要包含以下幾個維度:

2.1.1 源資料庫

  • 資料來源是在哪個資料庫中
  • 包括:源資料同步節點

2.1.2 產品線

  • 源資料屬於哪個產品線
  • 包括:源資料同步節點 + 單業務基礎資料層統計節點

2.1.3 目標系統

  • 結果資料是給哪個系統提供的(後臺系統、BI、DataV、……)
  • 包括:結果資料層統計節點 + 結果資料同步節點

2.1.4 業務模組

  • 結果資料屬於哪個業務模組(訂單+投訴、訂單+保險、商家+訂單、……)
  • 包括:跨業務基礎資料層統計節點 + 結果資料層統計節點 + 結果資料同步節點

2.1.5 執行週期

  • 每日、每週、每月執行
  • 包括:所有節點

2.1.6 輸入/統計/輸出

  • 包含的節點的型別,是屬於“源資料遷入”、“統計任務”還是“結果資料遷出”
  • 包括:所有節點

2.2 其他劃分原則

  1. 儘量減少每個工作流所依賴的上游工作流的個數;
  2. 能用一句話給整個工作流起個名字;
  3. 每個工作流內的節點數量不超過30個;

3. 舊版工作流與新版業務流程的區別

3.1 執行週期

  • 舊版工作流:
    整個 工作流(包含多個內部節點),對應一個執行週期
  • 新版業務流程:
    每個 節點,對應一個執行週期

3.2 依賴關係

  • 舊版工作流:

    1. 工作流依賴工作流;
    2. 內部節點依賴內部節點;
  • 新版業務流程:

    1. 業務流程之間,無依賴關係;
    2. 節點依賴節點,可以跨業務流程依賴,可以不同執行週期的任務間依賴。

3.3 節點的分類

  • 舊版工作流:
    無分類 ,只能透過內部節點的命名來區分
  • 新版業務流程:
    可以自動 按節點型別 分類(SQL節點、資料同步節點、機器學習節點、……)

3.4 工作流(業務流程)的分類

  • 舊版工作流:
    無分類 ,只能透過工作流的命名來區分
  • 新版業務流程:
    可以透過“解決方案”功能來分類(類似於給每個業務流程 打標籤 ),“業務流程”與“解決方案”是“多對多”的關係。

3.5 提交範圍

  • 舊版工作流:
    整個 工作流(包含多個內部節點)一起提交
  • 新版業務流程:
    單個 任務節點提交。也支援業務流程中多個節點批次提交的方式。

3.6 重新命名

  • 舊版工作流:

    1. 工作流 不支援 重新命名;
    2. 內部節點 不支援 重新命名;
  • 新版業務流程:

    1. 業務流程 支援 重新命名;
    2. 節點 支援 重新命名;

3.7 新增資料夾的位置

  • 舊版工作流:
    多級資料夾 →工作流→內部節點
  • 新版業務流程:
    業務流程→資料整合/資料開發→ 多級資料夾 →節點

4. 業務流程劃分原則

最後,關於我的業務流程的劃分原則,總結如下:

  1. 業務流程是完成一個最小業務的;
  2. 業務流程的數量可以稍微多一點兒,可以透過解決方案去查詢;
  3. 每個業務流程裡的節點最好不要太多,每個業務流程裡能直觀展示的就只有那麼多;

希望大家也能早日用上DataWorks2.0的諸多給力功能!不用繼續在舊版工作流中縫縫補補。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31551794/viewspace-2286653/,如需轉載,請註明出處,否則將追究法律責任。

相關文章