ETL中如何自定義規則

RestCloud谷云科技發表於2024-04-02

一、ETL中的規則

在使用規則之前我們先來了解一下什麼是規則,ETL中規則在很多元件中都能看見,可以理解為按照事前約定好的邏輯去執行,規則可以使得資料更加的規範統一,同時也不需要去縱向的修改底層程式碼,只需要動態編譯然後進行繫結即可使用。

二、規則的使用

ETLCloud的規則一般應用在資料流的輸入輸出,對輸入輸出的欄位做處理,例如庫表輸入輸出欄位配置,就可以找到規則的繫結了。

點選繫結規則選擇需要使用的規則即可,平臺提供大量常用的規則,當然有些規則還可以在官網中下載。

例如想在資料入庫時對某個欄位進行脫敏操作,那麼我們只需選擇規則即可,右側會有該規則的使用示例,簡單明瞭,只需要根據提示填寫即可。

經過規則,入庫後對比可以發現姓名欄位已經被脫敏了。

三、ETLCloud自定義規則

自定義規則需要有一定程式設計基礎的人員來操作,提供規範好的介面,讓我們去實現相應的方法和編寫符合場景需要的邏輯程式碼,下面我來教大家如何去自定義規則。

首先點選進入我們的離線應用,在頁面中找到規則管理,點選規則管理,可以看到分為兩大類,一種是平臺內建的規則,另一種就是我們需要自己定義的規則。

在建立規則之前我們需要建立規則分類,在同一頁面中找到應用配置,點選新增分類即可建立規則分類,然後回到我們的規則頁面,去新增規則。

根據提示完成規則基礎屬性的設定,點選儲存退出即可。

在規則列表中找到我們新增的規則,點選“程式碼” 即可彈出程式碼編輯頁,我們就可以進行規則邏輯程式碼的編寫。

當我們完成邏輯程式碼的編寫後即可點選編譯儲存,編譯透過後可以按照剛剛演示的規則教程來使用我們的自定義規則。

ETLCloud平臺的規則功能不僅簡化了資料處理過程中的邏輯實現難度,讓不具備深度程式設計技能的使用者也能高效處理資料;同時也為專業開發者提供了廣闊的創新空間,使其能基於業務需求定製個性化規則。無論是標準化還是個性化的規則運用,都將進一步提升資料質量,增強在資料流轉過程中的安全性與可控性,從而有力支撐企業的資料驅動決策和智慧化轉型。

相關文章