全球首個聯邦學習工業級開源框架FATE更新!五大模組迎來巨幅最佳化

新闻助手發表於2021-03-31

FATE(Federated AI Technology Enabler)是微眾銀行AI團隊研發的全球首個聯邦學習工業級開源框架,旨在提供安全的計算框架來支援聯邦 AI 生態。FATE 實現了基於同態加密和多方計算(MPC)的安全計算協議,它支援聯邦學習架構和多種機器學習演算法的聯邦學習實現,包括邏輯迴歸、基於樹的演算法、深度學習和遷移學習等等。

3月31日,FATE推出 v1.6版本更新。在1.6版本中,最佳化了效能效率及穩定性,在使用體驗方面,根據社群的反饋也有多方面的最佳化,將帶來更流暢的使用體驗。

全球首個聯邦學習工業級開源框架FATE更新!五大模組迎來巨幅最佳化

此外,新版本對其他FederatedML、System Architecture、FATE-Test、FATE-Board、KubeFate等多個模組都進行了更新及改進,五大模組更新如下:

FederatedML

1、縱向SecureBoost 計算機制最佳化,支援GOSS、直方圖相減、密文壓縮等機制,效能提升2-4倍;

2、縱向SecureBoost支援L1、min_child_weight,緩解過擬合問題;

3、縱向SBT增加deterministic選項,解決因為浮點誤差帶來的直方圖計算不穩定性問題;

4、新增特徵工程元件SecureBoost Transformer,使用SecureBoost的葉子結點進行樣本編碼;

5、隱私交集模組支援隨機數複用和分組計算均衡機制,效能提升30%;

6、隱私保護交集支援國密SM3雜湊演算法;

7、縱向GLM最佳化計算通訊流程,支援低精度加密運算,效能提升可達2倍;

8、縱向神經網路支援低精度加密運算,支援SelectiveBackPropagation、互動層的dropOut,效能提升2倍;

9、縱向特徵分箱最佳化計算邏輯,減少資料複製和記憶體消耗,支援密文壓縮,效能提升2倍;

10、縱向Pearson模組支援本地VIF的計算;

11、聯邦特徵選擇新增Pearson相關性和VIF共線性過濾器;

12、橫向神經網路支援直接輸入影像資料進行訓練和預測;

13、橫向神經網路torch後端重構和語法最佳化;

14、新增橫向聯邦分箱,支援virtual和迭代式2種橫向聯邦分箱機制;

15、新增樣本加權模組,支援列加權和標籤加權機制,縱向GLM、縱向SecureBoost支援加權訓練;

16、新增元件data_transformer,支援輸入資料schema大小寫不敏感;

17、LocalBaseline元件支援離線預測;

18、CrossValidation支援輸出資料切分明細;

19、Evaluation模組支援多分類評估指標的one-vs-rest展開成二分類指標功能。

System Architecture

1、新增本地檔案系統目錄路徑虛擬儲存引擎,以支援影像輸入資料;

2、新增訊息佇列Pulsar跨站點傳輸引擎,可搭配Spark計算引擎使用,並可加入Exchange角色支援星型站點組網模式。

FATE-Test

1、FATE-Test新增演算法效率比較,支援自動化資料的生成;

2、FATE-Test支援flow介面的自動化迴歸和正確性測試,覆蓋rest\cli\sdk三類介面;

3、FATE-Test支援flow流程自動化迴歸訓練、預測、線上推模型的全流程;

4、FATE-Test演算法效果對比功能增強,支援驗證集指標一致性對比。

FATE-Board

1、SBT Transformer:新增sbt transformer元件,支援利用hetero_sbt模型對樣本特徵進行重新編碼;

2、Sample Weight:新增sample weight元件,可為樣本進行加權,當前支援根據標籤指定權重或根據特徵列自動提取權重;

3、Homo Feature Binning:新增homo feature binning元件,用於橫向聯邦場景下的分箱,當前支援檢視各特徵的分箱數及分箱區間;

4、Data Transformer:新增data transformer元件,該元件繼承data IO元件的功能,同時支援大小寫不敏感等新特性;

5、Reader:支援讀入影像檔案;

6、Hetero Feature Binning:支援根據woe篩選檢視分箱;

7、Pearson:支援計算特徵VIF值;

8、Feature Selection:支援使用pearson進行特徵選擇;

9、SecureBoost:支援同時檢視模型的gain和split兩類特徵重要性,二分類情形下Performance Score支援檢視彙總圖表;

10、CV元件:支援檢視和下載每一折的訓練集樣本及其訓練結果;

11、Evaluation:支援檢視one_vs_rest各子模型的二分類指標及彙總視覺化圖表;

12、可在Board上匯出當前任務的dsl和conf檔案;

13、可根據合作成員的party_id條件搜尋job;

14、最佳化元件資料/模型下載功能;

15、最佳化迭代次數過多/cv折數過多情況下Performance Score的圖表展示。

KubeFate

1、支援FATE v1.6.0部署,方便配置切換不同的計算引擎、儲存引擎、傳輸引擎;

2、支援最新的Pulsar傳輸引擎配置,以及Pulsar exchange模式配置;

3、改進Spark作為計算引擎的配置;

4、新增Kubernetes日誌聚合,提高錯誤追蹤能力;

5、新增叢集部署任務的停止功能。

瞭解更多聯邦學習相關資訊,可參考官網(https://www.fedai.org)或者掃描下方二維碼,新增小助手。

全球首個聯邦學習工業級開源框架FATE更新!五大模組迎來巨幅最佳化


相關文章