第6講回顧:聯邦推薦演算法及其應用

聯邦學習FATE入門與應用實戰發表於2020-03-28

「AI開發者成長計劃」首期公開課由機器之心與微眾銀行聯合開設,主題為《聯邦學習FATE入門與應用實戰》,特邀合作伙伴 VMware 也將參與分享。 公開課為期4周,共6期課程 ,設定主題分享、專案實踐、線上答疑等環節,從零入門聯邦學習。

整體學習計劃與加入方式請檢視:《聯邦學習FATE入門與應用實戰》公開課上線!

3 月 26 日,機器之心聯合微眾銀行開設的公開課《聯邦學習 FATE 入門與應用實戰》第六講結課,微眾銀行人工智慧部高階研究員譚奔為大家介紹了聯邦推薦系統背景、聯邦推薦系統分類以及現有工作、聯邦推薦演算法實現和聯邦推薦在新聞推薦的應用。第六講回顧影片: 


第6課精選問答


Q:在縱向聯邦因子分解機中,資料提供方輸出預估結果會洩漏資訊嗎?

我想這裡洩露是指,資料提供方輸出部分預估結果過程中,他的原始資料是否會被其他參與方或者被第三方伺服器反推。這裡資訊洩露是不存在的。

首先在模型訓練過程中,各方都是在加密環境下進行,然後各方基於自己的特徵進行建模,擁有自己的模型引數並保留在本地,雙方都是不知道對方模型引數的內容,另外傳送給對方的預估值是模型引數和特徵的乘積和,在特徵交叉的場景下,特徵維度和引數個數非常大,可能是上千萬,所以這個預估值是幾千萬個數字乘積彙總成一個值,然後傳送給對方。對方想要從這個值推出它的原始資料是不可能的。所以輸出預估結果不存在隱私洩露的風險。

Q:目前只支援兩方的聯邦嗎?可以擴充到更多方嗎?

可以的,在這個技術分享中,我們為了將問題簡化,更注重在演算法邏輯的介紹,我們把聯邦參與數量限制在兩個進行講解。其實它是可以非常簡單的擴充到多方的。比如說以橫向矩陣分解為例子,我們的server可以分別接收來自很多方的user profile梯度,進行彙總,然後再傳送回去。

Q:後續會有哪些演算法的支援?

目前我們支援了矩陣分解,以及矩陣分解的多個變種,還有聯邦因子分解機。接下來我們會支援基於深度學習的推薦演算法。

Q:有聯邦推薦和普通推薦的效果資料嗎?

有。聯邦推薦能夠聯合多方資料,在保護各方資料安全和使用者隱私的情況下,構建新的推薦系統,提升推薦效果。我們會比較新的聯邦推薦系統和單個推薦系統的效果,它的提升非常明顯。

首先在剛才的demo中有個直觀的比較結果。對同一個使用者,聯邦推薦系統對item的排序結果相比普通推薦系統有很大變化。另外在實際應用場景中,比如我們剛提到的內容推薦,我們分流量做A/B test,可以看到聯邦推薦的效果提升非常大。

Q:user profile初始化最後共享同個user profile嗎?

對的,在橫向聯邦推薦系統中,他們有大量相同使用者,item不一樣,在這個場景中, user profile是共享的。

相關文章