論文閱讀：LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy

三金samkam發表於2020-12-04

論文名字

LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy

來源

期刊 arXiv:2007.15789v1 預印本。審查中。

年份

2020.7

作者

Lichao Sun, Jianwei Qian, Xun Chen, Philip S. Yu

核心點

提出一種新型的本地差分隱私方法

閱讀日期

2020.12.2

影響因子

 

頁數

13

引用數

 

引用

Sun L , Qian J , Chen X , et al. LDP-FL: Practical Private Aggregation in Federated Learning with Local Differential Privacy[J]. 2020.

內容總結

文章主要解決的問題及解決方案：

先前的聯邦學習與隱私保護不能解決的三大問題：①噪聲接近原始資料，增加資訊洩漏的風險；②估計的平均值會引入較大的方差，從而導致較差的精度；③由於深度學習模型中權重的高維數，隱私預算爆炸。

 

文章的主要工作：

①提出了Locally Differential Private Federated Learning (LDP-FL)，一種新型的本地差分隱私方法，如圖1所示。

②本文的主要貢獻：1）是增加噪聲的擾動資料與原始資料區別更大。2）對客戶端的權重使用分割和打亂是為了減輕由高資料維度和多次查詢迭代引起的隱私退化。3）證明了提出的方法對平均計算引入較少的方差。

③所提演算法步驟（參考附錄演算法1虛擬碼）：1）輸入：n是本地客戶端的數量，B是本地的mini-batch的大小，E是本地epochs的大小，γ是學習率；2）初始化權重W0；3）對於每次迴圈（r=1,2，…），迴圈內容：在第r次通訊中，雲伺服器隨機選取nr（nr≤n），收集客戶端所有權重W（clientsWt,nr），用id取區域性模型各權重的平均值，重新更新wr+1；4）把更新後的權重wr+1傳送給客戶端；5）對於每一個本地客戶端，用雲伺服器傳送的權重W更新本地的權重，對於每個本地epoch訓練資料並計算權重；6）給權重加上擾動；7）將權重分離並打亂；8）將打亂後的權重傳送給雲伺服器。

④資料分離並打亂（如圖2所示）：主要目的是增強資料保護，相比於傳統的機器學習，深度學習需要更多通訊和權重才能使得效能更高，而導致在傳統的聯邦學習中會傳送更多的隱私洩露。對於每個權重通過客戶端將它們匿名打亂，並將每個權重及其id傳送到雲，其中id指的是權重值在網路結構中的位置。（資料分離與打亂的演算法流程參考附錄演算法3虛擬碼）

⑤增加資料擾動部分：

資料增加擾動部分如下式所示，

p*=Mp=c+reε+1eε-1 with probabilityp-ceε-1+r(eε+1)2r(eϵ+1),c-reε+1eε-1with probability-p-ceε-1+r(eε+1)2r(eϵ+1)

式中，p為模型權重w的子集，p∈w，假設p∈[c-r,c+r]，c為p的中心，r為範圍半徑，c、r的取值取決於權重w的範圍，將p帶入上式，輸出的p*為兩個離散值，當p的概率大的時候，Mp取 c+reε+1eε-1的概率大，當p的概率小的時候，Mp取 c+reε+1eε-1的概率小。其中reε+1eε-1相當於增加了噪聲，這樣處理後，所有權重只有兩個取值，而我們無法根據權重推測原資料，但這會帶來另外的結果，模型訓練緩慢或者模型不收斂，故對於ε的取值要慎重。

 

文章內容：

實驗結果：

附錄：

 

 

相關文章