(閱讀筆記)Oblivious Neural Network Predictions via MiniONN Transformations

你看見的我發表於2020-11-14

不經意神經網路預測

動機

  1. 雲託管模型受到青睞,使用者傾向選擇雲預測(推理)服務;
  2. 使用者資料包含隱私,如何避免隱私洩露;
  3. 使用者-雲協同預測輕量化。
  • 隱私保護效果:使用者對模型未知,伺服器對使用者資料未知。

  • 本文工作:

    1. 不改變明文下的神經網路模型,實現與之對應的不經意神經網路(採用OT協議);
    2. 為神經網路預測的公共函式設計相應的不經意計算協議

單指令多資料(SIMD):密文長度遠大於明文長度,SIMD用於將多條密文訊息編碼對應於單個明文(基於中國剩餘定理CRT),從而實現密文計算批量化。

MINIONN框架

各個網路層輸入資料特點:第一層:使用者輸入資料x,伺服器輸入模型(w,b);
後面網路層,結果劃分兩份祕密份額,分別由使用者和伺服器掌握。
顯然,使用者和伺服器都具備私心(使用者不希望伺服器得到資料,伺服器不希望使用者得到模型),因此,使用者和伺服器不存在共謀問題

  1. 基於AHE的兩方乘法協議
    u = D ( u ~ ) = r × w − v u=D(\widetilde{u})=r \times w - v u=D(u )=r×wv
    在這裡插入圖片描述
  2. 基於乘法協議的線性組合協議
    在這裡插入圖片描述
  3. 安全啟用:採用分段hard線性函式近似sigmoid等啟用函式,可以採用安全線性組合協議實現這一網路層功能;
  4. 安全池化:①平均池化,使用者和伺服器區域性計算平均數即可;
    ②最大池化,本文采用GC混淆電路實現安全比較(這是一個計算開銷缺陷)。

本文總結

本文屬於一篇密文預測(或稱推理)的前瞻性工作,與通常的使用者外包密文資料給伺服器計算不同,本文需要使用者和伺服器協作完成網路前向計算過程,這會加重使用者的計算和通訊負擔。此外,本文提出的基於AHE加法同態加密的兩方乘法具有一定普適性,SIMD的應用可以一定程度控制HE的計算開銷;本文也主要採用這一協議實現的了安全的線性計算,但對於非線性啟用函式,並沒有提出一種比較有價值的安全協議設計方向,因為採用分段線性函式畢竟不是啟用函式本身,是否具有等同的函式優勢,特別是推廣至網路反向傳播(安全網路訓練)時,不連續的一階導數是否可以適應梯度下降。最大池化也有同樣的弱點,眾所周知,GC電路的計算開銷十分巨大,以此來設計安全比較協議顯然是不實際的。因此,針對非線性函式如何設計出高效的安全計算協議仍然是一個開放性的問題。在我看來,本文的最大啟示在於offline預計算和online協作計算的區分,可以讓我們引起思考,如何合理的分配計算開銷。總體而言,這篇論文仍然有著比較重要的現實意義,它是我們在探索密文推理和訓練的過程中的重要一步。

相關文章