(閱讀筆記)Oblivious Neural Network Predictions via MiniONN Transformations
動機
- 雲託管模型受到青睞,使用者傾向選擇雲預測(推理)服務;
- 使用者資料包含隱私,如何避免隱私洩露;
- 使用者-雲協同預測輕量化。
-
隱私保護效果:使用者對模型未知,伺服器對使用者資料未知。
-
本文工作:
- 不改變明文下的神經網路模型,實現與之對應的不經意神經網路(採用OT協議);
- 為神經網路預測的公共函式設計相應的不經意計算協議。
單指令多資料(SIMD):密文長度遠大於明文長度,SIMD用於將多條密文訊息編碼對應於單個明文(基於中國剩餘定理CRT),從而實現密文計算批量化。
MINIONN框架
各個網路層輸入資料特點:第一層:使用者輸入資料x,伺服器輸入模型(w,b);
後面網路層,結果劃分兩份祕密份額,分別由使用者和伺服器掌握。
顯然,使用者和伺服器都具備私心(使用者不希望伺服器得到資料,伺服器不希望使用者得到模型),因此,使用者和伺服器不存在共謀問題。
- 基於AHE的兩方乘法協議
u = D ( u ~ ) = r × w − v u=D(\widetilde{u})=r \times w - v u=D(u )=r×w−v
- 基於乘法協議的線性組合協議
- 安全啟用:採用分段hard線性函式近似sigmoid等啟用函式,可以採用安全線性組合協議實現這一網路層功能;
- 安全池化:①平均池化,使用者和伺服器區域性計算平均數即可;
②最大池化,本文采用GC混淆電路實現安全比較(這是一個計算開銷缺陷)。
本文總結
本文屬於一篇密文預測(或稱推理)的前瞻性工作,與通常的使用者外包密文資料給伺服器計算不同,本文需要使用者和伺服器協作完成網路前向計算過程,這會加重使用者的計算和通訊負擔。此外,本文提出的基於AHE加法同態加密的兩方乘法具有一定普適性,SIMD的應用可以一定程度控制HE的計算開銷;本文也主要採用這一協議實現的了安全的線性計算,但對於非線性啟用函式,並沒有提出一種比較有價值的安全協議設計方向,因為採用分段線性函式畢竟不是啟用函式本身,是否具有等同的函式優勢,特別是推廣至網路反向傳播(安全網路訓練)時,不連續的一階導數是否可以適應梯度下降。最大池化也有同樣的弱點,眾所周知,GC電路的計算開銷十分巨大,以此來設計安全比較協議顯然是不實際的。因此,針對非線性函式如何設計出高效的安全計算協議仍然是一個開放性的問題。在我看來,本文的最大啟示在於offline預計算和online協作計算的區分,可以讓我們引起思考,如何合理的分配計算開銷。總體而言,這篇論文仍然有著比較重要的現實意義,它是我們在探索密文推理和訓練的過程中的重要一步。
相關文章
- Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback閱讀筆記筆記
- [論文閱讀筆記] Unsupervised Attributed Network Embedding via Cross Fusion筆記ROS
- [論文閱讀筆記] Fast Network Embedding Enhancement via High Order Proximity Approximati筆記ASTMITAPP
- DMCP: Differentiable Markov Channel Pruning for Neural Networks 閱讀筆記筆記
- [論文閱讀筆記] Structural Deep Network Embedding筆記Struct
- 【論文閱讀筆記】An Improved Neural Baseline for Temporal Relation Extraction筆記
- 論文閱讀 | An Artificial Neural Network-based Stock Trading System
- 論文閱讀筆記(五):Hire-MLP Vision MLP via Hierarchical Rearrangement筆記
- 閱讀筆記筆記
- 《Predict Anchor Links across Social Networks via an Embedding Approach》閱讀筆記ROSAPP筆記
- [論文閱讀筆記] Community aware random walk for network embedding筆記Unityrandom
- 【閱讀筆記:字典】筆記
- gdbOF閱讀筆記筆記
- Simple Neural Network
- [論文閱讀筆記] Adversarial Mutual Information Learning for Network Embedding筆記ORM
- 論文閱讀筆記:LINE: Large-scale Information Network Embedding筆記ORM
- 林軒田機器學習技法課程學習筆記12 — Neural Network機器學習筆記
- JDK原始碼閱讀:Object類閱讀筆記JDK原始碼Object筆記
- 《Clean Code》閱讀筆記筆記
- Dependencies for Graphs 閱讀筆記筆記
- javascript閱讀筆記01JavaScript筆記
- #EffectiveJava筆記#閱讀心得Java筆記
- [論文解讀]A Quantitative Analysis Framework for Recurrent Neural NetworkFramework
- 《快速閱讀術》讀書筆記筆記
- 「Deep & Cross Network for Ad Click Predictions」- 論文摘要ROS
- JDK原始碼閱讀(5):HashTable類閱讀筆記JDK原始碼筆記
- JDK原始碼閱讀(4):HashMap類閱讀筆記JDK原始碼HashMap筆記
- JDK原始碼閱讀:String類閱讀筆記JDK原始碼筆記
- 《End-to-End Adversarial Memory Network for Cross-domain Sentiment Classification》閱讀筆記ROSAI筆記
- MapReduce 論文閱讀筆記筆記
- ArrayList原始碼閱讀筆記原始碼筆記
- CopyOnWriteArrayList原始碼閱讀筆記原始碼筆記
- SiamRPN++閱讀筆記筆記
- Raft: 一點閱讀筆記Raft筆記
- 《思維力量》閱讀筆記筆記
- Flownet 2.0 閱讀筆記筆記
- Koa 原始碼閱讀筆記原始碼筆記
- Keys for graphs閱讀筆記筆記