摘要

許多公司為使用者提供神經網路預測服務，應用範圍廣泛。然而，目前的預測系統會損害一方的隱私:要麼使用者必須將敏感輸入傳送給服務提供商進行分類，要麼服務提供商必須將其專有的神經網路儲存在使用者的裝置上。前者損害了使用者的個人隱私，而後者暴露了服務提供商的專有模式。

我們設計、實現並評估了DELPHI，這是一個安全的預測系統，允許雙方在不洩露任何一方資料的情況下執行神經網路推理。DELPHI透過同時聯合設計密碼學和機器學習來解決這個問題。我們首先設計了一種混合加密協議，在通訊和計算成本上比之前的工作有所提高。其次，我們開發了一個規劃器，自動生成神經網路架構配置，導航我們的混合協議的效能精度權衡。與之前最先進的工作相比，這些技術使我們的線上預測延遲提高了22倍。

1 介紹

機器學習的最新進展推動了神經網路推理在語音助手[Bar18]和影像分類[Liu+17b]等流行應用中的越來越多的部署。然而，在許多此類應用程式中使用推理會引起隱私問題。例如，Kuna [Kun]和Wyze [Wyz]等家庭監控系統(HMS)使用專有的神經網路對使用者家庭影片流中的物體進行分類，如停在使用者家附近的汽車，或到家裡參觀的人的面孔。這些模型是這些公司業務的核心，培訓成本很高。

為了使用這些模型，要麼使用者必須將他們的流上傳到HMS的伺服器(然後透過流評估模型)，要麼HMS必須將其模型儲存在使用者的監控裝置上(然後執行分類)。這兩種方法都不能令人滿意:第一種方法要求使用者將包含他們日常活動敏感資訊的影片流上傳到另一方，而第二種方法要求HMS在每臺裝置上儲存其模型，從而允許使用者和競爭對手竊取專有模型。

為了緩解這些隱私問題，最近的一些工作提出了(卷積)神經網路[Gil+16;衛生部+ 17;劉+ 17;Juv+18]透過利用專業的安全多方計算(MPC) [Yao86;高爾+ 87]。在較高的級別上，這些協議透過加密使用者的輸入和服務提供商的神經網路進行操作，然後定製用於計算加密資料的技術(如同態加密或秘密共享)，以對使用者的輸入執行推斷。在協議執行結束時，預期的一方(或幾方)學習推斷結果;雙方都不瞭解對方的任何資訊。該協議流程如圖1所示。

不幸的是，這些加密預測協議仍然不適合部署在現實世界的應用程式中，因為它們需要在線上執行期間使用大量的加密工具。這些工具需要大量的計算，通常需要使用者和服務提供者之間進行大量的通訊。此外，這種成本隨著模型的複雜性而增加，使得這些協議不適合用於當今實踐中使用的最先進的神經網路架構。例如，使用GAZELLE [Juv+18]這樣的最先進的協議來對ResNet-32 [He+16]這樣的最先進的深度神經網路執行推理需要約82秒，並導致超過560MB的通訊。

我們的貢獻。 在本文中，我們提出了DELPHI，一種用於真實神經網路架構的密碼預測系統。DELPHI透過密碼學和機器學習的精心聯合設計來實現其效能。DELPHI提供了一種新的混合密碼預測協議，以及一個計劃器，可以調整機器學習演算法，以利用我們協議的效能精度權衡。我們的技術使我們能夠在比以前的工作中考慮的更現實的網路架構上執行加密預測。例如，在ResNet-32上使用DELPHI進行密碼預測，線上階段僅需要3.8秒，通訊60MB，分別比GAZELLE提高了22倍和9倍。

1.1技術

我們現在在較高的層次上描述了DELPHI卓越效能背後的技術。

效能目標。 現代卷積神經網路由許多層組成，每個層包含一個子層用於線性操作，一個子層用於非線性操作。常見的線性運算包括卷積、矩陣乘法和平均池化。非線性操作包括啟用函式，如流行的ReLU(整流線性單元)函式。

因此，實現現實神經網路的加密預測需要(a)構建用於評估線性和非線性層的有效子協議，以及(b)將這些子協議的結果相互連結。

之前的工作。以往幾乎所有的密碼預測協議都使用重量級密碼工具來實現這些子協議，這導致計算和通訊成本遠遠高於同等的明文成本。更糟糕的是，許多協議在協議的延遲敏感線上階段使用這些工具，即當使用者獲取輸入並希望獲得其分類時。(這與延遲敏感度較低的預處理階段相反，後者發生在使用者輸入可用之前)。

例如，最先進的GAZELLE協議的線上階段使用了大量的加密技術，如線性同態加密和亂碼電路。正如我們在7.4節中所展示的，這會導致大量的預處理和線上成本:對於透過CIFAR-100訓練的流行網路架構ResNet-32, GAZELLE在預處理階段需要~ 158秒和8GB的通訊，在預處理階段需要~ 50秒和5GB的通訊，在線上階段需要~ 82秒和600MB的通訊。

1.1.1 DELPHI協議

為了在真實的神經網路上獲得良好的效能，DELPHI建立在GAZELLE技術的基礎上，開發了用於評估線性和非線性層的新協議，最大限度地減少了重型加密工具的使用，從而最大限度地減少了預處理和線上階段的通訊和計算成本。我們首先簡要介紹一下GAZELLE協議，因為它是DELPHI協議的基礎。

起點:GAZELLE。 GAZELLE [Juv+18]是一種最先進的卷積神經網路加密預測系統。GAZELLE使用最佳化的線性同態加密(LHE)方案[Elg85;Pai99;Reg09;Fan+12]，可以直接對密文進行線性操作。為了計算非線性層，GAZELLE使用亂碼電路[Yao86]來計算ReLU所需的位操作。最後，由於神經網路中的每一層都由交替的線性和非線性層組成，GAZELLE還描述瞭如何透過基於相加秘密共享的技術在前面提到的兩個原語之間有效地來回切換。

如上所述，GAZELLE在線上階段使用大量密碼學導致了效率和通訊開銷。為了減少這些管理費用，我們採取如下措施。

降低線性操作的成本。為了降低線性運算的線上計算成本，我們採用GAZELLE將LHE密文上繁重的密碼運算轉移到預處理階段。我們的關鍵見解是，在使用者輸入可用之前，服務提供者對線性層的輸入M(即該層的模型權重)是已知的，因此我們可以在預處理期間使用LHE建立M的秘密共享。之後，當使用者的輸入在線上階段可用時，所有線性操作都可以直接在秘密共享資料上執行，而不需要呼叫像LHE這樣的重型加密工具，也不需要執行矩陣向量乘法的互動。

這種技術的好處是雙重的。首先，線上階段只需要傳輸秘密共享而不是密文，這立即導致線性層的線上通訊減少了8倍。其次，由於線上階段只對素數字段的元素進行計算，並且由於我們的系統使用了具體的32位素數，因此我們的系統可以利用最先進的CPU和GPU庫來計算線性層;詳見章節7.2和備註4.2。

降低非線性作業的成本。 雖然上述技術已經顯著減少了計算時間和通訊成本，但兩者的主要瓶頸仍然是評估ReLU啟用函式的亂碼電路的成本。為了使成本最小化，我們使用了另一種方法[Gil+16;劉+ 17;衛生部+ 17;Cho+18]它更適合於有限域元的計算:計算多項式。更詳細地說，DELPHI用多項式(具體地說，二次)近似代替ReLU啟用。這些可以透過標準協議安全有效地計算[Bea95]。

由於這些協議只需要在每次乘法時通訊少量常量的欄位元素，因此使用二次近似可以顯著降低每次啟用時的通訊開銷，而無需引入額外的通訊輪。同樣，由於底層乘法協議只需要一些廉價的有限域操作，計算成本也降低了幾個數量級。具體而言，安全計算二次近似的線上通訊成本和計算成本分別比亂碼電路的相應成本小192倍和10000倍。

然而，這種效能的提高是以底層神經網路的準確性和可訓練性為代價的。先前的工作已經確定二次近似在某些設定中提供了良好的精度[Moh+17;劉+ 17;Gho + 17;Cho + 18]。與此同時，之前的工作[Moh+17]和我們自己的實驗都表明，在許多設定中，簡單地用二次近似替換ReLU啟用會導致精度嚴重下降，並且可以將訓練時間增加幾個數量級(如果訓練收斂的話)。為了克服這一問題，我們開發了一種使用ReLUs和二次近似的混合密碼協議，以達到良好的精度和效率。

計劃有效地使用混合密碼協議。 事實證明，確定哪些ReLU啟用應該用二次近似代替並不簡單。事實上，正如我們在第5節中解釋的那樣，簡單地用二次近似代替任意的ReLU啟用會降低結果網路的準確性，甚至會導致網路無法訓練。

因此，為了找到合適的位置或網路配置，我們設計了一個規劃器，自動發現哪些relu要替換為二次近似，以最大限度地使用近似的數量，同時仍然確保精度保持在指定的閾值以上。

我們的計劃背後的洞察力是適應神經結構搜尋(NAS)和超引數最佳化的技術(見[Els+19;Wis+19]用於這些領域的深入調查)。也就是說，我們採用這些技術來發現在給定的神經網路架構中應該近似哪些層，並最佳化所發現網路的超引數。詳見第5節。

整個系統。 DELPHI將上述見解結合到一個內聚系統中，服務提供商可以使用該系統自動生成滿足提供商指定的效能和準確性標準的加密預測協議。更詳細地說，服務提供者以可接受的精度和效能閾值呼叫DELPHI的計劃器。規劃器輸出一個滿足此目標的最佳化架構，然後DELPHI使用該架構例項化一個具體的密碼預測協議，該協議利用我們上面的密碼技術。

這種密碼學和機器學習的聯合設計使DELPHI能夠有效地為網路提供比以往任何工作都更深入的密碼預測。例如，在第7節中，我們展示了使用DELPHI為流行的ResNet-32架構提供推理，只需要60MB的通訊和3.8秒的時間。

2系統概述

2.1系統設定

在系統設定中有兩方:客戶端和服務提供者(或伺服器)。在我們系統的明文版本中，服務提供者透過API使用其內部模型以服務的形式提供預測。客戶端透過將資料傳輸給服務提供者，使用這個API對自己的資料執行預測。服務提供者使用適當的神經網路執行預測，然後將預測結果傳送回客戶端。在DELPHI中，雙方透過提供各自的輸入來共同執行安全預測。服務提供者的輸入是神經網路，而客戶端的輸入是用於預測的私有輸入。

2.2威脅模型

DELPHI的威脅模型類似於之前的安全預測作品GAZELLE [Juv+18]和MiniONN [Liu+17a]。更具體地說，DELPHI是為兩方半誠實環境設計的，其中只有一方被對手破壞。此外，這個對手永遠不會偏離協議，但它將試圖從它收到的訊息中瞭解有關其他方私人輸入的資訊。

2.3隱私目標

DELPHI的目標是讓客戶只學習兩部分資訊:神經網路的架構和推理的結果;所有其他關於客戶端私有輸入和伺服器神經網路模型引數的資訊都應該被隱藏。具體來說，我們的目標是實現一個強大的基於模擬的安全定義;參見定義4.1。

像之前的所有工作一樣，DELPHI並不隱藏關於網路架構的資訊，例如網路中每一層的尺寸和型別。對於之前的工作，這通常不是問題，因為體系結構獨立於訓練資料。然而，由於DELPHI的規劃器使用訓練資料來最佳化二次近似，揭示網路架構會揭示關於資料的一些資訊。具體地說，在最佳化“層網路”時，規劃者做出“二元選擇”，因此最多隻能揭示關於訓練資料的位元資訊。因為'對於實際網路來說非常小(例如，' = 32對於ResNet32)，這個洩漏可以忽略不計。這種洩漏可以透過使用差分私有訓練演算法[Sho+15;阿壩+ 16]

與大多數先前的密碼預測系統一樣，DELPHI不隱藏預測結果所揭示的資訊。在我們看來，防範利用這種洩漏的攻擊是DELPHI解決的一個補充問題。事實上，這種攻擊甚至已經成功地針對那些透過要求客戶端將其輸入上傳到伺服器而“完美”隱藏模型引數的系統[Fre+14;吃+ 15;Fre + 15;吳+ 16 b;+ 16]。此外，針對這些攻擊的常用緩解措施，如差異隱私，可以與DELPHI的協議結合使用。我們將在第8.2節中更詳細地討論這些攻擊和可能的緩解措施。

2.4系統架構及工作流程

DELPHI的體系結構由兩個部分組成:用於評估神經網路的混合加密協議，以及用於最佳化給定神經網路以配合我們的協議使用的神經網路配置規劃器。下面我們將概述這些元件，然後透過描述家庭監控系統(HMS)中加密預測的端到端工作流程來演示如何在實踐中使用這些元件。

混合密碼協議。 DELPHI的密碼預測協議包括兩個階段:離線預處理階段和線上推理階段。離線預處理階段獨立於客戶端輸入(定期更改)，但假設伺服器的模型是靜態的;如果這個模型改變了，那麼雙方都必須重新執行預處理階段。經過預處理後，在線上推理階段，客戶端向我們專門的安全兩方計算協議提供輸入，並最終學習推理結果。我們注意到我們的協議提供了兩種不同的評估非線性層的方法:第一種以更差的離線和線上效率為代價提供了更好的準確性，而另一種降低了準確性，但提供了更好的離線和線上效率。

計劃。 為了幫助服務提供商在這兩種互補方法評估非線性層的效能和準確性之間進行權衡，DELPHI採用了一種有原則的方法，設計了一個計劃器，生成混合這兩種方法的神經網路，以最大限度地提高效率，同時仍能達到服務提供商所需的準確性。我們的規劃器將神經結構搜尋(NAS)以一種新穎的方式應用於密碼設定，以便自動發現正確的架構。

例2.1 (HMS工作流)。如第1節所述，家庭監控系統(HMS)使使用者能夠監視房屋內外的活動。近期HMSes [Kun;Wyz]使用神經網路來判斷給定的活動是否是惡意的。如果是，他們會提醒使用者。在這種情況下，隱私對使用者和HMS提供商都很重要，這使得DELPHI成為理想的選擇。為了使用DELPHI來提供強大的隱私，HMS提供商按照以下步驟進行。

HMS提供商首先呼叫DELPHI的規劃器來最佳化其基線全relu神經網路模型。然後，在HMS裝置空閒期間，裝置和HMS伺服器執行此模型的預處理階段。如果裝置在本地檢測到可疑活動，它可以執行線上推斷階段以獲得分類。根據這個結果，它可以決定是否提醒使用者

備註2.2(適用於DELPHI的應用程式)。 例2.1表明，DELPHI最適合於以下應用:有足夠的計算能力用於預處理，推理是延遲敏感的，但執行頻率不足以耗盡預處理材料的儲備。這類應用的其他例子包括谷歌Lens [Goo]等系統中的影像分類。

3 密碼原語

4加密協議

在DELPHI中，我們引入了一種用於加密預測的混合加密協議(見圖4)。我們的協議對之前工作中提出的協議(如MiniONN [Liu+17a]和GAZELLE [Juv+18])進行了兩個關鍵改進。首先，DELPHI將協議分為預處理階段和線上階段，這樣大部分繁重的密碼計算都在預處理階段執行。其次，DELPHI引入了兩種不同的評估非線性函式的方法，為使用者提供了準確性和效能之間的權衡。第一種方法使用亂碼電路來評估ReLU啟用函式，而第二種方法使用安全評估ReLU的多項式近似。前者提供了最大的精度，但效率低，而後者計算成本低，但降低了精度。(我們注意到，下面我們描述了一個用於評估任何多項式近似的協議，但在本文的其餘部分，我們只限制自己使用二次近似，因為這些是最有效的。)

符號。 設R是一個有限環。設HE = (KeyGen, Enc,Dec,Eval)是明文空間R上的線性同態加密。伺服器持有一個模型M，由“層M1，…”, M”。客戶端持有一個輸入向量x∈rn。

我們現在給出一個加密預測協議的正式定義。直觀地說，該定義保證了協議執行後，一個半誠實的客戶端(即遵循協議規範的客戶端)只學習神經網路的架構和推斷的結果;關於伺服器神經網路模型引數的所有其他資訊都是隱藏的。類似地，半誠實的伺服器不瞭解任何關於客戶端輸入的資訊，甚至不瞭解推斷的輸出。

定義4.1。 一個伺服器之間的協議Π，其輸入模型引數為M = (M1，…，M ')，客戶端以特徵向量x作為輸入，如果滿足以下保證，則是一個加密預測協議。

正確性。 在伺服器持有的每一組模型引數M和客戶端的每一個輸入向量x上，協議結束時客戶端的輸出是正確的預測M(x)。
安全性。
- 腐敗的客戶端。 我們要求一個損壞的、半誠實的客戶端不瞭解伺服器的網路引數M。形式上，我們要求存在一個有效的模擬器Sim_C，使得View^{\prod}_C\approx Sim_C(x,out)，並且View^{\prod}_C表示執行Π時客戶端的檢視(檢視包括客戶端的輸入、隨機性和協議的記錄)，out表示推理的輸出。
- 腐敗的伺服器。 我們要求損壞的、半誠實的伺服器不瞭解客戶機的私有輸入x的任何資訊。形式上，我們要求存在一個有效的模擬器Sim_S，使View^{\prod}_S\approx Sim_S(M)，其中View^{\prod}_S表示執行Π時伺服器的檢視。

DELPHI協議分兩個階段進行:預處理階段和線上階段，我們將在後面的小節中詳細介紹這兩個階段。

4.1預處理階段

在預處理過程中，客戶端和伺服器預先計算線上執行過程中可以使用的資料。這個階段可以獨立於輸入值執行，也就是說，DELPHI可以在任何一方的輸入已知之前執行這個階段。

1、客戶端執行HE.KeyGen獲取公鑰pk和金鑰sk。

2、對於每一個i\in[l]，客戶端和伺服器分別選擇隨機遮蔽向量r_i,s_i \gets R^n。

3、客戶端傳送HE.Enc(pk, ri)到伺服器。伺服器使用HE.Eval計算HE.Enc(pk, Mi·ri−si)，並將此密文傳送給客戶端。

4、客戶端對上述密文進行解密，獲得每一層的(Mi·ri−si)。伺服器為每一層儲存si，因此，客戶端和伺服器擁有Mi·ri的加法秘密共享。

5、這一步取決於啟用型別:

(a) ReLU: 伺服器透過圖5所示的混淆電路C來構造\tilde{C}。它將\tilde{C}傳送到客戶端，同時，伺服器和客戶端透過無關傳輸(OT)交換對應於ri+1和Mi·ri−si的輸入線的標籤。
(b) 多項式近似: 客戶端和伺服器執行Beaver的三重乘法生成協議來生成一些Beaver的乘法三元組.

4.2線上

線上階段分為兩個階段:設定和層評估。

4.2.1 啟動

客戶端在輸入x時，將x−r1傳送給伺服器。伺服器和客戶端現在擁有x的附加秘密共享。

4.2.2 層次評估

在第i層的開始，客戶端持有ri，伺服器持有xi−ri，其中xi是透過計算輸入x上的神經網路的第(i−1)層(x1設為x)得到的向量。這個不變數將對每一層保持。我們現在描述了第i層的計算協議，它由線性函式和啟用函式組成。

線性層。 伺服器端計算Mi (xi−ri) +si，確保客戶端和伺服器端共享Mi·xi的附加秘密。

非線性層。 線性函式之後，伺服器端持有Mi (xi−ri) + si，客戶端持有Mi·ri−si。有兩種評估非線性層的方法:用於ReLU的亂碼電路，或用於多項式近似的Beaver乘法:

亂碼電路
- 伺服器將Mi (xi−ri) +si對應的亂碼標籤傳送給客戶端。
- 客戶端使用上述標籤和OT(離線階段)獲得的標籤對亂碼電路\tilde{C}進行評估，得到一次性的填充密文OTP(x_{i+1}−r_{i+1})。然後它將此輸出傳送到伺服器。
- 伺服器使用一次性填充鍵獲取x_{i+1}−r_{i+1}。
多項式近似
- 客戶端和伺服器執行Beaver的乘法過程來計算接近這一層的多項式。在過程結束時，客戶端持有[xi+1]_1，伺服器持有[xi+1]_2。
- 客戶端計算[xi+1]_1−r_{i+1}併傳送給伺服器。伺服器將該值加上[xi+1]_2，得到x_{i+1}−r_{i+1}。

輸出層。 伺服器將x_l−r_l傳送給客戶端，客戶端將其與r_l相加以學習x_l。

備註 4.2（有限域中的定點演算法）。到目前為止的討論假設在有限環上進行算術運算。然而，神經網路推理的流行實現對浮點數執行算術運算。我們透過使用浮點數的定點表示，並將這種定點演算法嵌入到我們的環形演算法中來解決這個問題。

具體而言，我們的實現工作於由素數 2138816513 定義的 32 位素數有限域，並使用 15 位定點表示。這種引數選擇可以在結果溢位素數域的容量之前實現兩個定點數的單次乘法。為了防止值隨著乘法次數呈指數增長（從而溢位），我們使用了 [Moh+17] 中的一個技巧，它允許我們簡單地截斷定點值的額外 LSB。即使結果是秘密共享的，這個技巧也能奏效，儘管是以 1 位錯誤為代價的。

與 Slalom [Tra+19] 類似，我們對素數域的選擇也使我們能夠將我們的域演算法無損地嵌入到 64 位浮點演算法中。更詳細地說，64 位浮點數可以表示 "2^{−53} ,...,2^{53}" 範圍內的所有整數。因為我們的線性層協議的線上階段需要一個定點矩陣乘以一個秘密共享向量，結果是一個 ∼ 45 位整數，因此可以用 64 位浮點數完全精確地表示.這使我們的實現能夠將最先進的 CPU 和 GPU 庫用於線性代數。

4.3 安全

定理 4.3。假設存在亂碼電路、線性同態加密和用於 Beaver 的三元組生成和乘法過程的安全協議，上述協議是一個密碼預測協議（見定義 4.1）。

證明。 下面我們先針對客戶端損壞的情況介紹模擬器，然後針對服務端損壞的情況介紹模擬器。我們在附錄 B 中提供了一個依賴於這些模擬器的混合論證。

5 Planner

DELPHI 的規劃器採用服務提供商的神經網路模型（以及其他約束）並生成滿足服務提供商的準確性和效率目標的新神經網路架構。該規劃器的核心是一種神經架構搜尋 (NAS) 演算法，使服務提供商能夠自動找到此類網路架構。下面我們對這個關鍵元件進行了高度概述，並描述了我們的規劃器如何使用它。

背景：神經結構搜尋。 最近，機器學習研究在神經架構搜尋 (NAS) [Els+19；智慧+19]。 NAS 的目標是自動發現最能滿足一組使用者指定約束的神經網路架構。大多數 NAS 演算法透過（部分）訓練許多不同的神經網路、評估它們的準確性並選擇效能最好的神經網路來實現這一點.

我們的規劃器概述。 DELPHI 的規劃器，當輸入基線 all-ReLU 神經網路時，以兩種模式執行。當再訓練不可能或不需要時（例如，如果訓練資料不可用，或者如果提供者無法負擔 NAS 所需的額外計算），規劃器將以第一種模式執行，並簡單地輸出基線網路。如果再訓練（以及 NAS）是可行的，那麼規劃器將訓練資料和最小可接受預測精度 t 的約束作為附加輸入，然後使用 NAS 來發現最大化二次近似數量的網路配置，同時仍然實現大於 t 的精度。我們的規劃器然後進一步最佳化此配置的超引數。更詳細地說，在第二種模式中，我們的規劃器使用 NAS 來最佳化給定 t 的候選網路配置的以下屬性：(a) 二次近似的數量，(b) 這些近似的放置（即，其中的層ReLU 替換為近似值），以及 (c) 訓練超引數，如學習率和動量。

前面是一個簡短的描述，省略了很多細節。下面，我們將描述我們如何解決使 NAS 適應這種設定所需的挑戰（第 5.1 節），我們對 NAS 演算法的具體選擇（第 5.2 節），以及詳細的虛擬碼最終演算法（圖 6）。

5.1 為DELPHI的planner適配NAS

挑戰 1：訓練候選網路。之前的工作 [Moh+17;吉爾+16；高+17； Cho+18] 和我們自己的實驗表明，使用二次逼近的網路在訓練和部署方面具有挑戰性：二次啟用會導致底層梯度下降演算法發散，從而導致精度低下。直覺上，我們認為這種行為是由這些函式的大而交替的梯度引起的。

為了解決這個問題，我們使用了以下技術：

梯度和啟用裁剪：在訓練期間，我們修改最佳化器以使用梯度值裁剪，這有助於防止梯度爆炸 [Ben+94]。特別是，我們將所有梯度的值剪裁為小於 2。我們進一步修改我們的網路以使用 ReLU6 啟用函式 [Kri10]，以確保啟用後值的幅度最多為 6。這可以防止錯誤在兩者之間複合推理和訓練。
漸進式啟用交換：我們的實驗確定，儘管存在剪裁，但梯度仍在快速爆炸，尤其是在包含更高比例近似值的更深網路中。為了克服這個問題，我們利用了以下見解：直覺上，ReLU6 和 ReLU 的（截斷的）二次近似應該共享相對相似的梯度，因此應該可以使用 ReLU6 最初引導下降到一個穩定的區域，其中梯度是更小，然後使用近似的梯度在該區域內進行細粒度調整。

我們透過修改訓練過程來利用這種洞察力，逐漸將已經訓練過的 allReLU6 網路轉換為具有所需數量和二次近似位置的網路。更詳細地說，我們的訓練過程將每個啟用表示為二次和 ReLU6 啟用的加權平均值，即 act(x):= wq·quad(x)+wrReLU(x)使得 wq +wr = 1。一開始，wq = 0 和 wr = 1。然後我們的訓練演算法逐漸增加 wq 並減少 wr，最終 wq = 1 和 wr = 0。

這種技術還提高了 NAS 的執行時間，因為它不再需要從頭開始訓練每個候選網路配置。

挑戰二：高效最佳化配置。 回想一下，我們的規劃器旨在最佳化二次近似的數量、它們在網路中的位置以及訓練超引數。嘗試在單個 NAS 執行中最佳化所有這些變數會導致很大的搜尋空間，而在這個搜尋空間中找到有效的網路需要相應較長的時間。

為了解決這個問題，我們將單片 NAS 執行分成獨立的執行，負責最佳化不同的變數。例如，對於具有 n 個非線性層的架構，對於 m < n 的相關選擇，我們首先執行 NAS 以找到具有 m 個近似層的高分架構，然後再次執行 NAS 以最佳化這些架構的訓練超引數。在此過程結束時，我們的規劃器輸出具有不同效能-準確性權衡的各種網路。

挑戰 3：優先考慮高效配置。 我們規劃者的目標是選擇包含最大數量近似值的配置，以最大限度地提高效率。但是，具有大量近似值的網路配置需要更長的訓練時間，並且可能比具有較少近似值的網路準確度略低。由於傳統的 NAS 文獻側重於簡單地最大化效率，因此在此預設設定中使用 NAS 會導致選擇較慢的網路而不是更高效的網路，這些網路的準確性略低於較慢的網路。為了克服這個問題，我們透過設計一個新的評分函式 score(·) 來改變 NAS 為候選網路分配“分數”的方式，該函式可以平衡優先精度和效能。我們在第 7 節中的實驗表明，此功能使我們能夠選擇既高效又準確的網路。