谷歌又出量子計算新成果，這次用上了深度強化學習！

日前，谷歌在 Nature 合作期刊《npj Quantum Information》上發表了一篇論文，提出結合深度強化學習的方法來實現通用量子控制，從而能夠極大地提高量子計算機的計算能力。谷歌也在官方部落格上發表文章介紹了這項工作。

• 論文下載地址：

實現近期量子計算機的主要挑戰之一與其最基本的組成有關：量子位元。量子位可以與任何攜帶與自身能量相近的東西互動，包括雜散光子（如不需要的電磁場）、聲子（量子裝置的機械性振盪）或量子虧損（製造期間所形成的晶片基板中的不規則性），其中，量子虧損會不可預測地改變數子位元本身的狀態。

而使問題進一步複雜化的是，用於控制量子位元的工具帶來了許多挑戰。研究者透過經典的控制方式來操作和讀取量子位元：模擬訊號以電磁場的形式耦合到其中嵌入了量子位元的物理基底，例如超導電路。這些控制電子裝置中的缺陷（會造成白噪聲）、來自外部輻射源的干擾以及數模轉換器的波動會引入更多的隨機誤差，從而降低量子線路的效能。這些現實問題都會影響計算的保真度，因此限制了近期量子裝置的應用。

為了提高量子計算機的計算能力，併為實現大規模量子計算鋪路，就必須首先建立能夠準確描述這些實驗性問題的物理模型。

谷歌在 Nature 合作期刊《npj Quantum Information》上發表的《透過深度強化學習實現通用量子控制》（Universal Quantum Control through Deep Reinforcement Learning）論文中，提出了一種使用深度強化學習生成的新的量子控制框架，其中可以透過單個控制成本函式來概括量子可控制最佳化中的各類實際問題。與標準隨機梯度下降的解決方案相比，該框架可將量子邏輯閘的平均誤差最多降低兩個數量級，並且大幅降低了來自最優門生成的副本的門時間。這一結果為使用近期量子裝置來開展量子模擬、量子化學和量子霸權測試開啟了更加廣闊的應用空間。

這種新的量子控制正規化，其創新之處在於對量子控制函式的改進以及提出的基於深度強化學習的高效最佳化方法。

為了建立一個全面的成本函式，首先需要為實際的量子控制過程建立一個物理模型，基於該模型，我們能夠可靠地預測誤差量。對量子計算的準確性最不利的誤差之一就是洩漏：在計算過程中損失的量子資訊量。這種資訊洩漏通常發生在量子位元的量子態被激發為較高能態或透過自發輻射衰退成較低能態時。洩漏誤差不僅會損失有用的量子資訊，而且還會降低「量子性」，並最終使量子計算機的效能降低得與經典計算機差不多。

在量子計算過程中準確地評估洩漏資訊的常見做法是，一開始就模擬整個計算。然而，這並不利於達成構建大規模量子計算機的目的，因為量子計算機的優勢就在於它們能夠執行經典系統所無法執行的計算。谷歌研究人員透過使用改進後的物理模型，能夠讓通用的成本函式對逐漸增加的洩漏誤差、控制邊界條件的違背情況、總的門時間和門保真度進行聯合最佳化。

建立了新的量子控制成本函式後，下一步就是應用高效的最佳化工具將該函式最小化。經證實，現有的最佳化方法無法找到對於控制波動同樣具有魯棒性的令人滿意的高保真度解決方案。相反地，谷歌研究人員則採用同步策略的深度強化學習（RL）方法，即置信域強化學習（Trusted-Region RL），因為該方法在所有基準問題中均表現出良好的效能，對樣本噪聲具有固有的魯棒性，並且能夠最佳化有著數億個控制引數的數百種高難度的控制問題。

這種同步策略強化學習與先前研究的非同步策略強化學習方法之間的顯著差異在於，其對控制策略的表示獨立於控制成本。另一方面，例如 Q 學習等非同步策略強化學習使用單個神經網路（NN）來表示控制軌跡和相關的獎勵，其中控制軌跡指定要耦合到不同時間步長的量子位元的控制訊號，而相關的獎勵則評估量子控制當前步長的好壞。

同步策略強化學習引人關注的一項能力在於：能夠在控制軌跡中利用非本地特徵。當控制領域是高維且包含大量組合的非全域性解決方案時，這種能力就變得至關重要，而對於量子系統而言，這種情況經常發生。

研究人員將控制軌跡編碼為一個完全連線的三層神經網路，即策略 NN，同時將控制成本函式編碼為第二個神經網路（值 NN），後者可以對摺扣未來獎勵（Discounted Future Reward）進行編碼。強化學習智慧體在模擬現實中的噪音控制驅動的隨機環境下訓練這兩個神經網路，獲得了魯棒的控制解決方案。此外，他們還為一組連續引數化的兩位量子門提供了控制解決方案，這對於量子化學應用而言很重要，不過，使用傳統的通用量子門集實現這一操作，成本也很高。

谷歌研究人員使用這一新框架進行的數值模擬結果表明，與通用量子門集的傳統方法相比，該方法將量子門誤差減少了 100 倍，與此同時，還為一系列連續引數化的模擬量子門將門時間減少了平均一個數量級。

這項工作凸顯了使用創新性機器學習技術和能夠利用通用量子控制方案的靈活性和附加計算能力的近期量子演算法的重要性。進一步，該領域的研究者還需要做更多的實驗來將機器學習技術（就比如說我們在這項工作中開發的技術）整合到實際的量子計算過程中，從而利用機器學習來充分提高量子計算機的計算能力。