[譯] 可微可塑性：一種學會學習的新方法

• 原文地址：Differentiable Plasticity: A New Method for Learning to Learn
• 原文作者：Uber Engineering
• 譯文出自：掘金翻譯計劃
• 本文永久連結：github.com/xitu/gold-m…
• 譯者：luochen
• 校對者：SergeyChang xxholly32

作為 Uber 機器學習系統基礎的神經網路，在解決包括影像識別、語言理解和博弈論在內的複雜問題方面被證明是非常成功的。然而，網路通常通過 梯度下降 訓練到一個終止點，根據多次試驗中的網路表現不斷調整網路連線。一旦訓練完成，網路就已經固定，連線不再改變；因此，除了以後的再訓練（又需要很多樣本），實際上網路在訓練結束時就停止學習。

相比之下，生物大腦表現出的 可塑性 —— 即在整個生命中，神經元之間連線持續不斷地自主變化的能力，使動物能夠從持續的經驗中快速有效地學習。大腦中不同區域和連線的可塑性水平是通過數百萬年的進化而進行微調的結果，以便在動物的一生中進行有效地學習。由此產生的持續學習能力可以讓動物只需很少的額外資訊（additional data）就能適應變化或不可預測的環境。我們可以很快地記住以前從未見過的場景，或者在完全陌生的情況下從幾次試驗中獲得新的知識。

為了給我們的人工智慧體提供類似的能力，Uber 人工智慧實驗室開發了 一種稱為可微可塑性的新方法 讓我們通過梯度下降訓練可塑的連線行為，以便他們可以幫助以前訓練的網路適應未來的環境。雖然演化這種可塑性神經網路是 進化計算長期研究的領域。據我們所知，這裡介紹的工作首次表明可以通過梯度下降優化可塑性網路。因為最近人工智慧領域的重大突破是以基於梯度的方法為基礎的（包括 影像識別、機器翻譯 和 對弈）。使可塑性網路適應梯度下降訓練可能會極大擴充套件這兩種方法的力量。

可微可塑性是如何工作的

在我們的方法中，每個連線都會有初始權重，包括決定連線可塑性的係數。更準確地說，神經元 i 的啟用值 y_i 計算如下：

第一個等式是神經網路單元典型的啟用函式，不包括輸入權重的固定分量（綠色）和可塑性分量（紅色）。可塑性分量的 H_i,j 項作為輸入和輸出的函式可以自動更新（正如在第二個等式指出的那樣，其他公式也是可以的，在 這篇論文 中有討論。）

在初始訓練期間，梯度下降調整結構引數 w_{i, j} 和 α_i,j 這決定了固定和可塑性分量的大小。因此，在初始訓練之後，智慧體可以從持續性的經驗中自動學習，因為每個連線的可塑性分量都通過神經活動充分塑造以儲存資訊，讓人想起動物（包括人類）中某些學習的形式。

展示可微可塑性

為了展示可微可塑性的潛力，我們將其應用於一些需要從不可預知刺激中快速學習具有挑戰性的任務。

在影像重建任務中（圖1）網路儲存一組從未見過的自然影像；然後顯示這些影像中的一張，但其中一半被擦除，並且網路必須從記憶中重建缺失的一半。我們展示了可微可塑效能有效地訓練具有數百萬引數的大型網路來解決這個任務。重要的是，具有非塑性連線的傳統網路（包括 LSTMs 等最先進的迴圈結構）無法解決此任務，並且花費相當多的時間來學習它極大簡化的版本。

圖 1：影像補全任務（每一行都是單獨的重建過程（episode））。在顯示三張影像之後，網路獲得部分影像並且必須從記憶中重建缺失的部分。非塑性網路（包括LSTM）無法解決此任務。源影像來自 CIFAR10 資料集

我們還訓練了可塑性網路來解決 Omniglot 任務（一個標準的“學會學習”任務）這需要學習從每人單獨繪製的符號中識別一組陌生的手寫符號。此外，該方法還可以應用於強化學習問題：可塑性網路在迷宮探索任務中勝過非塑性網路，其中智慧體必須發現、記憶並反覆到達迷宮內的獎勵位置（圖 2）。通過這種方式，將可塑性係數新增到神經網路這一簡單的思想提供了一種真正新穎的方法 —— 有時是最好的方法 —— 解決廣泛的需要從持續經驗中不斷學習的問題。

圖 2：迷宮探索任務。智慧體（黃色方塊）儘可能多地到達獎勵地點（綠色方塊）從而獲得獎勵（智慧體在每次發現獎勵時將其轉移到隨機地點）。在第 1 次探索迷宮時（左圖），智慧體的行為實質上是隨機的。經過 300,000 次的探索（右圖）之後，智慧體已經學會記住獎勵地點並向其自動尋路。

展望

實際上，可微可塑性為 學會學習 或 元學習 這一經典問題提供了一種新的生物啟發式方法，只需通過各種強大的方式利用梯度下降和基礎構建塊（可塑性連線），這種方法也能非常靈活，就像上述不同任務所證明的那樣。

此外，它開啟了多個新研究途徑的大門。例如，我們是否可以通過連線可塑性來改進現有的複雜網路體系結構，如 LSTM？如果連線的可塑性受到網路本身的控制，那麼它似乎類似於 神經調質 影響生物大腦？可塑性是否提供了一種比單獨迴圈網路更有效的記憶形式（請注意，迴圈網路將傳入的資訊儲存在神經活動中，而可塑性網路將其儲存在數量更多的連線中）？

我們打算在未來的可微可塑性工作中研究這些以及其他令人興奮的問題，並希望其他人加入我們的探索。為了鼓勵對這種新方法的研究，我們 在 GitHub 釋出了上述實驗的程式碼以及 描述我們的方法和結果的論文。

要想收到未來 Uber 人工智慧實驗室部落格的文章，請註冊為 我們的郵件列表 或者你也可以訂閱 Uber 人工智慧實驗室 YouTube 頻道。如果您對加入 Uber AI 實驗室感興趣，請在 Uber.ai 上提交申請。

訂閱我們的資訊 以跟上 Uber 工程的最新創新。

---

掘金翻譯計劃 是一個翻譯優質網際網路技術文章的社群，文章來源為 掘金 上的英文分享文章。內容覆蓋 Android、iOS、前端、後端、區塊鏈、產品、設計、人工智慧等領域，想要檢視更多優質譯文請持續關注 掘金翻譯計劃、官方微博、知乎專欄。