強化學習中的好奇心驅動學習演算法：隨機網路精餾探索技術

全文3860字，閱讀約需要9分鐘

具有內在獎勵的強化學習系統使用陌生狀態誤差(誤差#1)進行探索，目的是消除隨機噪聲(誤差#2)和模型約束(錯誤#3)的影響。為此，該模型需要三個神經網路：一個固定的目標網路，它為給定的狀態生成常量輸出，一個預測網路，用於預測目標網路的輸出，一個策略網路，決定機器人代理的下一步行動。

目標網路和預測網路

通過計算兩種網路輸出的差異，目標網路和預測網路對陌生狀態產生更大的內在回報。兩種網路的大小和結構是相同的，使用卷積編碼器（CNN）和全連線層，將狀態嵌入到特徵向量f中。然而，兩者之間有一個重要的區別：

1.目標網路是具有固定隨機權值的神經網路，目標網路從不會被訓練。因此，它的輸出對於給定的狀態（輸入）是常數的，但是在不同的狀態之間是可變的：對於任何時間步驟i，fi(x)=fj(x)，而對於任意兩個不同的輸入，fi(x)≠fi(y)。

2.預測網路被訓練來預測目標網路的輸出。每個狀態都被輸入到兩個網路中，但預測網路會進行訓練，以最小化兩張網路之間輸出(ri)的差異(MSE)。

目標網路與預測網路

當更多的狀態被輸入到系統中時，預測網路就可以接收到更多已知的狀態，從而在預測目標網路的輸出時變得更有效。當到達先前訪問過的狀態時，機器人代理會得到一小部分獎勵（因為目標輸出是可預測的），並且代理也傾向於不會重複探索這些已知狀態。換句話說，與普通模型不同，代理並不試圖根據當前狀態和操作來預測下一個狀態，而是試圖預測未來狀態的新穎性。

“目標網路/預測網路”架構有幾個好處：

1. 經過對隨機噪聲狀態的足夠訓練（訓練過程基於固定的“平穩分佈”概率理論，又稱為馬爾可夫鏈），預測網路能夠更好地預測目標網路的輸出。隨著預測誤差的減小，代理對噪聲狀態的興趣比對其他未探測狀態的興趣要小。這減少了噪聲-電視誤差(誤差#2)。

2. 在下一步預測模型中，雖然還無法提前預知需要哪種體系結構（神經網路層數和大小等）來對動作的結果進行建模，然而，預測網路只需要預測目標網路的輸出結果即可。因為具有與目標網路相同的體系結構，預測網路應該能夠正確地學習到已知狀態的輸出。這“解決” 了模型約束誤差(誤差#3)。

3. 這一架構讓機器人代理更容易在遊戲中生存，因為死亡迫使它回到熟悉的狀態。其他基於好奇心的強化學習方法也可以共享了這一收益。

採用這一模型的挑戰之一是，隨著更多的狀態變得熟悉，不同的環境之間可能會發生變化，固有的回報就會減少，因此很難選擇“超引數”。為了克服這一問題，在每個更新週期內，內部獎勵都是標準化的。

策略網路

策略網路的作用是根據當前狀態及其內部模型決定下一個操作，該模型是針對以前的狀態進行訓練的。為了做出相關決策，策略網路使用了一個輸入嵌入器和一個策略優化器：

輸入嵌入器

輸入嵌入器將環境狀態編碼為特徵值。論文比較了兩種結構：CNN以及CNN和遞迴層(GRU單元)的混合結構。遞迴層被設定為通過捕捉更長的遊戲上下文（例如在當前狀態之前發生的事件）來幫助預測下一個動作，在大多數情況下確實比單獨使用CNN的效果更好。

近端策略優化（PPO）

訓練策略模型的一個主要問題是趨同，即使簡單的獎勵更新，也會引發策略的巨大變化。例如，在某些架構中，一個超難的關卡（通常在遊戲中很常見）就可以完全改變您的策略。因此，在嵌入層之上，神經網路架構中有一個近端策略優化器（PPO），它根據嵌入狀態預測下一個操作。PPO的主要貢獻是在不進行根本更新的情況下安全地優化策略，方法是縮小連續策略更新之間的差異。

要更新策略，PPO首先需要估計給定狀態的未來內部和外部獎勵(“價值頭部”)。對每一種型別的獎勵進行單獨處理，可以更靈活地確定每種型別對策略的影響以及每種型別的計算方式，比如：

• 內部獎勵按照一批固定的時間步驟（例如128個時間步驟）來進行計算，而不管機器人代理是否在遊戲中“死亡”。研究發現，這種（排除偶然性的）獨特方法可以更好地探索，因為它鼓勵代理採取可能揭示新狀態的冒險行動。如果內部獎勵是偶然的，這些行為可能已經結束了遊戲，從而結束了獎勵。

• 外部獎勵在整個事件中被計算，直到代理死亡。使用非偶然性獎勵可能會導致代理在遊戲中“作弊”。例如，找到簡單而迅速的回報，然後自殺。

下圖顯示了策略網路和整個體系結構：

策略網路

RND體系結構

注：

• 論文中的PPO是使用Actor-Critic模型（A3C）來實現的。但是，它可以與任何優勢函式一起使用。

• PPO的另一個好處是，它通過允許多階段的訓練來提高效率。由於每個訓練階段都僅有小批量的輸入，這樣在策略更新的範圍內，即使有多個訓練階段，也能夠確保總變化不會太激進。