The option-critic architecture

Abstract

時間抽象是強化學習中擴大學習和規劃的關鍵。雖然計劃與時間擴充套件的行動是眾所周知的，但從資料中自主地建立這樣的抽象仍然具有挑戰性。我們在option框架內解決這個問題[Sutton，Precup&Singh，1999；Precup，2000]。我們推導了option的策略梯度定理，並提出了一種新的 \(opiton\text{-}critic\) 體系結構，它能夠同時學習 option 的內部策略和終止條件，並且不需要提供任何額外的獎勵或子目標。在離散和連續環境下的實驗結果表明了該框架的靈活性和高效性。

Temporal abstraction：

Introduction

時間抽象允許表示發生在不同時間尺度上的行為過程的知識。

How to understand? Option?

在強化學習中，option（Sutton、Precup和Singh 1999；Precup 2000）為定義此類行動方案以及與之無縫地學習和規劃提供了框架。在過去的15年裡，自主地發現時間抽象一直是廣泛研究的主題（McGovern和Barto 2001；Stolle和Precup 2002；Menache、Mannor和Shimkin 2002；S¸ims¸ek和Barto 2009；Silver和Ciosek 2012），但是可以自然地與連續狀態和/或動作空間一起使用的方法直到最近才開始變得可行（Konidaris等人。2011年；Niekum 2013年；Mann、Mannor和Precup 2015年；Mankowitz、Mann和Mannor 2016年；Kulkarni等人。2016年；V ezhnevets等人。2016年；Daniel等人。2016年）。

現有的大部分工作都集中在尋找子目標（代理應該達到的有用狀態）以及隨後學習實現這些目標的策略。這一想法導致了有趣的方法，但因為他們的 "combinatorial" flavor 也很難擴大規模，。此外，與子目標相關的策略學習在資料和計算時間方面可能代價很大；在最壞的情況下，它可能與解決整個任務一樣昂貴。

我們提出了另一種觀點，它模糊了發現option問題和學習option問題之間的界限。基於policy gradient 定理（Sutton等人。2000年），我們得到了一些新的結果，這些結果使得 \(intra-option\) 政策和終止函式的逐步學習過程能夠與對它們的策略同時進行。在離散或連續的狀態空間和動作空間下，這種方法可以自然地處理線性和非線性函式逼近器。當從單個任務中學習時，現有的學習option方法要慢得多：在類似的任務中重複使用已學習的選項，這是很大的好處。相比之下，我們證明了我們的方法能夠在單個任務中成功地學習選項，而不會導致任何減速，同時仍然為轉移學習提供好處。

1. 我們首先回顧與我們工作的兩個主要組成部分相關的背景：policy gradient method 和 option。
2. 然後我們描述了我們方法的核心思想：the intra-option policy 和 termination gradient theorems。附加技術細節見附錄。
3. 實驗結果表明，我們的方法能夠有效地學習有意義的時間擴充套件行為。與其他方法不同，我們只需要指定所需選項的數量；不需要有子目標、額外獎勵、描述demonstrations、多重問題或任何其他特殊調整（但是，如果需要，該方法可以利用偽獎勵函式）。據我們所知，這是第一個端到端的學習方法，可以以相當的效率擴充套件到非常大的領域。

Preliminaries and Notation

一個馬爾可夫決策過程包括：

\[狀態空間：\mathcal{S} \\ 動作空間：\mathcal{A} \\ 轉移函式P：\mathcal{S}\times\mathcal{A}\to \mathbb{R} \]

為了方便起見，我們發展了假設離散狀態和作用集的思想。然而，我們的結果擴充套件到連續空間使用通常的測量理論假設（我們的一些經驗結果是在連續任務）。A (Markov Stationary) \(policy\) 是以狀態為條件在動作上的概率分佈：$$\pi:\mathcal{S}\times\mathcal{A}\to[0,1]$$

在discount probelem中，策略\(\pi\)的值函式定義為期望：

\[V_\pi(s)=\mathbb{E}_\pi[\sum_{t=0}^\infty \gamma^tr_{t+1}|s_0=s] \]

其動作值函式為：

\[Q_\pi(s,a)=\mathbb{E}_\pi[\sum_{t=0}^\infty \gamma^tr_{t+1}|s_0=s, a_0=a] \]

其中\(\gamma\in[0,1)\)，為折扣因子。

一個策略 \(\pi\) 對給定的動作值函式 \(Q\) 是貪婪的，如果\(\pi(s,a)>0\)當且僅當\(a=\mathop{\arg\min}_{a'}Q(s,a')\)。

在離散MDP中，至少有一個最優策略對其自身的作用值函式是貪婪的。

Policy gradient methods

policy gradient 方法（Sutton等人。2000；Konda和Tsitsiklis 2000）通過執行隨機梯度下降來優化給定引數化隨機策略族 \(\pi_\theta\) 的效能目標，來解決尋找一個好策略的問題。policy gradient 定理（Sutton等人。2000）提供了平均獎勵和折扣獎勵目標相對於θ的梯度的表示式。

在discounted 的設定下，目標是根據指定的開始狀態（或分佈）來定義的：

\[s_0:\rho(\theta,s_0)=\mathbb{E}_{\pi\theta}[\sum_{t=0}^{\infty}\gamma^tr_{t+1}|s_0]\tag{a-1} \]

Policy gradient 定理表明：

\[\frac{\partial\rho(\theta,s_0)}{\partial\theta}=\sum_s\mu_{\pi\theta}(s|s_0)\sum_a\frac{\partial\pi_{\theta}(a|s)}{\partial\theta}Q_{\pi\theta}(s,a) \]

\[\mu_{\pi\theta}(s|s_0)=\sum_{t=0}^{\infty}\gamma^tP(s_t=s|s_0) \]

\(\mu_{\pi\theta}(s|s_0)\) 是從 \(s_0\) 開始沿軌道的狀態的折扣權重。

在實際應用中，政策梯度是沿著 on-policy 上的平穩分佈從樣本中估計出來的。（Thomas 2014）表明，忽略此平穩分佈中的折扣因子會使通常的政策梯度估計有偏差。然而，糾正這種差異也會降低資料效率。為了簡單起見，我們建立在（Sutton et al並根據（Thomas 2014）討論如何擴充套件我們的結果。

The options framework

The options framework（Sutton、Precup和Singh 1999；Precup 2000）將時間擴充套件行動的概念正式化。

\[\text{Markov option }\omega\in\Omega \ is\ (\mathcal{I}_\omega,\pi_\omega,\beta_\omega)= \begin{cases} \mathcal{I}_\omega \subseteq\mathcal{S}\\ \pi_\omega:intra\text{-}option \text{ policy}\\ \beta_\omega \end{cases} \]

我們同時假設所有的options在任何地方都可以使用，即 \(\forall s\in\mathcal{S},\forall \omega\in\Omega:s\in\mathcal{I}_\omega\) ，這是大多數option發現演算法中的一種假設。我們將在最後一節討論如何消除這種假設。（Sutton，Precup，and Singh 1999；Precup 2000）表明，賦予一組option的MDP成為一個半馬爾可夫決策過程（Puterman 1994，第11章），它在 \(V_\Omega(s)\) 和 option-value function \(Q_\Omega(s,\omega)\) 上具有對應的最優值函式。mdp的學習和規劃演算法在這種情況下有對應的演算法。然而，底層MDP的存在提供了並行學習許多不同選項的可能性：這就是 \(intra\text{-}option\ learning\) 的思想，我們在工作中利用了這種思想。

Learning Options

我們對學習選擇問題採取了持續的觀點。在任何時候，我們都希望將所有可用的經驗提煉到我們系統的每個組成部分：value function, policy over options, intra-option policies and termination functions 價值函式和期權政策、期權內政策和終止函式。為了實現這一目標，我們重點學習期權策略和終止函式，假設它們是用可微引數化函式逼近器表示的。

differentiable parameterized function approximators 可微引數化函式逼近器:

有很多 differentiable function approximators，如：

• 線性模型（Linear combinations of features）
• 神經網路（Neural network）
• 決策樹（Decision tree）
• 最近鄰（Nearest neighbour）
• ...

我們考慮了 \(call-and-return\) 執行模型，在該模型中，agent根據其在 \(\pi_\Omega\) 的策略選擇option \(\omega\) ，然後遵循其 \(intra-option\) policy \(\pi_\omega\)直到終止（由 \(\beta_\omega\) 決定），此時該過程重複進行。

設 \(\pi_{\omega,\theta}\) 表示由θ引數化的option ω的intra-option policy，\(\beta_{\omega,\vartheta}\) 是由ϑ引數化的ω的終止函式。我們提出了兩個新的學習option的結果，得到了作為藍圖的政策梯度定理（薩頓等人。2000年）。這兩個結果都是在假設目標是學習使當前任務的預期收益最大化的option的前提下得出的。然而，如果要在目標函式中新增額外的資訊，只要它以加性可微函式的形式出現，就可以很容易地做到這一點功能。

additive differentiable function：

假設我們的目標是優化在所有從指定狀態 \(s_0\) 和option \(\omega_0\) 的軌跡上期望的discounted return，然後

\[\rho(\Omega,\theta,\vartheta,s_0,\omega_0)=\mathbb{E}_{\Omega,\theta,\omega}[\sum_{t=0}^{\infty}\gamma^tr_{t+1}|s_0,\omega_0] \]

7.24：此公式相對於式（a-1）同為 \(\rho()\) ，應該同樣理解為\(s_0\) 的分佈

請注意，此return取決於policy over options，以及option policies和termination函式的引數。我們將取這個目標相對於θ和ϑ的梯度。為了做到這一點，我們將使用類似於 \(intra-option\) 學習中使用的方程（Sutton，Precup，and Singh 1999，第8節）。具體來說，option-value 函式的定義可以寫成：

\[Q_\Omega(s,\omega)=\sum_a\pi_{\omega,\theta}(a|s)Q_U(s,\omega,a)\tag{1} \]

首先可以很直觀地看出此方法不是將option視為不可觀察的黑盒，而是可以觀察其內部更基礎的action。基於此上式便可以理解為，option-value function就是基於狀態s，option內策略得到值的期望，所以 \(Q_U()\) 從這個表示式推斷，就可以推測是用來描述option內的state-action值函式，相當於是option的qlearning過程的值函式

\(Q_U:\mathcal{S}\times\Omega\times\mathcal{A}\to\mathbb{R}\)是在state-option對的環境中中執行action的值:

\[Q_U(s,\omega,a)=r(s,a)+\gamma\sum_{s'}P(s'|s,a)U(\omega,s')\tag{2} \]

通過文章內的描述可以得知之前的推斷是正確的，但是完全理解為option內的q-learning還是不妥

注意，\(（s，ω）\)對導致了一個擴大的狀態空間，參見（Levy和Shimkin 2011）。但是，我們不會顯式地處理這個空間；它只用於簡化推導。函式\(U:\Omega\times\mathcal{S}\to\mathbb{R}\)稱為到達時的option-value函式（Sutton、Precup和Singh 1999，方程20）。

進入狀態 \(s'\) 時執行 \(ω\) 的值由下式給出:

\[U(\omega,s')=(1-\beta_{\omega,\vartheta}(s'))Q_\Omega(s',\omega)+\beta_{\omega,\vartheta}(s')V_\Omega(s')\tag{3} \]

Between MDPs and semi-MDP中的表示式為：\(U(s,o)=(1-\beta(s))Q(s,o)+\beta(s)\mathop{\max}_{o'\in\mathcal{O'}}Q(s,o')\)

\(U(\omega,s')\) 的含義也即高亮——進入狀態 \(s'\) 時執行 \(\omega\) 的值

\(P(s'|s,a)\) 指（s，a）時s'的概率，所以\(\sum_{s'}P(s'|s,a)U(\omega,s')\)即 \(\mathbb{E}[\omega|s,a]\)

請注意， \(Q_U\) and \(U\) 都依賴於θ和ϑ，但為了清楚起見，我們不在符號中包含它們。匯出策略梯度所需的最後一個要素是Markov鏈，沿著該鏈可以估計效能度量。自然的方法是考慮在增廣狀態空間中定義的鏈，因為state-option對現在在通常的Markov鏈中扮演regular state的角色。如果option \(\omega_t\) 已經啟動或在狀態st的時間t執行，則一步中轉換到 \((s_{t+1}，ω_{t+1})\) 的概率為：

\[P(s_{t+1},\omega_{t+1}|s_t,\omega_t)=\sum_a\pi_{\omega_t,\theta}(a|s_t)P(s_{t+1},a)((1-\beta_{\omega,\vartheta}(s_{t+1}))\mathbb{1}_{\omega_t=\omega_{t+1}}+\beta_{\omega,\vartheta}(s_{t+1})\pi_\Omega(w_{t+1}|s_{t+1}))\tag{4} \]

顯然，（4）給出的過程是均勻的。在溫和的條件下，且期權無處不在，它實際上是遍歷的，並且在state-option對上存在唯一的穩態分佈（stationary distribution）。

\(\mathbb{1}_{\omega_t=\omega_{t+1}}\) 的含義：

穩態分佈：

假設期權內政策的引數θ是隨機可微的，我們現在將計算預期折現收益率的梯度。

從式（1，2）可以得到：

\[\frac{\partial Q_\Omega(s,\omega)}{\partial\theta}=\left(\sum_a\frac{\partial\pi_{\omega,\theta}(a|s)}{\partial\theta}Q_U(s,\omega,a)\right) + \sum_a\pi_{\omega,\theta}(a|s)\sum_{s'}\gamma P(s'|s,a)\frac{\partial U(\omega,s')}{\partial\theta} \]

我們可以用（3）和（4）進一步展開右手邊，得到以下定理：

Intra-Option Policy Gradient Theorem

**Theorem 1 (Intra-Option Policy Gradient Theorem). **

給定一組引數θ可微的隨機內期權策略的Markov期權，其期望折現收益率相對於θ和初始條件（s0，ω0）的梯度為：

\[\sum_{s,\omega}\mu_\Omega(s,\omega|s_0,\omega_0)\sum_a\frac{\partial \pi_{\omega,\theta}(a|s)}{\partial\theta}Q_U(s,\omega,a) \]

其中\(\mu_\Omega(s,\omega|s_0,\omega_0)\) 是狀態選項對沿著從（s0）開始的軌跡的貼現加權，

\[\mu_\Omega(s,\omega|s_0,\omega_0)=\sum_{t=0}^{\infty}\gamma^tP(s_t=s,\omega_t=\omega|s_0,\omega_0) \]

證明在附錄中。這個梯度描述了原始水平上區域性變化對全域性期望折現收益的影響。相反，子目標或偽獎勵方法假設期權的目標僅僅是優化其自身的獎勵函式，而忽略了提議的變更如何在總體目標中傳播。

現在我們將注意力轉向計算終止函式的梯度，這次假設是隨機的，並且在ϑ中是可微的。

從（1，2，3）可以得到：

\[\frac{\partial Q_\Omega(s,\omega)}{\partial\vartheta}=\sum_a\pi_{\omega,\theta}(a|s)\sum_{s'}\gamma P(s'|s,a)\frac{\partial U(\omega,s')}{\partial\vartheta} \]

因此，關鍵量是U的梯度。這是呼叫和返回執行的自然結果，其中終止函式的“善”只能在進入下一個狀態時評估。相關梯度可進一步擴充套件為:

\[\frac{\partial U(\omega,s')}{\partial\vartheta}=-\frac{\partial\beta_{\omega,\vartheta}(s')}{\partial\vartheta}A_\Omega(s',\omega)+\gamma\sum_{\omega'}\sum_{s''}P(s'',\omega')\frac{\partial U(\omega',s'')}{\partial\vartheta}\tag{5} \]

其中 \(A_\Omega\) 是advantage function（Baird，1993），\(A_\Omega(s',\omega)=Q_\Omega(s',\omega)-V_\Omega(s')\)。

遞迴地展開 \(\frac{\partial U(\omega',s'')}{\partial\vartheta}\) 得到了與定理（1）相似的形式，但其中狀態-選項對的權重現在是根據移動一個時間步的馬爾可夫鏈：\(\mu_\Omega(s_{t+1},\omega_t|s_t,\omega_{t+1})\)（詳見附錄）。

Termination Gradient Theorem

Theorem 2 (Termination Gradient Theorem).

給出一組隨機終止函式在其引數ϑ上可微的Markov期權，期望折現收益目標相對於ϑ和初始條件（s1，ω0）的梯度為：

\[-\sum_{s',\omega}\mu_\Omega(s',\omega|s_1,\omega_0)\frac{\partial \beta_{\omega,\vartheta}(s')}{\partial\vartheta}A_\Omega(s',\omega) \]

其中\(\mu_\omega(s',\omega|s_1,\omega_0)\) （s1，ω0）中狀態選項對的貼現權重:

\[\mu_\Omega(s,\omega|s_1,\omega_0)=\sum_{t=0}^\infty\gamma^tP(s_{t+1}=s,\omega+t=\omega|s_1,\omega_0) \]

優勢函式經常出現在政策梯度方法中（Sutton等人。2000年）在形成基線以減少梯度估計的方差時。它在這種情況下的出現主要與演算法設計有關。有趣的是，在我們的例子中，它是推導的直接結果，並且給了定理一個直觀的解釋：當期權選擇相對於所有期權的期望值是次優時，優勢函式是負的，它推動梯度修正上升，這增加了終止的機率。終止後，代理有機會使用πΩ選擇更好的選項。類似的想法也構成了期權的中斷執行模型（Sutton，Precup，and Singh 1999），在該模型中，只要QΩ（s？，ω）對於電流選項ω小於VΩ（s？）。（Mann、Mankowitz和Mannor 2014）最近在數值迭代設定下，通過打斷Bellman運算元的鏡頭研究了中斷選項。終止梯度定理可以解釋為提供了一個基於梯度的中斷Bellman運算元。

Algorithms and Architecture

基於定理1和定理2，我們現在可以設計一個學習選項的隨機梯度下降演算法。利用雙時間尺度框架（Konda和Tsitsiklis 2000），我們建議在快速的時間尺度上學習值，同時以較慢的速度更新內部期權策略和終止函式。

我們將產生的系統稱為一個選項批評家架構，參考actor-critical架構（Sutton 1984）。期權內策略、終止函式和期權上的策略屬於系統的參與者部分，而批評家則由量子和AΩ組成。期權批評家體系結構沒有規定如何獲得πΩ，因為現有的各種方法都可以應用：在SMDP級別使用策略梯度方法，在期權模型上使用規劃器，或者使用時間差分更新。如果πΩ是貪婪策略對期權，則由（2）得到相應的一步策略更新目標g（1）t為：

\[g_t^{(1)}=r_{t+1}+\gamma\left( (1-\beta_{\omega_t,\vartheta}(s_{t+1}))\sum_a\pi_{\omega_t,\theta}(a|s_{t+1})Q_U(s_{t+1},\omega_t,a)\\ +\beta_{\omega_t,\vartheta}(s_{t+1})\mathop{\max}_\omega\sum_a\pi_{\omega_t,\theta}(a|s_{t+1})Q_U(s_{t+1},\omega,a)\right) \]

這也是Sutton，Precup和Singh 1999的intra-option Q-learning演算法的更新目標。演算法1給出了一個使用選項內Q學習的option critic的原型實現。表格設定僅為清晰呈現而設。我們分別給出了批評家、期權內策略和終止函式的學習率的α、αθ和αϑ。

學習QΩ的QUin加法在計算上浪費了大量的引數和樣本。一個實際的解決方案是隻學習QΩ並從中得到qu的估計值。因為屈是對下一個國家的期望， \(Q_U(s,\omega,a)=\mathbb{E}_{s'\sim P}[r(s,a)+\gamma U(\omega,s')|s,\omega,a]\) ，結果表明g（1）t是一個合適的估計量。我們選擇這種方法作為我們在街機學習環境中使用深度神經網路的實驗。

Experiments

我們首先考慮四個房間域中的導航任務（Sutton、Precup和Singh 1999）。我們的目標是評估一組完全自主學習的選項從環境的突然變化中恢復過來的能力。（Sutton，Precup，and Singh 1999）對一組預先指定的選項提出了一個類似的實驗；我們的結果中的選項並不是事先指定的。

最初目標位於東門，初始狀態從所有其他單元統一繪製。1000集之後，目標移動到右下角房間的一個隨機位置。原始移動可能以1/3的概率失敗，在這種情況下，代理會隨機過渡到一個空的相鄰單元。折扣係數為0.99，進球時獎勵為+1，否則獎勵為0。我們選擇用Boltzmann分佈引數化期權內策略，用sigmoid函式引數化終止策略。利用期權內Q學習方法學習了期權優先策略。我們還使用Boltzmann策略實現了原始的actor-critic（表示為AC-PG）。我們還比較了期權評論家和原始的薩爾薩代理使用玻爾茲曼勘探和沒有資格痕跡。對於所有的Boltzmann策略，我們將溫度引數設定為0.001。所有的權重都被初始化為零。

如圖2所示，當目標突然改變時，OptionCritic代理恢復得更快。此外，初始的選項集是從零開始學習的速度可與原始方法相媲美。儘管這個領域很簡單，但我們還沒有發現其他方法可以在不產生比單獨使用原始操作時更大的成本的情況下解決這個任務（McGovern和Barto 2001；S¸ims¸ek和Barto 2009）。

在有4個選項和8個選項的兩個臨時擴充套件設定中，終止事件更可能發生在門口附近（圖3），這與直覺一致，即它們是好的子目標。與（Sutton，Precup，and Singh 1999）相反，我們自己並沒有對這些知識進行編碼，而是讓代理找到能夠最大化預期貼現回報的選項。

可以參考的其他理解

知乎 【強化學習演算法20】option-critic