強化學習-學習筆記7 | Sarsa演算法原理與推導

climerecho 發表於 2022-07-07
演算法

Sarsa演算法 是 TD演算法的一種,之前沒有嚴謹推導過 TD 演算法,這一篇就來從數學的角度推導一下 Sarsa 演算法。注意,這部分屬於 TD演算法的延申。

7. Sarsa演算法

7.1 推導 TD target

推導:Derive。

這一部分就是Sarsa 最重要的核心。

折扣回報:$U_t=R_t+\gamma R_{t+1}+\gamma^2 R_{t+2}+\gamma^3 R_{t+3}+\cdots \ \quad={R_t} + \gamma \cdot U_{t+1} $

即 將\(R_{t+1}\)之後 都提出一個 \(\gamma\) 項,後面括號中的式子意義正為 \(U_{t+1}\)

通常認為獎勵 \(R_t\)依賴於 t 時刻的狀態 \(S_t\) 與 動作 \(A_t\) 以及 t+1 時刻的狀態 \(S_{t+1}\)

當時對於為什麼依賴於 \(S_{t+1}\) 有疑問,我回去翻看了 學習筆記1:https://www.cnblogs.com/Roboduster/p/16442003.html ,發現並強調了以下這一點:

“值得注意的是,這個 r1 是什麼時候給的?是在狀態 state s2 的時候給的。”

狀態價值函式 \(Q_\pi({s_t},{a_t}) = \mathbb{E}[U_t|{s_t},{a_t}]\) 是回報 \(U_t\) 的期望;

  • 用折扣回報的變換式,把\(U_t\)替換掉:\(Q_\pi({s_t},{a_t}) = \mathbb{E}[{R_t} + \gamma \cdot U_{t+1} |{s_t}{a_t}]\)
  • 有兩項期望,分解開:\(= \mathbb{E}[{R_t} |{s_t},{a_t}] + \gamma \cdot\mathbb{E}[ U_{t+1} |{s_t},{a_t}]\)

下面研究上式的第二項:\(\mathbb{E}[ U_{t+1} |{s_t},{a_t}]\)

其等於 \(\mathbb{E}[ Q_\pi({s_{t+1}},{a_{t+1}}) |{s_t},{a_t}]\)

Q 是 U 的期望:所以 \(E(E[])=E()\),期望的期望還是原來的期望;這裡是逆用這個性質。這麼做是為了讓等式兩邊都有 \(Q_\pi\) 函式,如下:

於是便得到: \(Q_\pi({s_t},{a_t}) =\mathbb{E}[{R_t} |{s_t},{a_t}] + \gamma\cdot\mathbb{E}[ Q_\pi({s_{t+1}},{a_{t+1}}) {s_t},{a_t}] \\ Q_\pi({s_t},{a_t})=\mathbb{E}[{R_t} + \gamma \cdot Q_\pi({S_{t+1}},{A_{t+1}})]\)

右側有一個期望,但直接求期望很困難,所以通常是對期望求蒙特卡洛近似。

  1. \(R_t\) 近似為觀測到獎勵\(r_t\)
  2. \(Q_\pi({S_{t+1}},{A_{t+1}})\)用觀測到的 \(Q_\pi({s_{t+1}},{a_{t+1}})\) 來近似
  3. 得到蒙特卡洛近似值\(\approx {r_t} + \gamma \cdot Q_\pi({s_{t+1}},{a_{t+1}})\)
  4. 將這個值表示為 TD target \(y_t\)

TD learning 目標:讓 $Q_\pi({s_t},{a_t}) $ 來接近部分真實的獎勵 \(y_t\)

\(Q_\pi\) 完全是估計,而 \(y_t\) 包含了一部分真實獎勵,所以 \(y_t\) 更可靠。

7.2 Sarsa演算法過程

這是一種TD 演算法。

a. 表格形式

如果我們想要學習動作價值 $Q_\pi({s_t},{a_t}) $,假設狀態和動作都是有限的,可以畫一個表來表示:

強化學習-學習筆記7 | Sarsa演算法原理與推導

  1. 表每個元素代表一個動作價值;
  2. 用 Sarsa 演算法更新表格,每次更新一個元素;
  • 在表格形式中,每次觀測到一個四元組\(({s_t},{a_t},{r_t},{s_{t+1}})\),稱為一個 transition

  • 根據策略函式 \(\pi\) 隨機取樣計算下一個動作,記作\({a_{t+1}}\sim\pi(\cdot|{s_{t+1}})\)

  • 計算TD target: \(y_t = {r_t} + \gamma \cdot Q_\pi({s_{t+1}},{a_{t+1}})\)

    前一部分是觀測到的獎勵,後面一部分是對未來動作的打分,\(Q_\pi({s_{t+1}},{a_{t+1}})\) 可以通過查表得知。

    表最開始是通過一定方式初始化的(比如隨機),然後通過不斷計算來更新表格。

    通過查表,還知道\(Q_\pi({s_{t}},{a_{t}})\)的值,可以計算:

  • TD error:\(\delta_t = Q_\pi({s_{t}},{a_{t}}) -y_t\)

  • 最後用 \(\delta_t\) 來更新:\(Q_\pi({s_{t}},{a_{t}}) \leftarrow Q_\pi({s_{t}},{a_{t}}) - \alpha \cdot \delta_t\),並寫入表格相應的位置

    $\alpha $是學習率。通過TD error 更新,可以讓 Q 更好的接近 \(y_t\)

每一步中,Sarsa 演算法用 \((s_t,a_T,r_t,s_{t+1},a_{t+1})\) 來更新 \(Q_\pi\),sarsa,這就是演算法名字的由來。

b. 神經網路形式

值得留意的是表格形式的假設:假設狀態和動作都是有限的,而當狀態和動作很多,表格就會很大,很難學習。

  • 用神經網路-價值網路 \(q({s},{a};w)\) 來近似\(Q_\pi({s},{a})\),Sarsa演算法可以訓練這個價值網路。

    1. actor-critic 那篇用過 Sarsa 演算法,想不起來往下看:
    2. q 和 Q 都與 策略函式 \(\pi\) 有關。
    3. 網路引數 \(\omega\) 初始時隨機初始化,後續不斷更新。

強化學習-學習筆記7 | Sarsa演算法原理與推導

輸入狀態是 s ,輸出就是所有動作的價值

  • actor-critic 方法中,q 作為 critic 用來評估 actor;用 sarsa 這一 TD 學習演算法更新的價值網路。
  • TD target: \(y_t = {r_t} + \gamma \cdot q({s_{t+1}},{a_{t+1}};w)\)
  • TD error:\(\delta_t = q({s_{t}},{a_{t}};w) - y_t\)
  • Loss: \(\delta_t ^2/2\),我們的目的是通過更新網路引數 w 來降低 Loss;
  • 梯度:\(\frac{\partial\delta_t ^2/2}{\partial w} = \delta_t \cdot \frac{\partial q({s_{t}},{a_{t}};w)}{\partial w}\)
  • 梯度下降更新 w:$$w \leftarrow w - \alpha \cdot \delta_t \cdot \frac{\partial q({s_{t}},{a_{t}};w)}{\partial w}$$

7.3 一些解惑 / 有什麼不同

這一篇跟第二篇價值學習內容看似很接近,甚至在第四篇 actor-critic 中也有提及,可能會困惑 這個第七篇有什麼特別的,我也困惑了一會兒,然後我發現是自己的學習不夠仔細:

第二篇和第四篇的 價值網路 學習方法並不同。雖然都用到了 以TD target 為代表的TD 演算法。但是兩者的學習函式並不相同!

  1. Sarsa演算法 學習動作價值函式 \(Q_\pi(s,a)\)

  2. Actor-Critic 中的價值網路j就是用 Sarsa 訓練的

  3. 而第二篇 DQN 中的 TD 學習 是訓練最優動作價值函式:
    $Q ^*( s , a ) $

    而這種方法在下一篇中很快會提及,這就是 Q-learning 方法。

參考:

TD演算法總述

Sarsa演算法及其程式碼

相關文章