【強化學習】強化學習的基本概念與程式碼實現

從 AlphaGo 到自動駕駛汽車，我們能在很多最先進的人工智慧應用中找到強化學習的身影。這種技術是如何從零開始慢慢學會完成任務，成長為「超越人類水平」的專家的？本文將會進行一番簡要介紹。

神經網路造就了最近我們在計算機視覺、機器翻譯和時間序列預測等領域上的突破—同時它也可以和強化學習演算法結合來建立一些驚人的成果，例如 AlphaGo（參閱：無需人類知識，DeepMind 新一代圍棋程式 AlphaGo Zero 再次登上 Nature）。

強化學習指的是面向目標的演算法，這種演算法學習如何在一些具體的步驟中達到一個目標或者最大化；例如，最大化一個遊戲中通過一些行動而獲得的得分。它們可以從一個空白狀態開始，然後在合適的條件下達到超越人類水平的效能。就像被糖果和體罰刺激的小孩子一樣，當它們做出錯誤的預測時，這些演算法會受到懲罰，當它們做出正確的預測時，它們會得到獎勵—這便是強化的意義所在。

結合深度學習的強化演算法可以在圍棋和 Atari 遊戲中打敗人類冠軍。儘管這聽起來還不具有足夠的說服力，但是這已經遠遠優於它們之前的成就了，而且目前最先進的進步是很迅速的。

兩個強化學習的演算法 Deep-Q learning 和 A3C 已經在 Deeplearning4j 庫上實現了，現在，它已經可以玩《毀滅戰士（Doom）》了。

強化學習解決了對即刻行動和與之相關的延遲響應之間的關聯的問題。就像人類一樣，強化學習演算法必須等待一會，看看它們決策的結果如何。它們執行在延遲響應的環境之中，在這種環境中理解哪些行動在多個步驟後導致哪些結果是很困難的。

我們可以期望強化學習演算法在更加模糊的現實環境中表現得更好，它可以在真實環境下從任意多個可能的行動中進行選擇，而不是從有限個電子遊戲動作選項中進行選擇。也就是說，隨著時間的推移，我們希望它們（強化學習演算法）能夠在現實世界中有著實現目標的價值。

強化學習入門（https://docs.skymind.ai/docs?__hstc=3042607.e3fc0b81c1643174a38ec061d10e5084.1517447567935.1517447567935.1517447567935.1&__hssc=3042607.1.1517447567935&__hsfp=3282609078）

強化學習定義

我們可以通過了解智慧體、環境、狀態、行動以及獎勵等概念來理解強化學習，我們會在一下的內容裡解釋這些概念。大寫字母表示事物的集合，小寫字母代表事物的例項；例如，A 是所有可能存在的行動的集合，而 a 是這個集合中包含的一個例項。

• 智慧體（Agent）：可以採取行動的智慧個體；例如，可以完成投遞的無人機，或者在視訊遊戲中朝目標行動的超級馬里奧。強化學習演算法就是一個智慧體。而在現實生活中，那個智慧體就是你。

• 行動（Action）：A 是智慧體可以採取的行動的集合。一個行動（action）幾乎是一目瞭然的，但是應該注意的是智慧體是在從可能的行動列表中進行選擇。在電子遊戲中，這個行動列表可能包括向右奔跑或者向左奔跑，向高出處跳或者向低處跳，下蹲或者站住不動。在股市中，這個行動列表可能包括買入，賣出或者持有任何有價證券或者它們的變體。在處理空中飛行的無人機時，行動選項包含三維空間中的很多速度和加速度。

• 環境（Environment）：指的就是智慧體行走於其中的世界。這個環境將智慧體當前的狀態和行動作為輸入，輸出是智慧體的獎勵和下一步的狀態。如果你是一個智慧體，那麼你所處的環境就是能夠處理行動和決定你一系列行動的結果的物理規律和社會規則。

• 狀態（State，S）：一個狀態就是智慧體所處的具體即時狀態；也就是說，一個具體的地方和時刻，這是一個具體的即時配置，它能夠將智慧體和其他重要的失事物關聯起來，例如工具、敵人和或者獎勵。它是由環境返回的當前形勢。你是否曾在錯誤的時間出現在錯誤的地點？那無疑就是一個狀態了。

• 獎勵（Reward，R）：獎勵是我們衡量某個智慧體的行動成敗的反饋。例如，在視訊遊戲中，當馬里奧碰到金幣的時候，它就會贏得分數。面對任何既定的狀態，智慧體要以行動的形式向環境輸出，然後環境會返回這個智慧體的一個新狀態（這個新狀態會受到基於之前狀態的行動的影響）和獎勵（如果有任何獎勵的話）。獎勵可能是即時的，也可能是遲滯的。它們可以有效地評估該智慧體的行動。

• 策略（policy，π）：policy 是智慧體基於當前的狀態做出下一步行動所用的策略。

• 價值（value，V）：期望的具有折扣的長期收益，而不是短期回報 R。我們定義 Vπ(s) 為當前狀態為 s 時基於策略π的長期回報。

• Q 價值或者行動價值（Q）：Q 價值（Q-Value）和上述的價值類似，不同的是它還使用了另一個引數--當前的行動 a。Vπ(s) 指的是基於當前狀態 s，行動 a 和策略π，得到的長期回報。

所以，環境就是能夠將當前狀態下采取的動作轉換成下一個狀態和獎勵的函式；智慧體是將新的狀態和獎勵轉換成下一個行動的函式。我們可以知悉智慧體的函式，但是我們無法知悉環境的函式。環境是一個我們只能看到輸入輸出的黑盒子。強化學習相當於智慧體在嘗試逼近這個環境的函式，這樣我們就能夠向黑盒子環境傳送最大化獎勵的行動了。

在上圖的反饋迴路中，每一個代表時間步驟的下標 t 和 t+1 都指的是一個不同的狀態：在 t 時刻和 t+1 時刻的狀態。與其他諸如監督學習和非監督學習形式不同—強化學習僅可以被認為是一系列先後發生的狀態-行動（state-action）對。

強化學習通過行動產生的結果來判斷行動。它是面向目標的，它的目標是習得能夠讓智慧體達到目標的一些行動序列。這裡有一些例子：

• 在電子遊戲中，這個目標是以最高的分數完成遊戲，所以遊戲過程中每一次得到的額外分數都會影響智慧體隨後的行動；也就是說，智慧體可能學會：為了最大化它的得分，他應該射擊戰艦，觸碰硬幣或者躲避流星。

• 在現實世界中，一個機器人的目標可能是從 A 點移動到 B 點，機器人從 A 點向 B 點移動的每一英寸都算作得分。

可以通過對輸入的解釋將強化學習與監督學習和非監督學習區分開來。我們可以通過描述它們學習的「東西」來說明它們的不同之處。

• 無監督學習：那東西就是這個樣子的。（無監督學習演算法學到了沒有名字的事物之間的相似性，通過進一步的擴充套件，它們可以通過識別不尋常或者不相似的例項來發現相反或者執行異常檢測）

• 監督學習：那個東西是一塊「雙層吉士漢堡」。（標籤，聯絡名字和麵孔……）這些監督學習演算法學到了資料實體例項和它們的標籤之間的關聯；也就是說，監督學習演算法需要有一個有標籤的資料集。那些標籤被用來「監督」和矯正演算法，因為演算法在預測標籤的時候可能會做出錯誤的猜測。

• 強化學習：吃了這個東西，因為它味道蠻不錯，而且可以讓你活得更久。（基於短期和回報和長期回報的獎勵，就相當於你攝入的卡路里或者你生存的時間一樣。）強化學習可以被看做是在一個具有稀疏反饋的環境中的監督學習。

強化學習的域選擇

可以將一個自動強化學習的智慧體想象為一個盲人，這個盲人智慧依靠耳朵和手中的白手杖來嘗試在這個世界中導航。智慧體有一些允許它們感知所處環境的小窗，但是那些小窗甚至是最不適合它們感知周遭環境的最不適合的方式。

事實上，決定你的智慧體的輸入和反饋型別是一個需要解決的複雜問題。這就是所謂的域選擇問題。學習玩電子遊戲的演算法可以忽略這個問題，因為它們的環境是人為設定的，而且是受到嚴格限制的。因此，電子遊戲提供了無菌的實驗室環境，可以在裡面測試強化學習的想法。域選擇需要人為決定，通常是基於需要解決的問題的知識或理論來進行的；例如，在無人車的演算法中輸入域的選擇可能包括雷達感測器、相機以及 GPS 資料的資訊。

狀態-動作對（state-action pair）& 複雜的獎勵概率分佈

強化學習演算法的目標是習得針對任意給定狀態的最佳行動，這意味著行動必須被排序，並逐個賦值。由於那些行動都是依賴於狀態的，所以我們實際上測量的是狀態-行動對（state-action pairs）的價值；也就是說，您在某個狀態下采取的行動，也就是你在某地方所做的某件事情。這裡有幾個例子，可以描述一下一個行動的價值和意義取決於智慧體在採取這個行動時所面對的狀態。

• 如果這裡的行動指的是和某人結婚，那麼您在 18 歲的時候和一位 35 歲的結婚可能會與您在 90 歲的時候與一位 35 歲的結婚大有不同，這兩個結果可能會有著不同的動機，而且會進一步導致不同的結果。

• 如果這裡的行動時大喊一聲「Fire」，那麼在一個人群密集的影院和在一眾持槍者旁邊大喊這句話則有不同的意義。如果不瞭解具體的語境，我們就不能預測行動會導致的結果。

我們用上述的 Q 函式將狀態-行動對對映到我們希望它能夠產生的價值上。Q 函式將智慧體的狀態和行動作為輸入，將它們對映到可能的獎勵上。

強化學習是通過一系列狀態-行動對來執行智慧體的過程，觀察狀態-行動對所導致的結果，調整 Q 函式的預測，直到它能夠準確地預測出智慧體應該採取的最佳行動。這種預測被稱作策略。

強化學習是一種嘗試，它對於大量的狀態-行動對以及與之關聯的獎勵的複雜概率分佈進行建模。這是強化學習與馬爾科夫決策過程（https://deeplearning4j.org/markovchainmontecarlo）配合使用的一個原因，馬爾科夫決策過程是一個從複雜的分佈中進行取樣，以推斷它的屬性的一種方法。這和啟發 Stan Ulam 來發明蒙特卡羅方法的問題是很相似的；即在紙牌遊戲中通過給定的手牌嘗試推斷獲勝的機會。

任何統計方法，其本質上都是無知的。有些現象（例如生物學、政治學或者與棋類遊戲有關的現象）的巨大複雜性使得從最初原則去推斷是不可能的。唯一的方法就是通過統計去研究它們，從表面去衡量事件，並嘗試建立它們之間的關聯，即便我們不懂得它們相關聯的機制。就像深度神經網路一樣，強化學習就是這樣的方法，依靠取樣來從資料中抽取資訊。

強化學習是迭代的。在大多數有趣的應用中，它起始的時候都並不明白當前的狀態-行動對會產生怎樣的獎勵。強化學習演算法通過在一次又一次的狀態中執行以學到這些關聯，就像運動員或者音樂家在一次又一次的狀態迭代中提升他們的水平一樣。

機器學習與時間之間的關係

也許你會認為強化學習演算法與實踐的關係與人類有所不同。我們可以在相同的狀態下采取不同的行動執行演算法，直至我們可以可以推斷哪個行動是狀態對應的最佳行動。事實上，我們給演算法設定了它們自己的土撥鼠日（http://www.imdb.com/title/tt0107048/0），它們從一個蠢蛋開始，然後慢慢獲得智慧。

由於人類從來不會經歷電影之外的那種土撥鼠日，所以強化學習有可能比人類學到更多、更好。你可能會說，與人類相比，這些強化學習演算法的真正優勢並不在於它們的固有本質，而在於它們能夠並行地存在於很多晶片上的能力，然後夜以繼日不知疲倦地進行訓練，因此能夠學到更多。一個在圍棋遊戲上訓練的演算法，例如 AlphaGo，它能夠玩的遊戲比任何人類有望在 100 個有生之年玩得還要多。

深度神經網路和深度強化學習

神經網路適合用在什麼地方呢？神經網路是能夠學會對映狀態-行動對和獎勵的智慧體。就像所有的神經網路一樣，它們使用引數來逼近與輸入輸出相關的函式，它們的學習通過沿著錯誤降低的方向迭代地調整引數或者權重構成。

在強化學習中，卷積網路可以被用來識別智慧體的狀態；例如，馬里奧所在的螢幕，或者無人機前面的地形。也就是說，它們起到了典型的影像識別的作用。

但是卷積網路在強化學習中能夠得到比在監督學習中更多的解釋。在監督學習中，網路給一副圖片賦予一個標籤；也就是說，它將名稱對映到畫素上。

事實上，卷積網路會根據概率對最適合圖片的標籤進行排序。給定一張驢子的圖片時，卷積網路可能會以 80% 的可能性將其判斷為驢子，以 50% 的概率將其判斷為馬，以 30% 的概率將其判斷為狗。

在強化學習中，給定代表一個狀態的圖片，卷積網路可以給出一個在這個狀態下可以採取的行動的排序；例如，它可能預測執行向右跑的動作會得 5 分，跳躍的動作會得 7 分，向左跑會得 0 分。

給期望的獎勵賦予價值之後，Q 函式就會簡單地選擇具有最高的 Q 價值的狀態-行動對。

在強化學習的起始階段，神經網路的引數可能會被隨機初始化。利用從環境中獲得的反饋，神經網路可以使用期望獎勵和實際獎勵之間的差距來調整網路引數，以提升狀態-行動對的解釋性。

這種反饋迴路與監督學習中的誤差反向傳播類似。然而，監督學習開始的時候就已經含有神經網路嘗試預測的真實標籤。它的目標就是去建立能夠對映不同的圖片與對應的名字的模型。

強化學習依靠環境來為演算法提供與每個新行動對應的標量數字。環境返回的獎勵可以使變化的、延遲的或者受已知變數影響的，這會給反饋迴路引入噪聲。

這會得到關於 Q 函式的更完整的表達，它不僅僅考慮由一個行動產生的即時獎勵，而且還能夠將獎勵順序地延遲到幾個時間步長的深度。

就像人類一樣，Q 函式也是遞迴的。就像呼叫溼體函式 human() 一樣，human() 函式自身又包含另一個 human() 函式，我們是裡面的所有結果，給一個給定的狀態-行動對呼叫 Q 函式，需要我們呼叫一個巢狀的 Q 函式來預測下一個狀態的價值，它反過來又要依賴之後的狀態的 Q 函式，以此類推。

程式碼

RL4J 的例子在這裡可以獲得（https://github.com/deeplearning4j/dl4j-examples/tree/master/rl4j-examples）。 

package org.deeplearning4j.examples.rl4j;

import java.io.IOException;
import org.deeplearning4j.rl4j.learning.HistoryProcessor;
import org.deeplearning4j.rl4j.learning.async.a3c.discrete.A3CDiscrete;
import org.deeplearning4j.rl4j.learning.async.a3c.discrete.A3CDiscreteConv;
import org.deeplearning4j.rl4j.mdp.ale.ALEMDP;
import org.deeplearning4j.rl4j.network.ac.ActorCriticFactoryCompGraphStdConv;
import org.deeplearning4j.rl4j.util.DataManager;

/**
 * @author saudet
 *
 * Main example for A3C with The Arcade Learning Environment (ALE)
 *
 */
public class A3CALE {

    public static HistoryProcessor.Configuration ALE_HP =
            new HistoryProcessor.Configuration(
                    4,       //History length
                    84,      //resize width
                    110,     //resize height
                    84,      //crop width
                    84,      //crop height
                    0,       //cropping x offset
                    0,       //cropping y offset
                    4        //skip mod (one frame is picked every x
            );

    public static A3CDiscrete.A3CConfiguration ALE_A3C =
            new A3CDiscrete.A3CConfiguration(
                    123,            //Random seed
                    10000,          //Max step By epoch
                    8000000,        //Max step
                    8,              //Number of threads
                    32,             //t_max
                    500,            //num step noop warmup
                    0.1,            //reward scaling
                    0.99,           //gamma
                    10.0            //td-error clipping
            );

    public static final ActorCriticFactoryCompGraphStdConv.Configuration ALE_NET_A3C =
            new ActorCriticFactoryCompGraphStdConv.Configuration(
                    0.00025, //learning rate
                    0.000,   //l2 regularization
                    null, null, false
            );

    public static void main(String[] args) throws IOException {

        //record the training data in rl4j-data in a new folder
        DataManager manager = new DataManager(true);

        //setup the emulation environment through ALE, you will need a ROM file
        ALEMDP mdp = null;
        try {
            mdp = new ALEMDP("pong.bin");
        } catch (UnsatisfiedLinkError e) {
            System.out.println("To run this example, uncomment the \"ale-platform\" dependency in the pom.xml file.");
        }

        //setup the training
        A3CDiscreteConv<ALEMDP.GameScreen> a3c = new A3CDiscreteConv(mdp, ALE_NET_A3C, ALE_HP, ALE_A3C, manager);

        //start the training
        a3c.train();

        //save the model at the end
        a3c.getPolicy().save("ale-a3c.model");

        //close the ALE env
        mdp.close();
    }
}

原文連結：https://deeplearning4j.org/deepreinforcementlearning

Yoshua Bengio團隊最新強化學習研究：智慧體通過與環境互動，「分離」變化的獨立可控因素

原文來源：arXiv

作者：Valentin Thomas、Emmanuel Bengio∗、William Fedus、Jules Pondard、Philippe Beaudoin、Hugo Larochelle、Joelle Pineau、Doina Precup、Yoshua Bengio

「雷克世界」編譯：嗯~阿童木呀

人們普遍認為，一個良好的表徵（representation）在於能夠對變化的潛在可解釋性因素進行分離。然而，對於什麼樣的訓練框架可以實現這一目標，仍然是一個懸而未決的問題。

儘管以往的大多數研究重點主要集中於靜態設定（例如，使用影像），但我們假設，如果允許學習者與其環境進行互動的話，就可以從中發現一些因果因素。

智慧體可以嘗試不同的操作並觀察其所產生的效果。更具體地說，我們假設這些因素中的一些與環境的某些可獨立控制的方面相對應，即對於環境中的每一個這樣的方面來說，都存在一個策略和可學習的特徵，從而使得該策略可以在該特徵中產生相應的變化，同時對其他特徵進行最小程度的更改，從而對所觀察到資料中的統計變化進行解釋。

我們提出了一個特定的目標函式以找到這些因素，並通過實驗驗證，它確實可以在沒有任何外部獎勵訊號的情況下，對環境的獨立可控制方面進行分離。

在解決強化學習問題時，想要將好的結果從隨機策略中區分開來往往需要具有正確的特徵表徵即使使用函式近似（function approximation），相較於盲目地去嘗試解決給定的問題，學習正確的特徵將可能會帶來更快的收斂性（Jaderberg 等人於2016年提出）。

 我們架構的計算模型。其中，st是第一個狀態，由其編碼ht和噪聲分佈z產生。φ是生成的，φ用於對在環境中執行的策略πφ進行計算。序列ht、ht’通過選擇性損失和ht上的可選擇性自編碼器損失，用於對我們的模型進行更新。

在監督學習研究（Bengio於2009年、Goodfellow等人於2016年提出）和強化學習研究（Dayan於1993年、Precup於2000年提出）領域中存在著這樣一種觀點，學習一個好的，而非新的表徵對於解決大多數現實世界中的問題來說具有至關重要的作用。

而另一種觀點是，這些表徵通常不需要被顯式地進行學習，這種學習可以通過內部獎勵機制來進行引導，而這種獎勵機制通常稱為“內在動機（intrinsic motivation）”（Barto等人、Oudeyer和Kaplan於2009年、Salge等人於2013年、Gregor等人於2017年提出）。

在以前研究成果的基礎上（Thomas等人於2017年提出），我們構建了一個表徵學習機制，它與內在動機機制和因果關係密切相關。該機制顯式地將智慧體對其環境的控制與智慧體所學習到的環境表徵聯絡起來。更具體地說，這種機制的假設是，環境中變化的潛在因素大部分可以由另一個變化的智慧體獨立控制。

（a）對隨機可控因素φ進行取樣時，對1000次變化h’—h及其核密度估計的取樣。我們觀察到我們的演算法在4種主要模式下對這些表徵進行分離，每種模式都對應於智慧體所實際採取的行動

（b）潛在空間中的分離結構。x軸和y軸是分離的，這樣我們就可以通過檢視其潛在的編碼h = f（s）來恢復任何觀測值中智慧體的x和y位置。當智慧體位於橙色塊上時，這個網格上的缺失點其所不能到達的唯一位置。

我們為這個機制提出了一個通用且容易計算的目標，可以用於任何一個使用函式近似學習潛在空間的強化學習演算法中。

我們的研究結果表明，我們的機制可以推動模型學習以一種有意義的方式對輸入進行分離，並學習對要採取多種行動才能得以的改變的因素進行表徵，此外，研究結果還表明，這些表徵可以在已學習的潛在空間中執行基於模型的預測，而不是在低階輸入空間（例如畫素）中。

學習分離表徵

Hinton和Salakhutdinov於2006年提出的，用於學習表徵的規範的深度學習框架就是一個典型的自編碼框架。然而，這並不一定意味著已學習的潛在空間會對變化的不同因素進行分離。出於這些問題的考慮，我們提出了本文中所闡述的方法。

（a）智慧體所實際完成的3步軌跡；

（b）空間φ(h0, z), z ∼ N (0, 1)的PCA檢視。每個箭頭指向由不同的φ所形成的預測Tθ(h0，φ)的重構。

（a）中的策略使用的是綠色箭頭開始處的φ。需要注意的是它的預測是如何對實際的最終狀態進行準確預測的。

其他作者提出了一些用於分離變化的潛在因素的機制。諸如變分自編碼器（Kingma和Welling於2014年提出）、生成對抗網路（Goodfellow等人於2014年提出）或非線性版本的ICA（Dinh等人於2014年、Hyvarinen和Morioka於2016年提出）等之類的許多深度生成式模型，試圖通過假設它們的聯合分佈（對所觀察到的s進行邊緣化處理）是因式分解後的結果（即它們是邊緣獨立的），對變化的潛在因素進行分離。

在本文中，我們沿著另一個方向進行探討，試圖利用學習智慧體在環境中行動的能力，以便對錶徵施加進一步的約束。我們假設，互動是學習如何對智慧體所面臨的觀察流的各種因果因素進行分離的關鍵所在，並且這種學習可以在一種無監督的方式下完成。

可以這樣說，到目前為止，將表徵延展到模型的獨立可控特徵中取得了一些令人鼓舞的成功。 我們的特徵的視覺化清楚地展示了簡單環境中的不同可控方面，但是，我們的學習演算法也存在一定的缺陷，即它是不穩定的。甚至可以這樣說，我們方法的優勢似乎也可能是它的弱點所在，因為先前的獨立迫使已學習表徵中的關注點進行非常嚴格地分離，而這些應該是可以緩和的。

與此同時，一些不穩定性的來源似乎也減緩了我們的程式：學習一個有關可控方面的條件分佈，往往會產生少於預期的模式。學習隨機策略，通常會非常樂觀地收斂域一個單一的動作中，由於模型具有多個部分因此往往需要對許多超引數進行調整。儘管如此，對於我們目前所採取的方法和措施，我們仍然報以希望。分離會發生，但對我們的優化過程以及我們目前的目標函式進行詳細的瞭解將是推動進一步發展的關鍵點所在。

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com