【強化學習】強化學習/增強學習/再勵學習介紹

Deepmind團隊在17年12月5日釋出的最新Alpha Zero中，非常重要的一種方法就是強化學習(reinforcement learning)，又稱再勵學習、評價學習，是一種重要的機器學習方法，靠自身的經歷進行學習。通過這種方式，RLS在行動-評價的環境中獲得知識，改進行動方案以適應環境。正因為可以在小資料量的情況下靠自身的行動獲得經驗，所以Alpha Zero可以通過自我對弈進行學習提高。深度學習的一種分類方式：監督學習、無監督學習、半監督學習、強化學習。

基本原理

      強化學習是從動物學習、引數擾動自適應控制等理論發展而來，其基本原理是：如果Agent的某個行為策略導致環境正的獎賞(強化訊號)，那麼Agent以後產生這個行為策略的趨勢便會加強。Agent的目標是在每個離散狀態發現最優策略以使期望的折扣獎賞和最大。強化學習把學習看作試探評價過程，Agent選擇一個動作用於環境，環境接受該動作後狀態發生變化，同時產生一個強化訊號(獎或懲)反饋給Agent，Agent根據強化訊號和環境當前狀態再選擇下一個動作，選擇的原則是使受到正強化(獎)的概率增大。選擇的動作不僅影響立即強化值，而且影響環境下一時刻的狀態及最終的強化值。如圖所示。

    簡單來說就是給你一隻小白鼠在迷宮裡面，目的是找到出口，如果他走出了正確的步子，就會給它正反饋（糖），否則給出負反饋（點選），那麼，當它走完所有的道路後。無論比把它放到哪兒，它都能通過以往的學習找到通往出口最正確的道路。

    RL最重要的3個特點在於：（1）基本是以一種閉環的形式；（2）不會直接指示選擇哪種行動（actions）；（3）一系列的actions和獎勵訊號（reward signals）都會影響之後較長的時間。   

    總的來說，RL與其他機器學習演算法不同的地方在於：其中沒有監督者，只有一個reward訊號；反饋是延遲的，不是立即生成的；時間在RL中具有重要的意義；agent的行為會影響之後一系列的data。

模型設計

一種RL(reinforcement learning) 的框架：

--------------------------------

for

1. 觀測到資料

2. 選擇action

3. 得到損失

目標是最小化損失

--------------------------------

以吃豆子游戲為例，解釋一下模型設計的主要元素，輸入輸出如下所示：

輸入：

狀態（State）=環境，例如迷宮中的每一格是一個state，例如（1，3）

動作（Action）=在每個狀態下，有什麼行動是容許的，例如｛上、下、左、右｝

獎勵（Rewards）=進入每個狀態時，能帶來正面或負面的價值，迷宮中的那格可能有食物（+1），也可能有怪獸（-100）

輸出：方案（Policy）=在每個狀態下，你會選擇哪個行動？

以上四個元素(S A R P)就構成了一個強化學習系統。

AlphaZero的設計中的主要演算法之一就是強化學習，原文如下：

在RL問題中，有四個非常重要的概念： 

　　（1）規則（policy） 

　　Policy定義了agents在特定的時間特定的環境下的行為方式，可以視為是從環境狀態到行為的對映，常用 π來表示。policy可以分為兩類： 

　　確定性的policy（Deterministic policy）: a=π(s) 

　　隨機性的policy（Stochastic policy）: π(a|s)=P[At=a|St=t] 

　　其中，t是時間點，t=0,1,2,3,…… 

　　St∈S，S是環境狀態的集合，St代表時刻t的狀態，s代表其中某個特定的狀態； 

　　At∈A(St)，A(St)是在狀態St下的actions的集合，At代表時刻t的行為，a代表其中某個特定的行為。 

　　（2）獎勵訊號（a reward signal） 

　　Reward就是一個標量值，是每個time step中環境根據agent的行為返回給agent的訊號，reward定義了在該情景下執行該行為的好壞，agent可以根據reward來調整自己的policy。常用R來表示。 

　　（3）值函式（value function） 

　　Reward定義的是立即的收益，而value function定義的是長期的收益，它可以看作是累計的reward，常用v來表示。 

　　（4）環境模型（a model of the environment） 

　　整個Agent和Environment互動的過程可以用下圖來表示： 

其中，t是時間點，t=0,1,2,3,…… 

　　St∈S，S是環境狀態的集合； 

　　At∈A(St)，A(St)是在狀態St下的actions的集合； 

　　Rt∈R∈R 是數值型的reward。

強化學習主要方法簡介

        強化學習的方法可以從不同維度進行分類：

• 是否需要對環境理解：model free和model-based

• 基於概率（Policy-based）和基於價值（Value-based）的RL

• 回合更新（monte-carlo update）和單步更新（temporal-difference update）的RL

• 線上學習（on-policy）和離線學習（off-policy）

        無論從哪個角度分類，主要的方法有： policy gradients、q learning、sarsa 、 actor-critic、Monte-carlo learning、 Deep-Q-Network

         這裡強烈推薦一個簡潔清晰的介紹視訊，6分鐘直接明瞭的說明各種方法的特點：

莫煩python：http://v.youku.com/v_show/id_XMTkyMDY5MTk2OA==.html

應用案例及python程式碼

       有很多種場景應用的都是強化學習，AlphaZero最為出名，其他還有直升機特技飛行、機器人行走、玩遊戲比人類還要好等等。

     舉個例子：我們想要實現的，就是一個這樣的小車。小車有兩個動作，在任何一個時刻可以向左運動，也可以向右運動，我們的目標是上小車走上山頂。一開始小車只能隨機地左右運動，在訓練了一段時間之後就可以很好地完成我們設定的目標了 。

     我們使用的演算法就是最簡單的Deep Q Learning演算法，演算法的流程如下圖所示。

完整程式碼如下：

import tensorflow as tf
import numpy as np
import gym
import randomfrom collections 
import deque

EPISDOE = 10000STEP = 10000ENV_NAME = 'MountainCar-v0'BATCH_SIZE = 32INIT_EPSILON = 1.0FINAL_EPSILON = 0.1REPLAY_SIZE = 50000TRAIN_START_SIZE = 200GAMMA = 0.9def get_weights(shape):
    weights = tf.truncated_normal( shape = shape, stddev= 0.01 )    return tf.Variable(weights)def get_bias(shape):
    bias = tf.constant( 0.01, shape = shape )    return tf.Variable(bias)class DQN():
    def __init__(self,env):
        self.epsilon_step = ( INIT_EPSILON - FINAL_EPSILON ) / 10000
        self.action_dim = env.action_space.n
        print( env.observation_space )
        self.state_dim = env.observation_space.shape[0]
        self.neuron_num = 100
        self.replay_buffer = deque()
        self.epsilon = INIT_EPSILON
        self.sess = tf.InteractiveSession()
        self.init_network()


        self.sess.run( tf.initialize_all_variables() )    def init_network(self):
        self.input_layer = tf.placeholder( tf.float32, [ None, self.state_dim ] )
        self.action_input = tf.placeholder( tf.float32, [None, self.action_dim] )
        self.y_input = tf.placeholder( tf.float32, [None] )
        w1 = get_weights( [self.state_dim, self.neuron_num] )
        b1 = get_bias([self.neuron_num])

        hidden_layer = tf.nn.relu( tf.matmul( self.input_layer, w1 ) + b1 )

        w2 = get_weights( [ self.neuron_num, self.action_dim ] )
        b2 = get_bias( [ self.action_dim ] )


        self.Q_value = tf.matmul( hidden_layer, w2 ) + b2

        value = tf.reduce_sum( tf.mul( self.Q_value, self.action_input ), reduction_indices = 1 )

        self.cost = tf.reduce_mean( tf.square( value - self.y_input ) )

        self.optimizer = tf.train.RMSPropOptimizer(0.00025,0.99,0.0,1e-6).minimize(self.cost)        return

    def percieve(self, state, action, reward, next_state, done):
        one_hot_action = np.zeros( [ self.action_dim ] )
        one_hot_action[ action ] = 1

        self.replay_buffer.append( [ state, one_hot_action, reward, next_state, done ] )        if len( self.replay_buffer ) > REPLAY_SIZE:
            self.replay_buffer.popleft()        if len( self.replay_buffer ) > TRAIN_START_SIZE:
            self.train()    def train(self):
        mini_batch = random.sample( self.replay_buffer, BATCH_SIZE )
        state_batch = [data[0] for data in mini_batch]
        action_batch = [data[1] for data in mini_batch]
        reward_batch = [ data[2] for data in mini_batch ]
        next_state_batch = [ data[3] for data in mini_batch ]
        done_batch = [ data[4] for data in mini_batch ]

        y_batch = []

        next_state_reward = self.Q_value.eval( feed_dict = { self.input_layer : next_state_batch } )        for i in range( BATCH_SIZE ):            if done_batch[ i ]:
                y_batch.append( reward_batch[ i ] )            else:
                y_batch.append( reward_batch[ i ] + GAMMA * np.max( next_state_reward[i] ) )


        self.optimizer.run(
            feed_dict = {
                self.input_layer:state_batch,
                self.action_input:action_batch,
                self.y_input:y_batch
            }
        )        return
    def get_greedy_action(self, state):
        value = self.Q_value.eval( feed_dict = { self.input_layer : [state] } )[ 0 ]        return np.argmax( value )    def get_action(self, state):
        if self.epsilon > FINAL_EPSILON:
            self.epsilon -= self.epsilon_step        if random.random() < self.epsilon:            return random.randint( 0, self.action_dim - 1 )        else:            return self.get_greedy_action(state)def main():
    env = gym.make(ENV_NAME)
    agent = DQN( env )    for episode in range(EPISDOE):
        total_reward = 0
        state = env.reset()        for step in range(STEP):
            env.render()
            action = agent.get_action( state )
            next_state, reward, done, _ = env.step( action )
            total_reward += reward
            agent.percieve( state, action, reward, next_state, done )            if done:                break
            state = next_state        print 'total reward this episode is: ', total_rewardif __name__ == "__main__":
    main()

如想了解演算法關鍵設定，請參考CSDN楊思達zzz：http://blog.csdn.net/supercally/article/details/54767499

學習資源

        授人以漁，分享以下強化學習的相關學習資源：

1. Udacity課程1：Machine Learning: Reinforcement Learning，以及更深入的Udacity課程2：Reinforcement Learning

2. 經典教科書：Sutton & Barto Textbook: Reinforcement Learning: An Introduction 網頁中可免費下載新版（第二版）初稿

3. UC Berkeley開發的經典的入門課程作業－程式設計玩“吃豆人”遊戲：Berkeley Pac-Man Project (CS188 Intro to AI)

4. Stanford開發的入門課程作業－簡化版無人車駕駛：Car Tracking (CS221 AI: Principles and Techniques)

5.CS 294: Deep Reinforcement Learning, Fall 2015 CS 294 Deep Reinforcement Learning, Fall 2015。課程安排和資料很好。推薦最為RL進階學習。

        注：以上Berkeley和Stanford的課程專案都是精心開發的課程作業，已經搭建好了基礎程式碼，學習者可專注於實現核心演算法，並且有自動評分程式(auto-grader)可以自測。

參考資料：

百度百科詞條：強化學習

CSDN：Lili_Y_Love，強化學習（Reinforcement Learning, RL）初步介紹

SegmentFault：方老司，《深入淺出機器學習》之強化學習

DeepMind：Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm。17.12.05

知乎：不愛老婆的豬，https://www.zhihu.com/question/41775291/answer/92740775

莫煩python：http://v.youku.com/v_show/id_XMTkyMDY5MTk2OA==.html

CSDN楊思達zzz：http://blog.csdn.net/supercally/article/details/54767499

強化學習的入門之旅

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com