HMM隱馬爾可夫模型

HMM基本原理

Markov鏈：如果一個過程的“將來”僅依賴“現在”而不依賴“過去”，則此過程具有馬爾可夫性，或稱此過程為馬爾可夫過程。馬爾可夫鏈是時間和狀態引數都離散的馬爾可夫過程。

HMM 是在 Markov 鏈的基礎上發展起來的，由於實際問題比 Markov 鏈模型所描述的更為複雜，觀察到的時間並不是與狀態一一對應的，而是通過一組概率分佈相聯絡，這樣的模型稱為HMM。

HMM是雙重隨機過程：其中之一是 Markov 鏈，這是基本隨機過程，它描述狀態的轉移，是隱含的。另一個隨機過程描述狀態和觀察值之間的統計對應關係，是可被觀測的。

HMM的定義：

如果你看不懂上面的那兩段話，那就對了。

HMM理解

---

HMM（隱馬爾可夫模型）是用來描述隱含未知引數的統計模型。
舉一個經典的例子：一個東京的朋友每天根據天氣{下雨，天晴}決定當天的活動{公園散步,購物,清理房間}中的一種，我每天只能在twitter上看到她發的推“啊，我前天公園散步、昨天購物、今天清理房間了！”，那麼我可以根據她發的推特推斷東京這三天的天氣。在這個例子裡，顯狀態是活動，隱狀態是天氣。

HMM描述

---

任何一個HMM都可以通過下列五元組來描述：

    :param obs:觀測序列
    :param states:隱狀態
    :param start_p:初始概率（隱狀態）
    :param trans_p:轉移概率（隱狀態）
    :param emit_p: 發射概率 （隱狀態表現為顯狀態的概率）

這個例子可以用如下的HMM來描述：

    states = ('Rainy', 'Sunny') 
    observations = ('walk', 'shop', 'clean')     
    start_probability = {'Rainy': 0.6, 'Sunny': 0.4}     
    transition_probability = {
        'Rainy' : {'Rainy': 0.7, 'Sunny': 0.3},
        'Sunny' : {'Rainy': 0.4, 'Sunny': 0.6},
        }    
    emission_probability = {
        'Rainy' : {'walk': 0.1, 'shop': 0.4, 'clean': 0.5},
        'Sunny' : {'walk': 0.6, 'shop': 0.3, 'clean': 0.1},
    }

求解最可能的天氣

---

求解最可能的隱狀態序列是HMM的三個典型問題之一，通常用維特比演算法解決。維特比演算法就是求解HMM上的最短路徑（-log(prob)，也即是最大概率）的演算法。
</br>
稍微用中文講講思路，很明顯，第一天天晴還是下雨可以算出來：
</br>
1、 定義V[時間][今天天氣] = 概率，注意今天天氣指的是，前幾天的天氣都確定下來了（概率最大）今天天氣是X的概率，這裡的概率就是一個累乘的概率了。
</br>
2、 因為第一天我的朋友去散步了，所以第一天下雨的概率V[第一天][下雨] = 初始概率[下雨] * 發射概率[下雨][散步] = 0.6 * 0.1 = 0.06，同理可得V[第一天][天晴] = 0.24 。從直覺上來看，因為第一天朋友出門了，她一般喜歡在天晴的時候散步，所以第一天天晴的概率比較大，數字與直覺統一了。
</br>
3、 從第二天開始，對於每種天氣Y，都有前一天天氣是X的概率 * X轉移到Y的概率 * Y天氣下朋友進行這天這種活動的概率。因為前一天天氣X有兩種可能，所以Y的概率有兩個，選取其中較大一個作為V[第二天][天氣Y]的概率，同時將今天的天氣加入到結果序列中
</br>
4、 比較V[最後一天][下雨]和[最後一天][天晴]的概率，找出較大的哪一個對應的序列，就是最終結果。
</br>

HMM是一個通用的方法，可以解決貼標籤的一系列問題。