機器學習系列文章：貝葉斯決策理論

引言

  訓練計算機使之根據資料進行推斷是統計學和電腦科學的交叉領域，其中統計學家提供有資料做推斷的數學框架，而電腦科學家研究推斷方法如果在計算機上有效地實現。

   資料來自於一個不完全清楚的過程，將該過程作為隨機過程建模表明我們缺乏知識。也許該過程實際上是確定性的，但是因為我們沒有獲取關於它的完全知識的途徑，所以我們把它作為一個隨機過程建模，並且用概率理論來分析它。

  有時候，我們得不到隨機過程的先驗，所以需要從給定的樣本來估計它，這裡就需要統計學的知識了。簡言之，通過有限樣本估計隨機過程的近似。

1、貝葉斯公式在分類問題中的應用

  這裡筆者打算從貝葉斯公式出發，帶大家瞭解貝葉斯在分類問題中的應用。

  貝葉斯公式：

                                           

這裡筆者直接從公式出發，講解公式中每個量代表的具體含義。假設本統計模型在隨機變數的分佈方式為伯努利分佈。

    其中P(C)表示伯努利的先驗概率，如P(C=0)表示統計資料中型別C取0的概率。它是我們看到觀測量x之前就獲得的關於C的知識。滿足

                                          

   其中，P(x|C)稱為類似然，是屬於C的時間具有相關聯的預測值x的條件概率。例如:P(x1,x2|C=1)是C=1類具有X=x1，X=x2的概率。這就是通過資料我們得到的關於類的資訊。

   其中，P(x)稱為證據，是看到觀測x的邊緣概率，無論正例還是負例。由於證據對最終分類結果不會產生影響，所以我們一般省略去。

                                

  使用貝葉斯規則，組合先驗知識和資料告訴我們的知識，在看到觀測x之後，計算概念的後驗概率 P(C|x).

                                               

 上面探討了關於二分類情況下貝葉斯公式，此外，我們可以通過二分類問題推廣到多分類問題。一般情況下，我們有K個互斥的和窮舉的類Ci，當x屬於Ci時，我們可以將後驗概率P(x|Ci)看作x作為輸入的概率。所以多分類一般式如下：

                                              

2、分類的另一面：判別式函式

   分類也可以看作實現一組判別式函式使得：

                                     

根據1中描述，對於公共規範化項證據P(x)我們可以忽略，所以貝葉斯公式就變為：

                                      

  根據這個公式，我們就把資料的特徵空間分為K個決策區域，這些決策區域通過決策邊界曲線分隔開。如圖：

                                          

 

3、總結

所以，對於一般的分類問題，我們只需要求得，貝葉斯公式中先驗和類似然，其中先驗可以根據統計訓練樣本資料得到，而類似讓可以使用後面講解的最大似然法求得。具體求解過程詳見，筆者系列文章。

 

 

引用：機器學習導論