ML-樸素貝葉斯

透明的胡蘿蔔發表於2019-03-20

 

參考《西瓜書》P151

以前對貝葉斯引數的計算過程不是很清楚，在西瓜書裡講的很詳細，原來可以把X屬性分為離散型與連續型，離散型的話可以直接按照頻率計算，連續型的話，要用極大似然估計，首先假設概率密度函式滿足一個分佈，比如正態分佈，然後利用已知的資料集(X,Y)，來預測引數。預測過程可以參考邏輯迴歸推到損失函式。

後驗概率 

\fn_cm \begin{align*} P(c|X) &= \frac{P(c)P(X|c)}{P(X)} \\ & = \frac{P(c)}{P(X)}\prod_{i=1}^{n}P(x_{i}|c) \end{align*}

由於對所有類別來說P(X)相同，因此貝葉斯判定準則有

h_{nb} = arg max P(c)\prod_{i=1}^{n}P(x_{i}|c)

顯然，樸素貝葉斯分類器的訓練過程就是基於訓練集D來估計類先驗分佈概率P(c)，併為每個屬性估計條件概率P(x_{i}|c)

 

令Dc 表示訓練集D中第c類樣本組合的集合，若有充足的獨立同分布樣本，則可容易地估計出類先驗概率

P(c) = \frac{|D_{c}|}{|D|}

對離散屬性而言，令表示Dc中在第i個屬性上取值為xi 的樣本組成的集合，則條件概率P(xi | c)可估計為

P(x_{i}|c) = \frac{|D_{c,x_{i}}|}{|D_{c}|}

對連續屬性可考慮概率密度函式，假定其中

P(x_{i}|c) = \frac{1}{\sqrt{2\pi }\sigma _{c,i}} exp (-\frac{(x_{i}-\mu _{c,i})^{2}}{2\sigma _{c,i}^{2}})

P(c) = \frac{|D_{c}|+1}{|D|+N}

P(x_{i}|c) = \frac{|D_{c,x_{i}}|+1}{|D_{c}|+N}

全概率公式、貝葉斯公式推導過程

1）條件概率公式

        設A,B是兩個事件，且P(B)>0,則在事件B發生的條件下，事件A發生的條件概率（conditional probability)為：

                     P(A|B)=P(AB)/P(B)

（2）乘法公式

         1.由條件概率公式得：

                       P(AB)=P(A|B)P(B)=P(B|A)P(A)    

             上式即為乘法公式；

         2.乘法公式的推廣：對於任何正整數n≥2，當P(A1A2...An-1) > 0 時，有：

                 P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)

3）全概率公式

        1. 如果事件組B1，B2，.... 滿足

               1.B1，B2....兩兩互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，....，且P(Bi)>0,i=1,2,....;

               2.B1∪B2∪....=Ω ，則稱事件組 B1,B2,...是樣本空間Ω的一個劃分

          設 B1,B2,...是樣本空間Ω的一個劃分，A為任一事件，則：

上式即為全概率公式（formula of total probability)

       2.全概率公式的意義在於，當直接計算P(A)較為困難,而P(Bi),P(A|Bi)  (i=1,2,...)的計算較為簡單時，可以利用全概率公式計算P(A)。思想就是，將事件A分解成幾個小事件，通過求小事件的概率，然後相加從而求得事件A的概率，而將事件A進行分割的時候，不是直接對A進行分割，而是先找到樣本空間Ω的一個個劃分B1,B2,...Bn,這樣事件A就被事件AB1,AB2,...ABn分解成了n部分，即A=AB1+AB2+...+ABn, 每一Bi發生都可能導致A發生相應的概率是P(A|Bi)，由加法公式得

         P(A)=P(AB1)+P(AB2)+....+P(ABn)

               =P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(PBn)

        3.例項：某車間用甲、乙、丙三臺機床進行生產，各臺機床次品率分別為5%，4%，2%，它們各自的產品分別佔總量的25%，35%，40%，將它們的產品混在一起，求任取一個產品是次品的概率。

                解：設.....     P(A)=25%*5%+4%*35%+2%*40%=0.0345

 

    （4）貝葉斯公式

      1.與全概率公式解決的問題相反，貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因（即大事件A已經發生的條件下，分割中的小事件Bi的概率），設B1,B2,...是樣本空間Ω的一個劃分，則對任一事件A（P(A)>0),有

上式即為貝葉斯公式（Bayes formula)，Bi 常被視為導致試驗結果A發生的”原因“，P(Bi)(i=1,2,...)表示各種原因發生的可能性大小，故稱先驗概率；P(Bi|A)(i=1,2...)則反映當試驗產生了結果A之後，再對各種原因概率的新認識，故稱後驗概率。

      2.例項：發報臺分別以概率0.6和0.4發出訊號“∪”和“—”。由於通訊系統受到干擾，當發出訊號“∪”時，收報臺分別以概率0.8和0.2受到訊號“∪”和“—”；又當發出訊號“—”時，收報臺分別以概率0.9和0.1收到訊號“—”和“∪”。求當收報臺收到訊號“∪”時，發報臺確係發出“∪”的概率。

         解：設....， P(B1|A）= (0.6*0.8)/(0.6*0.8+0.4*0.1)=0.923

相關文章