## 1. 對機率圖模型的理解

機率圖模型是用圖來表示變數機率依賴關係的理論，結合機率論與圖論的知識，利用圖來表示與模型有關的變數的聯合機率分佈。由圖靈獎獲得者Pearl開發出來。

如果用一個詞來形容機率圖模型（Probabilistic Graphical Model）的話，那就是“優雅”。對於一個實際問題，我們希望能夠挖掘隱含在資料中的知識。機率圖模型構建了這樣一幅圖，用觀測結點表示觀測到的資料，用隱含結點表示潛在的知識，用邊來描述知識與資料的相互關係，**最後基於這樣的關係圖獲得一個機率分佈**，非常“優雅”地解決了問題。

機率圖中的節點分為隱含節點和觀測節點，邊分為有向邊和無向邊。從機率論的角度，節點對應於隨機變數，邊對應於隨機變數的依賴或相關關係，其中**有向邊表示單向的依賴，無向邊表示相互依賴關係**。

機率圖模型分為**貝葉斯網路（Bayesian Network）和馬爾可夫網路（Markov Network）**兩大類。貝葉斯網路可以用一個有向圖結構表示，馬爾可夫網路可以表 示成一個無向圖的網路結構。更詳細地說，機率圖模型包括了樸素貝葉斯模型、最大熵模型、隱馬爾可夫模型、條件隨機場、主題模型等，在機器學習的諸多場景中都有著廣泛的應用。

## 2. 細數貝葉斯網路

### 2.1 頻率派觀點

長久以來，人們對一件事情發生或不發生的機率，只有固定的0和1，即要麼發生，要麼不發生，從來不會去考慮某件事情發生的機率有多大，不發生的機率又是多大。而且機率雖然未知，但最起碼是一個確定的值。比如如果問那時的人們一個問題：“有一個袋子，裡面裝著若干個白球和黑球，請問從袋子中取得白球的機率是多少？”他們會想都不用想，會立馬告訴你，取出白球的機率就是1/2，要麼取到白球，要麼取不到白球，即θ只能有一個值，而且不論你取了多少次，取得白球的**機率θ始終都是1/2**，即不隨觀察結果X 的變化而變化。

這種**頻率派**的觀點長期統治著人們的觀念，直到後來一個名叫Thomas Bayes的人物出現。

### 2.2 貝葉斯學派

托馬斯·貝葉斯Thomas Bayes（1702-1763）在世時，並不為當時的人們所熟知，很少發表論文或出版著作，與當時學術界的人溝通交流也很少，用現在的話來說，貝葉斯就是活生生一民間學術“屌絲”，可這個“屌絲”最終發表了一篇名為“An essay towards solving a problem in the doctrine of chances”，翻譯過來則是：機遇理論中一個問題的解。你可能覺得我要說：這篇論文的發表隨機產生轟動效應，從而奠定貝葉斯在學術史上的地位。

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385172674171677.jpg)

這篇論文可以用上面的例子來說明，“有一個袋子，裡面裝著若干個白球和黑球，請問從袋子中取得白球的機率θ是多少？”貝葉斯認為取得白球的機率是個不確定的值，因為其中含有機遇的成分。比如，一個朋友創業，你明明知道創業的結果就兩種，即要麼成功要麼失敗，但你依然會忍不住去估計他創業成功的機率有多大？你如果對他為人比較瞭解，而且有方法、思路清晰、有毅力、且能團結周圍的人，你會不由自主的估計他創業成功的機率可能在80%以上。這種不同於最開始的“非黑即白、非0即1”的思考方式，便是**貝葉斯式的思考方式。**

**先簡單總結下頻率派與貝葉斯派各自不同的思考方式：**

- 頻率派把需要推斷的引數θ看做是固定的未知常數，即機率雖然是未知的，但最起碼是確定的一個值，同時，樣本X 是隨機的，所以頻率派重點研究樣本空間，大部分的機率計算都是針對樣本X 的分佈；
- 而貝葉斯派的觀點則截然相反，他們認為引數是隨機變數，而樣本X 是固定的，由於樣本是固定的，所以他們重點研究的是引數的分佈。

貝葉斯派既然把看做是一個隨機變數，所以要計算的分佈，便得事先知道的無條件分佈，即在有樣本之前（或觀察到X之前），有著怎樣的分佈呢？

比如往檯球桌上扔一個球，這個球落會落在何處呢？如果是不偏不倚的把球丟擲去，那麼此球落在臺球桌上的任一位置都有著相同的機會，即球落在臺球桌上某一位置的機率服從均勻分佈。這種在實驗之前定下的屬於基本前提性質的分佈稱為**先驗分佈，或著無條件分佈**。

其中，先驗資訊一般來源於經驗跟歷史資料。比如林丹跟某選手對決，解說一般會根據林丹歷次比賽的成績對此次比賽的勝負做個大致的判斷。再比如，某工廠每天都要對產品進行質檢，以評估產品的不合格率θ，經過一段時間後便會積累大量的歷史資料，這些歷史資料便是先驗知識，有了這些先驗知識，便在決定對一個產品是否需要每天質檢時便有了依據，如果以往的歷史資料顯示，某產品的不合格率只有0.01%，便可視為信得過產品或免檢產品，只每月抽檢一兩次，從而省去大量的人力物力。

而**後驗分佈**π（θ|X）一般也認為是在給定樣本X的情況下的θ條件分佈，而使π（θ|X）達到最大的值θMD稱為**最大後驗估計**，類似於經典統計學中的**極大似然估計**。

綜合起來看，則好比是人類剛開始時對大自然只有少得可憐的先驗知識，但隨著不斷觀察、實驗獲得更多的樣本、結果，使得人們對自然界的規律摸得越來越透徹。所以，貝葉斯方法既符合人們日常生活的思考方式，也符合人們認識自然的規律，經過不斷的發展，最終佔據統計學領域的半壁江山，與經典統計學分庭抗禮。

### 2.3 貝葉斯定理

**條件機率**（又稱後驗機率）就是事件A在另外一個事件B已經發生條件下的發生機率。條件機率表示為P(A|B)，讀作“在B條件下A的機率”。

![](https://gss3.bdstatic.com/7Po3dSag_xI4khGkpoWK1HF6hhy/baike/c0%3Dbaike80%2C5%2C5%2C80%2C26/sign=28ccd0787e310a55d029d6a6d62c28cc/5243fbf2b21193136f84b53b62380cd790238d72.jpg)

比如上圖，在同一個樣本空間Ω中的事件或者子集A與B，如果隨機從Ω中選出的一個元素屬於B，那麼這個隨機選擇的元素還屬於A的機率就定義為在B的前提下A的條件機率：

![](https://latex.codecogs.com/gif.latex?P(A|B)=\frac{P(A\cap_{.}B)}{P(B)})

聯合機率： ![](https://latex.codecogs.com/gif.latex?P(A\cap_{.}B)或者P(A,B))

邊緣機率(先驗機率)：P(A)或者P(B)

### 2.4 貝葉斯網路

貝葉斯網路(Bayesian network)，又稱信念網路(Belief Network)，或有向無環圖模型(directed acyclic graphical model)，是一種機率圖模型，於1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關係的不確定性處理模型，其網路拓樸結構是一個有向無環圖(DAG)。

![](http://wx1.sinaimg.cn/mw690/00630Defgy1g4wsx3zf05j306o06xglm.jpg)

貝葉斯網路的有向無環圖中的節點表示隨機變數 ![](https://latex.codecogs.com/gif.latex?\{X_1,X_2,...,X_n\})

它們可以是可觀察到的變數，或隱變數、未知引數等。認為有因果關係（或非條件獨立）的變數或命題則用箭頭來連線。若兩個節點間以一個單箭頭連線在一起，表示其中一個節點是“因(parents)”，另一個是“果(children)”，兩節點就會產生一個條件機率值。

例如，假設節點E直接影響到節點H，即E→H，則用從E指向H的箭頭建立結點E到結點H的有向弧(E,H)，權值(即連線強度)用條件機率P(H|E)來表示，如下圖所示：

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385260415416726.png)

簡言之，把某個研究系統中涉及的隨機變數，根據是否條件獨立繪製在一個有向圖中，就形成了貝葉斯網路。其主要用來描述隨機變數之間的條件依賴，用圈表示隨機變數(random variables)，用箭頭表示條件依賴(conditional dependencies)。

此外，對於任意的隨機變數，其聯合機率可由各自的區域性條件機率分佈相乘而得出：

![](https://latex.codecogs.com/gif.latex?P(x_1,...,x_k)=P(x_k|x_1,...,x_{k-1})...P(x_2|x_1)P(x_1))

#### 2.4.1 貝葉斯網路的結構形式

**1. head-to-head**

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385304281092472.png)

依上圖，所以有：P(a,b,c) = P(a)*P(b)*P(c|a,b)成立，即在c未知的條件下，a、b被阻斷(blocked)，是獨立的，稱之為head-to-head條件獨立。

**2. tail-to-tail**

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385308065053106.png)

考慮c未知，跟c已知這兩種情況：

**3. head-to-tail**

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385312510915900.png)

還是分c未知跟c已知這兩種情況：

1. c未知時，有：P(a,b,c)=P(a)*P(c|a)*P(b|c)，但無法推出P(a,b) = P(a)P(b)，即c未知時，a、b不獨立。

2. c已知時，有：P(a,b|c)=P(a,b,c)/P(c)，且根據P(a,c) = P(a)*P(c|a) = P(c)*P(a|c)，可化簡得到：

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385314416808319.jpg)

所以，在c給定的條件下，a，b被阻斷(blocked)，是獨立的，稱之為head-to-tail條件獨立。

這個head-to-tail其實就是一個鏈式網路，如下圖所示：

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385317268812285.png)

根據之前對head-to-tail的講解，我們已經知道，在xi給定的條件下，xi+1的分佈和x1,x2…xi-1條件獨立。意味著啥呢？意味著：xi+1的分佈狀態只和xi有關，和其他變數條件獨立。通俗點說，當前狀態只跟上一狀態有關，跟上上或上上之前的狀態無關。這種順次演變的隨機過程，就叫做**馬爾科夫鏈**（Markov chain）。對於馬爾科夫鏈我們下一節再細講。

#### 2.4.2 因子圖

wikipedia上是這樣定義因子圖的：將一個具有多變數的全域性函式因子分解，得到幾個區域性函式的乘積，以此為基礎得到的一個雙向圖叫做因子圖（Factor Graph）。

通俗來講，所謂因子圖就是對函式進行因子分解得到的**一種機率圖**。一般內含兩種節點：變數節點和函式節點。我們知道，一個全域性函式透過因式分解能夠分解為多個區域性函式的乘積，這些區域性函式和對應的變數關係就體現在因子圖上。

舉個例子，現在有一個全域性函式，其因式分解方程為：

![](https://latex.codecogs.com/gif.latex?g(x_1,x_2,x_3,x_4,x_5)=f_A(x_1)f_B(x_2)f_C(x1,x2,x3)f_D(x_3,x_4)f_E(x_3,x_5))

其中fA,fB,fC,fD,fE為各函式，表示變數之間的關係，可以是條件機率也可以是其他關係。其對應的因子圖為：

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385445056239438.jpg)

![](https://julyedu-img.oss-cn-beijing.aliyuncs.com/quesbase64155385446168745485.png)

在機率圖中，求某個變數的邊緣分佈是常見的問題。這問題有很多求解方法，其中之一就是把貝葉斯網路或馬爾科夫隨機場轉換成因子圖，然後用sum-product演算法求解。換言之，基於因子圖可以用**sum-product 演算法**高效的求各個變數的邊緣分佈。

詳細的sum-product演算法過程，請檢視博文：[從貝葉斯方法談到貝葉斯網路](https://blog.csdn.net/v_july_v/article/details/40984699)

### 2.5 樸素貝葉斯

樸素貝葉斯(Naive Bayesian)是經典的機器學習演算法之一，也是為數不多的基於機率論的分類演算法。樸素貝葉斯原理簡單，也很容易實現，多用於文字分類，比如垃圾郵件過濾。**樸素貝葉斯可以看做是貝葉斯網路的特殊情況：即該網路中無邊，各個節點都是獨立的。 **

樸素貝葉斯樸素在哪裡呢？ —— **兩個假設**：

- 一個特徵出現的機率與其他特徵（條件）獨立； 
- 每個特徵同等重要。

貝葉斯公式如下：

![](http://wx3.sinaimg.cn/mw690/00630Defly1g4y19ya865j30hf01qjrd.jpg)

下面以一個例子來解釋樸素貝葉斯，給定資料如下：

![](http://wx2.sinaimg.cn/mw690/00630Defly1g4xzs3aydjj30nb0c4gmq.jpg)

現在給我們的問題是，如果一對男女朋友，男生想女生求婚，男生的四個特點分別是不帥，性格不好，身高矮，不上進，請你判斷一下女生是嫁還是不嫁？

這是一個典型的分類問題，轉為數學問題就是比較p(嫁|(不帥、性格不好、身高矮、不上進))與p(不嫁|(不帥、性格不好、身高矮、不上進))的機率，誰的機率大，我就能給出嫁或者不嫁的答案！這裡我們聯絡到樸素貝葉斯公式：

![](http://wx2.sinaimg.cn/mw690/00630Defly1g4y1ayvvndj30io01qgll.jpg)

我們需要求p(嫁|(不帥、性格不好、身高矮、不上進),這是我們不知道的，但是透過樸素貝葉斯公式可以轉化為好求的三個量，這三個變數都能透過統計的方法求得。

等等，為什麼這個成立呢？學過機率論的同學可能有感覺了，這個等式成立的條件需要特徵之間相互獨立吧！對的！這也就是為什麼樸素貝葉斯分類有樸素一詞的來源，樸素貝葉斯演算法是假設各個特徵之間相互獨立，那麼這個等式就成立了！

**但是為什麼需要假設特徵之間相互獨立呢？**

1. 我們這麼想，假如沒有這個假設，那麼我們對右邊這些機率的估計其實是不可做的，這麼說，我們這個例子有4個特徵，其中帥包括{帥，不帥}，性格包括{不好，好，爆好}，身高包括{高，矮，中}，上進包括{不上進，上進}，那麼四個特徵的聯合機率分佈總共是4維空間，總個數為2*3*3*2=36個。

36個，計算機掃描統計還可以，但是現實生活中，往往有非常多的特徵，每一個特徵的取值也是非常之多，那麼透過統計來估計後面機率的值，變得幾乎不可做，這也是為什麼需要假設特徵之間獨立的原因。

2. 假如我們沒有假設特徵之間相互獨立，那麼我們統計的時候，就需要在整個特徵空間中去找，比如統計p(不帥、性格不好、身高矮、不上進|嫁),我們就需要在嫁的條件下，去找四種特徵全滿足分別是不帥，性格不好，身高矮，不上進的人的個數，這樣的話，由於資料的稀疏性，很容易統計到0的情況。 這樣是不合適的。

根據上面倆個原因，樸素貝葉斯法對條件機率分佈做了條件獨立性的假設，由於這是一個較強的假設，樸素貝葉斯也由此得名！這一假設使得樸素貝葉斯法變得簡單，但有時會犧牲一定的分類準確率。

**樸素貝葉斯優點**：

- 演算法邏輯簡單,易於實現（演算法思路很簡單，只要使用貝葉斯公式轉化即可！）
- 分類過程中時空開銷小（假設特徵相互獨立，只會涉及到二維儲存）

**樸素貝葉斯缺點**：

理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為樸素貝葉斯模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，在屬性個數比較多或者屬性之間相關性較大時，分類效果不好。

樸素貝葉斯模型(Naive Bayesian Model)的**樸素(Naive)的含義是"很簡單很天真"**地假設樣本特徵彼此獨立. 這個假設現實中基本上不存在, 但特徵相關性很小的實際情況還是很多的, 所以這個模型仍然能夠工作得很好。

## 3. 基於貝葉斯的一些問題

1. 解釋樸素貝葉斯演算法裡面的先驗機率、似然估計和邊際似然估計？
   - **先驗機率：**就是因變數（二分法）在資料集中的比例。這是在你沒有任何進一步的資訊的時候，是對分類能做出的最接近的猜測。
   - **似然估計：**似然估計是在其他一些變數的給定的情況下，一個觀測值被分類為1的機率。例如，“FREE”這個詞在以前的垃圾郵件使用的機率就是似然估計。
   - **邊際似然估計：**邊際似然估計就是，“FREE”這個詞在任何訊息中使用的機率。

## 4. 生成式模型和判別式模型的區別

- **判別模型**(discriminative model)透過求解條件機率分佈P(y|x)或者直接計算y的值來預測y。

線性迴歸（Linear Regression）,邏輯迴歸（Logistic Regression）,支援向量機（SVM）, 傳統神經網路（Traditional Neural Networks）,線性判別分析（Linear Discriminative Analysis），條件隨機場（Conditional Random Field）

- **生成模型**（generative model）透過對觀測值和標註資料計算聯合機率分佈P(x,y)來達到判定估算y的目的。

樸素貝葉斯（Naive Bayes）, 隱馬爾科夫模型（HMM）,貝葉斯網路（Bayesian Networks）和隱含狄利克雷分佈（Latent Dirichlet Allocation）、混合高斯模型

## 5. 程式碼實現

新聞分類 GitHub：[點選進入](https://github.com/NLP-LOVE/ML-NLP/blob/master/Machine%20Learning/5.1%20Bayes%20Network/Naive%20Bayes%20Classifier.ipynb)

【[機器學習通俗易懂系列文章](https://github.com/NLP-LOVE/ML-NLP)】

![3.png](https://img-blog.csdnimg.cn/20190802102238788.png)

## 6. 參考文獻

[從貝葉斯方法談到貝葉斯網路](https://blog.csdn.net/v_july_v/article/details/40984699)

> 作者：[@mantchs](https://github.com/NLP-LOVE/ML-NLP)
>
> GitHub：[https://github.com/NLP-LOVE/ML-NLP](https://github.com/NLP-LOVE/ML-NLP)
>
> 歡迎大家加入討論！共同完善此專案！群號：【541954936】<a target="_blank" href="http://shang.qq.com/wpa/qunwpa?idkey=863f915b9178560bd32ca07cd090a7d9e6f5f90fcff5667489697b1621cecdb3" rel="nofollow"><img border="0" src="http://pub.idqqimg.com/wpa/images/group.png" alt="NLP面試學習群" title="NLP面試學習群" width="640" height="360"></a>

貝葉斯網路，看完這篇我終於理解了(附程式碼)！

相關文章