01EM演算法-大綱-最大似然估計(MLE)、貝葉斯演算法估計、最大後驗概率估計(MAP)

EM演算法的講解的內容包括以下幾個方面：

1、最大似然估計
2、K-means演算法
3、EM演算法
4、GMM演算法

---

__EM演算法本質__是統計學中的一種求解引數的方法，基於這種方法，我們可以求解出很多模型中的引數。

1、最大似然估計
在__求解線性模型__的過程中，我們用到了__最大似然估計(MLE)__的思想。

EM演算法達到的目的和最大似然估計是一樣的，只不過EM演算法可以幫助我們去計算一些__隱藏變數__的引數。即當極大似然估計無法解決某些問題的時候，我們需要使用EM演算法這種__迭代演算法__的思路，不斷得__逼近__最後的引數解。

EM演算法不是具體某一種模型，而是一種求解問題的思路。在統計學中這種演算法思想用的特別多。

---

2、K-means演算法
K-means演算法__的求解過程本質上就是EM演算法的思想，面試中曾經有人問：__K-means演算法究竟是如何運用EM演算法來實現的？ 這樣兩個演算法就通過一個問題來掛上鉤了。

---

3、EM演算法
然後講到如何將EM演算法用一種比較通式化的方法來實現求解過程，即但凡我們遇到一個可以用EM演算法來解決的問題，我們如何去求解這個問題對應的引數。

就好比極大似然估計中，我們使用聯合概率作為似然函式的值，然後求解極大值。當然首先不同的問題會有不同的聯合概率，先要把這個聯合概率構造出來。

---

4、GMM演算法
最後使用EM演算法解決一個問題：有一個模型叫做高斯混合模型(GMM)，可以通過EM演算法來幫助我們來求解它最後的引數值。

---

一、最大似然估計(MLE)回顧

__最大似然估計(Maximum Likelihood Estimati) 就是利用已知的樣本結果，反推最有可能(最大概率)導致這樣結果的引數值的計算過程。__直白來講，就是給定了一定的資料，假定知道資料是從某種分佈中隨機抽取出來的，但是不知道這個分佈具體的引數值，即“模型已定，引數未知”，MLE就可以用來估計模型的引數。

MLE的目標是找出一組引數(模型中的引數)，使得模型產出觀察資料的概率最大。

---

例子：假定盒子中有黑白兩種球，數目未知，黑白球比例也未知，現只知道隨機的十次有放回的抽樣情況，求各個盒子中抽取出白球的概率？

MLE求解過程：
1、編寫似然函式(即聯合概率函式) <似然函式：在樣本固定的情況下，樣本出現的概率與引數θ之間的函式>；
2、對似然函式取對數，並整理；(一般都進行)
3、求導數。
4、解似然方程。

分析： 盒子中只有黑球和白球，假定白球的比例為p，那麼黑球的比例為1-p。因為採取的是有放回的隨機抽取，那麼每次抽取出來的球的顏色服從同一獨立分佈情況，即每次抽取之間是獨立互不影響的。

求解盒子1中抽取出白球的概率：

求解盒子2中抽取出白球的概率：

求解盒子3中抽取出白球的概率：

求解盒子4中抽取出白球的概率：

求解盒子5中抽取出白球的概率：

---

二、貝葉斯演算法估計

貝葉斯演算法估計是一種從先驗概率和樣本分佈情況來計算後驗概率的一種方式。

貝葉斯演算法中的常見概念：
1、P(A)是事件A的先驗概率或者邊緣概率。
2、P(A|B)是已知B發生後A發生的條件概率，也稱為A的後驗概率。
3、P(B|A)是已知A發生後B發生的條件概率，也稱為B的後驗概率。
4、P(B)是事件B的先驗概率或者邊緣概率。

---

例子：現在有五個盒子，假定每個盒子中都有黑白兩種球，並且黑白球的比例如下；現已知從這五個盒子中的任意一個盒子中有放回的抽取兩個球，且均為白球，問這兩個球是從哪個盒子中抽取出來的？

1、使用MLE(最大似然估計)，結論是從第五個盒子抽取的球:

---

2、使用貝葉斯演算法估計，結論是從第五個盒子抽取的球：假定抽出白球為事件B，從第i個盒子中抽取為事件Ai。

---

思路遞進：

__現在不是從五個盒子中任選一個盒子__進行抽取，而是按照一定的概率選擇對應的盒子，概率如下。假定抽出白球為事件B，從第i個盒子中抽取為事件Ai。結論是從第四個盒子抽取的球。

---

三、最大後驗概率估計(MAP)

根據上面的例子我們得出了以下的結論：

(最大後驗概率估計Maximum a posteriori estimation)MAP 和 MLE 樣，都是通過樣本估計引數θ的值；

1、在__MLE__中，是使似然函式$color{red}{ P(x|θ)}$最大的時候引數θ的值，MLE中__假設先驗概率是一個等值__的；

2、而在__MAP__中，則是求θ使$color{red}{ P(x|θ)P(θ)}$的值最大，這也就是要求θ值不僅僅是讓似然函式最大，同時要求θ本身出現的先驗概率也得比較大。

可以認為MAP是貝葉斯演算法的一種應用:

02 EM演算法 – K-means演算法回顧、EM概述