極大似然估計思想的最簡單解釋

極大似然估計思想的最簡單解釋

 

https://blog.csdn.net/class_brick/article/details/79724660?from=timeline

 

極大似然估計法的理解可以從三個角度入手，一個是整體性的思想，然後兩個分別是離散狀態的極大似然估計和連續狀態的極大似然估計的簡單例子。

一、思想

極大似然估計可以拆成三個詞，分別是“極大”、“似然”、“估計”，分別的意思如下：
極大：最大的機率
似然：看起來是這個樣子的
估計：就是這個樣子的
連起來就是，最大的機率看起來是這個樣子的那就是這個樣子的。


舉個例子：
有兩個媽媽帶著一個小孩到了你的面前，媽媽A和小孩長得很像，媽媽B和小孩一點都不像，問你誰是孩子的媽媽，你說是媽媽A。好的，那這種時候你所採取的方式就是極大似然估計：媽媽A和小孩長得像，所以媽媽A是小孩的媽媽的機率大，這樣媽媽A看來就是小孩的媽媽，媽媽A就是小孩的媽媽。


總結：極大似然估計就是在只有機率的情況下，忽略低機率事件直接將高機率事件認為是真實事件的思想。

二、離散狀態

知道了思想，接下來還是需要一定的計算，此處本人為了使更多的人能理解極大似然估計的思想和計算方法，此處的計算完全採取高中數學知識以內的內容進行推導。


例1、離散的小球問題：
箱子裡有一定數量的小球，每次隨機拿取一個小球，檢視顏色以後放回，已知拿到白球的機率p為0.7或者0.3，拿了三次，都不是白球，想要求拿到白球的機率的極大似然估計。


分析：此處從數學上來講，想要準確的求出拿到白球的機率是不可能的，所以此處求的是機率的極大似然估計。而這裡的有放回的拿取，是高中數學中經典的獨立重複事件，可以很簡單的分別求出白球機率為0.7和0.3的時候拿三次都不是白球的機率。


解：
若拿到白球的機率為0.7，拿三次都不是白球的機率為：
P_0.7=0.3*0.3*0.3=0.027
若拿到白球的機率為0.3，拿三次都不是白球的機率為：
P_0.3=0.7*0.7*0.7=0.343


P_0.3>P_0.7，可知當前情況下白球機率為0.3的機率大於白球機率為0.7
綜上所述：
拿到白球的機率的極大似然估計為0.3

三、連續狀態

連續狀態依然用剛剛拿小球的例子，不過此處白球的機率不再明確為0.7-0.3，此處只知道白球的機率p的範圍為0.3<=p<=1。


例2、連續的小球問題：
箱子裡有一定數量的小球，每次隨機拿取一個小球，檢視顏色以後放回，已知拿到白球的機率p的範圍是[0.3,0.7]，拿了三次，都不是白球，想要求拿到白球的機率的極大似然估計。


分析：與例1相同，想要知道小球的極大似然估計，就是要先求在已知條件下，發生已知事件的機率，然後據此求出小球的極大似然估計。


解：
記拿到白球的機率為p，取白球的事件為Y，取到時Y=1，未取到時Y=0，小球顏色不是白色的事件Y重複3次的機率為：
P(Y=0;p)=(1-p)^3
欲求p的極大似然估計，即要求P(Y=0;p)的極大值：

令Q(p)=(1-p)^3
Q'(p)=-3*(1-p)^2
令Q'(p)=0
求得Q的極值點為p=1，且當p<1時,Q'(p)<0，p>1時，Q'(p)<0，可知Q(p)為單調減函式
可知0.3<=p<=1的條件下，p=0.3時，Q(p)取得最大值。


綜上所述：小球機率的極大似然估計為0.3

四、總結

透過極大似然估計的思想、離散形式、連續形式的分析，可以得出極大似然估計的通常解法，總體來說分為以下幾步：
1、得到所要求的極大似然估計的機率p的範圍
2、以p為自變數，推匯出當前已知事件的機率函式式Q(p)
3、求出能使得Q(p)最大的p
這樣便求出了極大似然估計值p