極大似然估計理解與應用

1. 什麼是極大似然估計

  在日常生活中，我們很容易無意中就使用到極大似然估計的思想，只是我們並不知道極大似然估計在數學中的如何確定以及推導的。下面我們使用兩個例子讓大家大概瞭解一下什麼是極大似然估計：

（1）獵人師傅和徒弟一同去打獵，遇到一隻兔子，師傅和徒弟同時放槍，兔子被擊中一槍，那麼是師傅打中的，還是徒弟打中的？
（2）一個袋子中總共有黑白兩種顏色100個球，其中一種顏色90個，隨機取出一個球，發現是黑球。那麼是黑色球90個？還是白色球90個？

  對於第（1）個問題，由於師傅的技術一般比徒弟高，因此我們會猜測兔子是師傅打中的。對於第（2）個問題，對於顏色有90個的球，我們抽中它的概率更大，因此當抽中為黑色球時，我們便會認為90個的是黑色球。
  對於以上兩個例子可以看出，我們在進行猜測時，往往認為：概率最大的事件，最可能發生，因此在一次試驗中就出現的事件應當具有較大的概率。

---

2. 極大似然原理及數學表示

  極大似然原理是指：若一次試驗有 nn 個可能結果 A1,A2,...,AnA1,A2,...,An ，現在我們做一次試驗，試驗的結果為 AiAi，那麼我們就可以認為事件 AiAi 在這個 nn 個可能結果中出現的概率最大。
  極大似然估計是指：在一次抽樣中，樣本出現的概率是關於引數 θθ 的函式，若在一些試驗中，得到觀測值 x1,x2,...,xnx1,x2,...,xn ，則我們可以選取 θ̂ (x1,x2,..,xn)θ^(x1,x2,..,xn) 作為 θθ 的估計值，使得當 θ=θ̂ (x1,x2,..,xn)θ=θ^(x1,x2,..,xn) 時，樣本出現的概率最大。而極大似然估計就是要求解出引數 θθ 的估計值。可採用極大似然估計法。

---

3. 極大似然估計法(Maximum Likelihood Estimation,MLE)

  （1）若總體 XX 為離散型
    假設分佈律為 P{X=x}=p(x;θ)P{X=x}=p(x;θ) ，θθ 為待估計引數，p(x;θ)p(x;θ) 表示估計引數為 θθ 時，發生 xx 的概率。
    那麼當樣本值為： x1,x2,...,xnx1,x2,...,xn 時，

L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)

    其中 L(θ)L(θ) 稱為樣本的似然函式。
    若滿足：

L(x1,x2,...,xn;θ̂ )=maxθL(x1,x2,...,xn;θ)L(x1,x2,...,xn;θ^)=maxθL(x1,x2,...,xn;θ)

    也就是說，當引數 θ=θ̂ θ=θ^ 時，似然函式可以取最大值，那麼 θ̂ θ^ 就叫做引數 θθ 的極大似然估計值。
  （2）若總體 XX 為連續型
    假設概率密度為 f(x;θ)f(x;θ) ，θθ 為待估計引數。
    那麼當樣本值為： x1,x2,...,xnx1,x2,...,xn 時，

L(θ)=L(x1,x2,...,xn;θ)=∏i=1nf(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1nf(xi;θ)

    其中 L(θ)L(θ) 稱為樣本的似然函式。
    若滿足：

L(x1,x2,...,xn;θ̂ )=maxθL(x1,x2,...,xn;θ)L(x1,x2,...,xn;θ^)=maxθL(x1,x2,...,xn;θ)

    也就是說，當引數 θ=θ̂ θ=θ^ 時，似然函式可以取最大值，那麼 θ̂ θ^ 就叫做引數 θθ 的極大似然估計值。

 

---

4. 極大似然估計法求估計值的步驟：

  （1）構造似然函式 L(θ)L(θ) ：
     L(θ)=∏ni=1p(xi;θ)(離散型);L(θ)=∏ni=1f(xi;θ)(連續型)L(θ)=∏i=1np(xi;θ)(離散型);L(θ)=∏i=1nf(xi;θ)(連續型)
  （2）取對數： logL(θ)log⁡L(θ) (以 ee 為底)；
  （3）令 δlogL(θ)δθ=0δlog⁡L(θ)δθ=0 ；
  （4）解似然方程得到 θθ 的極大似然估計值 θ̂ θ^ 。

---

5. 極大似然估計法應用

  （1）假設一個袋子裝有白球與紅球，比例未知，現在抽取10次（每次抽完都放回，保證事件獨立性），假設抽到了7次白球和3次紅球，在此資料樣本條件下，可以採用最大似然估計法求解袋子中白球的比例。
    求解過程：
    我們定義 MM 為模型，抽到白球的概率為 θθ ，而抽到紅球的概率為 1−θ1−θ ，因此10次抽取抽到白球7次紅球3次的概率(似然函式)為：

L(θ)=P(x1,x2,...,x10|M)=P(x1|M)×P(x2|M)×...×P(x10|M)=θ7(1−θ)3L(θ)=P(x1,x2,...,x10|M)=P(x1|M)×P(x2|M)×...×P(x10|M)=θ7(1−θ)3

    其對數似然函式為:

logL(θ)=log[θ7(1−θ)3]log⁡L(θ)=log⁡[θ7(1−θ)3]

    求

δlogLog(θ)δθ=0δlog⁡Log(θ)δθ=0

    即

7θ6(1−θ)3−3θ7(1−θ)2=0⟹θ=0.77θ6(1−θ)3−3θ7(1−θ)2=0⟹θ=0.7

    故白球的比例為 0.70.7 。
  （2）設總體 X N(μ,σ2)X N(μ,σ2) ，μ,σ2μ,σ2 為未知引數，x1,x2,...,xnx1,x2,...,xn 是來自 XX 的一個樣本值，求 μ,σ2μ,σ2 的極大似然估計值。
    求解過程：
     X的概率密度為：

f(x;μ,σ2)=12π‾‾‾√σe−(x−μ)22σ2f(x;μ,σ2)=12πσe−(x−μ)22σ2

     似然函式為：

L(μ,σ2)=∏i=1n12π‾‾‾√σe−(xi−μ)22σ2L(μ,σ2)=∏i=1n12πσe−(xi−μ)22σ2

     取對數為：

logL(μ,σ2)=−n2log(2π)−n2logσ2−12σ2∑i=1n(xi−μ)2log⁡L(μ,σ2)=−n2log⁡(2π)−n2log⁡σ2−12σ2∑i=1n(xi−μ)2

     令

{δδμlogL(μ,σ2)=0δδσ2logL(μ,σ2)=0{δδμlog⁡L(μ,σ2)=0δδσ2log⁡L(μ,σ2)=0

     即

{1σ2[∑ni=1xi−nμ]=0−n2σ2+12(σ2)2∑ni=1(xi−μ)2=0{1σ2[∑i=1nxi−nμ]=0−n2σ2+12(σ2)2∑i=1n(xi−μ)2=0

    求得引數估計值為：

{μ̂ =1n∑ni=1xi=x⎯⎯⎯σ̂ 2=1n∑ni=1(xi−x⎯⎯⎯)2