機率論12 矩與矩生成函式

ii_chengzi發表於2020-01-17
函式

我們重新回到對單隨機變數分佈的研究。描述量是從分佈中提取出的一個數值，用來表示分佈的某個特徵。 之前使用了兩個描述量，即期望和方差。 在期望和方差之外，還有其它的描述量嗎？

 

斜度

值得思考的是，期望和方差足以用來描述一個分佈嗎？如果答案是可以，那麼我們就沒有必要尋找其它描述量的。事實上，這兩個描述量並不足以完整的描述一個分佈。

 

我們來看兩個分佈，一個是指數分佈:

f ( x ) = { e x 0 i f i f x ≥ 0 x < 0 f(x)={exifx≥00ifx<0

它的期望為 E ( x ) = 1 E(x)=1，方差為 V a r ( x ) = 1 Var(x)=1。

我們用Y = 2-X來獲得一個新的隨機變數，及其分佈:

f ( y ) = { e 2 − y 0 i f i f y ≤ 2 y > 2 f(y)={e2−yify≤20ify>2


該密度曲線與原來的密度曲線關於直線X=1對稱，與原來的分佈有相同的期望值和方差。期望為 E ( x ) = 1 E(x)=1，方差為 V a r ( x ) = 1 Var(x)=1

我們繪製兩個分佈的密度曲線，如下圖:


可以看到，即使期望值和方差保持不變，兩個分佈曲線明顯不同。第一條曲線下的面積偏向左，而第二條曲線則向右側傾斜。為了表達分佈的這一特徵，我們引入一個新的描述量， 斜度(skewness)。它的定義如下:

S k e w ( X ) = E [ ( X − μ ) 3 ] Skew(X)=E[(X−μ)3]


上面兩個分佈，第一條曲線向左偏斜，斜度分別為2。另一條曲線的斜度為-2。很明顯，斜度的不同可以帶來差別巨大的分佈(即使期望和方差都相同)。

 

繪製程式如下

複製程式碼
from scipy.stats import exponimport numpy as npimport matplotlib.pyplot as plt
rv = expon(scale = 1)
x1  = np.linspace(0, 20, 100)
x2  = np.linspace(-18, 2, 100)
y1 =  rv.pdf(x1)
y2 =  rv.pdf(2 - x2)
plt.fill_between(x1, y1, 0.0, color = "green")
plt.fill_between(x2, y2, 0.0, color = "coral", alpha = 0.5)
plt.xlim([-6, 8])
plt.title("two distribution")
plt.xlabel("RV")
plt.ylabel("f(x)")
plt.show()
複製程式碼

 

矩

觀察方差和斜度的定義，

V a r ( X ) = E [ ( X − μ ) 2 ] Var(X)=E[(X−μ)2]


S k e w ( X ) = E [ ( X − μ ) 3 ] Skew(X)=E[(X−μ)3]


都是X的函式的期望。它們的區別只在於函式的形式，即 ( X − μ ) (X−μ)的乘方次數不同。方差為2次方，斜度為3次方。

上面的描述量都可以歸為“矩”(moment)的一族描述量。類似於方差和斜度這樣的，它們都是 ( X − μ ) (X−μ)乘方的期望，稱為 中心矩(central moment)。 E [ ( x − μ ) k ] E[(x−μ)k]稱為k階中心矩，表示為 μ k μk，其中k = 2, 3, 4, ...

 

還有另一種是 原點矩(moment about the origin)，是 X X乘方的期望 。  E [ X k ] E[Xk]稱為k階 原點矩，表示為 μ ′ k μk′，其中k = 1, 2, 3, ...

期望是一階原點矩:

E ( X ) = E ( X 1 ) E(X)=E(X1)



矩生成函式

除了表示中心、離散程式、斜度這些特性外，更高階的矩可以描述分佈的其它特性。矩統計中有重要的地位，比如引數估計的一種重要方法就是利用了矩。然而，根據矩的定義，我們需要對不同階的X冪求期望，這個過程包含複雜的積分過程，並不容易。矩同樣催生了 矩生成函式(moment generating function)，它是求解矩的一樣有力武器。

 

在瞭解矩生成函式之前，先來回顧 冪級數(power series)。冪級數是不同階數的乘方(比如 1 , x , x 2 , x 3 . . . 1,x,x2,x3...)的加權總和：

∑ i = 1 + ∞ a i x i ∑i=1+∞aixi

a i ai是一個常數。

 

冪級數是數學中的重要工具，它的美妙之處在於，解析函式都可以寫成冪級數的形式，比如三角函式 sin ( x ) sin⁡(x)可以寫成：

sin ( x ) = x − x 3 3 ! + x 5 5 ! − x 7 7 ! + . . . sin⁡(x)=x−x33!+x55!−x77!+...

將解析函式分解為冪級數的過程，就是泰勒分解(Taylor）。我們不再深入其具體過程。 x n xn是很簡單的一種函式形式，它可以無限次求導，求導也很容易。這一特性讓冪級數變得很容易處理。將解析函式寫成冪級數，就起到化繁為簡的效果。

(冪級數這一工具在數學上的用途極其廣泛，它用於數學分析、微分方程、複變函式…… 不能不說，數學家很會活用一種研究透了的工具)

 

如果我們將冪級數的x看作隨機變數X，並求期望。根據期望可以線性相加的特徵，有:

E ( f ( X ) ) = a 0 + a 1 E ( X ) + a 2 E ( X 2 ) + a 3 E ( X 3 ) + . . . E(f(X))=a0+a1E(X)+a2E(X2)+a3E(X3)+...

我們可以透過矩，來計算f(X)的期望。

 

另一方面，我們可否透過解析函式來獲得矩呢？我們觀察下面一個指數函式， 寫成冪級數的形式：

e t x = 1 + t x + ( t x ) 2 2 ! + ( t x ) 3 3 ! + ( t x ) 4 4 ! . . . etx=1+tx+(tx)22!+(tx)33!+(tx)44!...

我們再次將x看作隨機變數X，並對兩側求期望，即

E ( e t X ) = 1 + t E ( X ) + t 2 E ( X 2 ) 2 ! + t 3 E ( X 3 ) 3 ! + t 4 E ( X 4 ) 4 ! . . . E(etX)=1+tE(X)+t2E(X2)2!+t3E(X3)3!+t4E(X4)4!...

即使隨機變數的分佈確定， E ( e t X ) E(etX)的值還是會隨t的變化而變化，因此這是一個關於t的函式。我們將它記為 M ( t ) M(t)，這就是 矩生成函式(moment generating function)。對 M ( t ) M(t)的級數形式求導，並讓t等於0，可以讓高階的t的乘方消失，只留下 E ( X ) E(X)，即

M ′ ( 0 ) = E ( X ) M′(0)=E(X)

即一階矩。如果繼續求高階導，並讓t等於0，可以獲得高階的矩。

M ( r ) ( 0 ) = E ( X r ) M(r)(0)=E(Xr)

有趣的是，多次求導係數正好等於冪級數係數中的階乘，所以可以得到上面優美的形式。我們透過冪級數的形式證明了，對矩生成函式求導，可以獲得各階的矩。相對於積分，求導是一個容易進行的操作。

 

矩生成函式的性質

矩生成函式的一面是冪級數，我們已經說了很多。矩生成函式的另一面，是它的指數函式的解析形式。即

M ( t ) = E [ e t X ] = ∫ ∞ − ∞ e t x f ( x ) d x M(t)=E[etX]=∫−∞∞etxf(x)dx

在我們獲知了f(x)的具體形式之後，我們可以利用該積分獲得矩生成函式，然後求得各階的矩。當然，你也可以透過矩的定義來求矩。但許多情況下，上面指數形式的積分可以使用一些已有的結果，所以很容易獲得矩生成函式。矩生成函式的求解矩的方式會便利許多。

 

矩生成函式的這一定義基於期望，因此可以使用期望的一些性質，產生有趣的結果。

 

性質1 如果X的矩生成函式為 $ M X ( t ) ] ， 且 [ $ Y = a X + b $MX(t)]，且[$Y=aX+b，那麼

M Y ( t ) = e a t M X ( b t ) MY(t)=eatMX(bt)

(將Y寫成指數形式的期望，很容易證明該結論)

 

性質2 如果X和Y是獨立隨機變數，分別有矩生成函式 M X , M Y MX,MY。那麼對於隨機變數 Z = X + Y Z=X+Y，有

M Z ( t ) = M X ( t ) M Y ( t ) MZ(t)=MX(t)MY(t)

 

(基於獨立隨機變數乘積的期望，等於隨機變數期望的乘積)

 

練習:

推導Poisson分佈的矩生成函式

 

總結

矩

矩生成函式

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31543790/viewspace-2673733/，如需轉載，請註明出處，否則將追究法律責任。

相關文章