作者：Vamei 出處：http://www.cnblogs.com/vamei 歡迎轉載，也請保留這段宣告。謝謝！
我們重新回到對單隨機變數分佈的研究。描述量是從分佈中提取出的一個數值，用來表示分佈的某個特徵。之前使用了兩個描述量，即期望和方差。在期望和方差之外，還有其它的描述量嗎？
斜度
值得思考的是，期望和方差足以用來描述一個分佈嗎？如果答案是可以，那麼我們就沒有必要尋找其它描述量的。事實上，這兩個描述量並不足以完整的描述一個分佈。
我們來看兩個分佈，一個是指數分佈:
$$f(x) = \left\{ \begin{array}{rcl} e^{x} & if & x \ge 0 \\ 0 & if & x < 0 \end{array} \right.$$
它的期望為[$E(x) = 1$]，方差為[$Var(x) = 1$]。
我們用Y = 2-X來獲得一個新的隨機變數，及其分佈:
$$f(y) = \left\{ \begin{array}{rcl} e^{2-y} & if & y \le 2 \\ 0 & if & y > 2 \end{array} \right.$$
該密度曲線與原來的密度曲線關於直線X=1對稱，與原來的分佈有相同的期望值和方差。期望為[$E(x) = 1$]，方差為[$Var(x) = 1$]
我們繪製兩個分佈的密度曲線，如下圖:
可以看到，即使期望值和方差保持不變，兩個分佈曲線明顯不同。第一條曲線下的面積偏向左，而第二條曲線則向右側傾斜。為了表達分佈的這一特徵，我們引入一個新的描述量，斜度(skewness)。它的定義如下:
$$Skew(X) = E[(X - \mu)^3]$$
上面兩個分佈，第一條曲線向左偏斜，斜度分別為2。另一條曲線的斜度為-2。很明顯，斜度的不同可以帶來差別巨大的分佈(即使期望和方差都相同)。
繪製程式如下
from scipy.stats import expon import numpy as np import matplotlib.pyplot as plt rv = expon(scale = 1) x1 = np.linspace(0, 20, 100) x2 = np.linspace(-18, 2, 100) y1 = rv.pdf(x1) y2 = rv.pdf(2 - x2) plt.fill_between(x1, y1, 0.0, color = "green") plt.fill_between(x2, y2, 0.0, color = "coral", alpha = 0.5) plt.xlim([-6, 8]) plt.title("two distribution") plt.xlabel("RV") plt.ylabel("f(x)") plt.show()
矩
觀察方差和斜度的定義，
$$Var(X) = E[(X - \mu)^2]$$
$$Skew(X) = E[(X - \mu)^3]$$
都是X的函式的期望。它們的區別只在於函式的形式，即[$(X - \mu)$]的乘方次數不同。方差為2次方，斜度為3次方。
上面的描述量都可以歸為“矩”(moment)的一族描述量。類似於方差和斜度這樣的，它們都是[$(X - \mu)$]乘方的期望，稱為中心矩(central moment)。[$E[(x - \mu)^k]$]稱為k階中心矩，表示為[$\mu_k$]，其中k = 2, 3, 4, ...
還有另一種是原點矩(moment about the origin)，是[$X$]乘方的期望。 [$E[X^k]$]稱為k階原點矩，表示為[$\mu_k^\prime$]，其中k = 1, 2, 3, ...
期望是一階原點矩:
$$E(X) = E(X^1)$$
矩生成函式
除了表示中心、離散程式、斜度這些特性外，更高階的矩可以描述分佈的其它特性。矩統計中有重要的地位，比如引數估計的一種重要方法就是利用了矩。然而，根據矩的定義，我們需要對不同階的X冪求期望，這個過程包含複雜的積分過程，並不容易。矩同樣催生了矩生成函式(moment generating function)，它是求解矩的一樣有力武器。
在瞭解矩生成函式之前，先來回顧冪級數(power series)。冪級數是不同階數的乘方(比如[$1, x, x^2, x^3...$])的加權總和：
$$\sum_{i=1}^{+\infty} a_ix^i$$
[$a_i$]是一個常數。
冪級數是數學中的重要工具，它的美妙之處在於，解析函式都可以寫成冪級數的形式，比如三角函式[$\sin(x)$]可以寫成：
$$\sin(x) = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \frac{x^7}{7!} + ...$$
將解析函式分解為冪級數的過程，就是泰勒分解(Taylor）。我們不再深入其具體過程。[$x^n$]是很簡單的一種函式形式，它可以無限次求導，求導也很容易。這一特性讓冪級數變得很容易處理。將解析函式寫成冪級數，就起到化繁為簡的效果。
(冪級數這一工具在數學上的用途極其廣泛，它用於數學分析、微分方程、複變函式…… 不能不說，數學家很會活用一種研究透了的工具)
如果我們將冪級數的x看作隨機變數X，並求期望。根據期望可以線性相加的特徵，有:
$$E(f(X)) = a_0 + a_1E(X) + a_2E(X^2) + a_3E(X^3) + ... $$
我們可以通過矩，來計算f(X)的期望。
另一方面，我們可否通過解析函式來獲得矩呢？我們觀察下面一個指數函式，寫成冪級數的形式：
$$e^{tx} = 1 + tx + \frac{(tx)^2}{2!} + \frac{(tx)^3}{3!} + \frac{(tx)^4}{4!} ... $$
我們再次將x看作隨機變數X，並對兩側求期望，即
$$E(e^{tX}) = 1 + tE(X) + \frac{t^2E(X^2)}{2!} + \frac{t^3E(X^3)}{3!} + \frac{t^4E(X^4)}{4!} ...$$
即使隨機變數的分佈確定，[$E(e^{tX})$]的值還是會隨t的變化而變化，因此這是一個關於t的函式。我們將它記為[$M(t)$]，這就是矩生成函式(moment generating function)。對[$M(t)$]的級數形式求導，並讓t等於0，可以讓高階的t的乘方消失，只留下[$E(X)$]，即
$$M'(0) = E(X)$$
即一階矩。如果繼續求高階導，並讓t等於0，可以獲得高階的矩。
$$M^{\left( r \right)}(0) = E(X^r)$$
有趣的是，多次求導係數正好等於冪級數係數中的階乘，所以可以得到上面優美的形式。我們通過冪級數的形式證明了，對矩生成函式求導，可以獲得各階的矩。相對於積分，求導是一個容易進行的操作。
矩生成函式的性質
矩生成函式的一面是冪級數，我們已經說了很多。矩生成函式的另一面，是它的指數函式的解析形式。即
$$M(t) = E[e^{tX}]= \int_{- \infty}^{\infty}e^{tx}f(x)dx$$
在我們獲知了f(x)的具體形式之後，我們可以利用該積分獲得矩生成函式，然後求得各階的矩。當然，你也可以通過矩的定義來求矩。但許多情況下，上面指數形式的積分可以使用一些已有的結果，所以很容易獲得矩生成函式。矩生成函式的求解矩的方式會便利許多。
矩生成函式的這一定義基於期望，因此可以使用期望的一些性質，產生有趣的結果。
性質1 如果X的矩生成函式為[$$M_X(t)]，且[$Y = aX + b$]，那麼
$$M_Y(t) = e^{at}M_X(bt)$$
(將Y寫成指數形式的期望，很容易證明該結論)
性質2 如果X和Y是獨立隨機變數，分別有矩生成函式[$M_X, M_Y$]。那麼對於隨機變數[$Z = X + Y$]，有
$$M_Z(t) = M_X(t)M_Y(t)$$
(基於獨立隨機變數乘積的期望，等於隨機變數期望的乘積)
練習:
推導Poisson分佈的矩生成函式
總結
矩
矩生成函式