Chapter 2：抽樣分佈與次序統計量
抽樣分佈及預備知識
Part 1：樣本均值和樣本方差的基本性質
統計量的分佈通常稱為抽樣分佈，或稱為誘導分佈。當總體 \(X\) 的分佈型別已知時，樣本 \((X_1,X_2,\cdots,X_n)\) 的分佈型別也是已知的，因此理論上我們也可以推匯出統計量 \(T=T(X_1,X_2,\cdots,X_n)\) 的分佈的表示式，這種分佈稱為精確抽樣分佈。
我們可以用抽樣分佈來研究統計量的性質以及衡量一個統計推斷方法的優良性。英國統計學家 R.A. Fisher 把抽樣分佈、引數估計和假設檢驗看作統計推斷的三個中心內容。
樣本均值和樣本方差是統計推斷中最常用的兩個統計量，因此研究樣本均值和樣本方差的分佈也是數理統計中必不可少的環節。上一章中，我們介紹了樣本均值和樣本方差的基本概念，在這裡我們來簡單瞭解一下它們的基本性質。
假設有總體 \(X\sim F(x)\) ，已知 \(\boldsymbol{X}=(X_1,X_2,\cdots,X_n)\) 為來自該總體的簡單隨機樣本，\(\bar{X}\) 和 \(S^2\) 為其樣本均值與樣本方差，記 \(S_n^2\) 為二階樣本中心矩。若總體的方差存在，並記 \({\rm E}(X)=\mu\) ，\({\rm Var}(X)=\sigma^2\) ，則有
\[{\rm E}(\bar{X})=\mu \ , \ \ \ \ {\rm Var}(\bar{X})=\frac{\sigma^2}{n} \ , \ \ \ \ {\rm E}\left(S^2\right)=\sigma^2 \ , \ \ \ \ {\rm E}\left(S_n^2\right)=\frac{n-1}{n}\sigma^2 \ . \]關於樣本均值的期望，我們利用期望的性質很容易計算：
關於樣本均值的方差，我們需要用到方差的性質和簡單隨機樣本的獨立性：
關於樣本方差的期望。我們首先需要計算兩個量：
接著，我們將樣本方差的計算公式進行變形：
對上式兩邊求期望得：
關於樣本中心矩的期望，可以由樣本方差的期望得到：
以上四個關於樣本均值和樣本方差的基本性質，在各種統計推斷中都具有很重要的作用。事實上，能求出統計量的精確分佈的情形不多，已知的精確抽樣分佈大多是在正態條件下得到的。我們知道，正態分佈的資訊完全由它的期望和方差所決定，因此如果我們假定總體是服從正態分佈的，就只需要對它的期望和方差作估計。
Part 2：隨機變數線性變換的期望和方差
假設在兩個隨機變數 \(\boldsymbol X=(X_1,X_2,\cdots,X_n)^{\rm T}\) 和 \(\boldsymbol Y=(Y_1,Y_2,\cdots,Y_n)^{\rm T}\) 之間有一個線性變換 \(\boldsymbol Y =\boldsymbol A \boldsymbol X\) ，其中 \(\boldsymbol A=(a_{ij})\) 為 \(n\times n\) 的矩陣，即
\[\left[ \begin{array}{c} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{array} \right]= \left[ \begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \\ \end{array} \right]= \left[ \begin{array}{c} X_1 \\ X_2 \\ \vdots \\ X_n \end{array} \right] \ , \]則有隨機變數線性變換的期望和方差：
\[{\rm E}(\boldsymbol Y)={\rm E}(\boldsymbol A\boldsymbol X)=\boldsymbol A{\rm E}(\boldsymbol X) \ , \quad {\rm Var}(\boldsymbol Y)={\rm Var}(\boldsymbol A\boldsymbol X)=\boldsymbol A{\rm Var}(\boldsymbol X)\boldsymbol A^{\rm T} \ . \]
將線性變換 \(\boldsymbol Y =\boldsymbol A \boldsymbol X\) 寫為求和的形式，由期望的性質顯然可得：
計算線性變換的方差，則有
這兩個計算公式應該在概率論的學習中便已經掌握，在我們接下來要討論的正態總體的抽樣分佈中，將會多次使用以上公式。下面，我們就對正態總體的樣本均值和樣本方差的分佈展開討論。
正態總體的抽樣分佈
Part 1：正態分佈的概率論準備
在給出正態總體的樣本均值和樣本方差的分佈之前，我們先回憶一下幾個概率論中的定義和結論。
-
如果 \(n\) 維隨機變數 \(\boldsymbol X=(X_1,X_2,\cdots,X_n)^{\rm T}\) 服從 \(n\) 維正態分佈，則它的線性變換 \(\boldsymbol Y =\boldsymbol A \boldsymbol X\) 也服從正態分佈。
-
正態分佈具有可加性，即對任意一組相互獨立的正態隨機變數，它們的和仍然服從正態分佈，其期望和方差可以由各個分量直接加和得到。
-
如果 \((X_1,X_2,\cdots,X_n)^{\rm T}\) 服從 \(n\) 維正態分佈，則 \(X_1,X_2,\cdots,X_n\) 相互獨立的充要條件為它們之間兩兩不相關。
-
自由度為 \(n\) 的 \(\chi^2\) 分佈：設 \(X_1,X_2,\cdots,X_n\stackrel{\mathrm {i.i.d.}}\sim N(0,1)\) ，則將隨機變數 \(K=\sum\limits_{i=1}^nX_i^2\) 的分佈定義為自由度為 \(n\) 的 \(\chi^2\) 分佈，記為 \(K\sim\chi^2(n)\) 。
在上述結論的基礎上，我們給出下面的定理並進行嚴格的推導證明。
Part 2：正態總體的樣本均值和樣本方差的分佈
設 \(X_1,X_2,\cdots,X_n\) 是取自正態總體 \(N(\mu,\sigma^2)\) 的一組簡單隨機樣本。\(\bar{X}\) 和 \(S^2\) 分別為樣本均值和樣本方差，則有
樣本均值的分佈：\(\bar{X}\sim N\left(\mu,\dfrac{\sigma^2}{n}\right)\) ；
樣本方差的分佈：\(\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)\) ；
獨立性：\(\bar{X}\) 和 \(S^2\) 獨立。
對於 1，我們可以定義統計量
利用正態分佈的可加性，所以有
再利用正態分佈的數乘性質，所以有
對於 2 ，使用施密特正交化構造一個如下的正交陣
令 \(\boldsymbol X=(X_1,X_2,\cdots,X_n)^{\rm T}\) ，構造線性變換：
則有
由正交變換保持向量長度不變的性質，得到
所以有
接下來證明 \(Y_2,Y_3,\cdots,Y_n\) 是服從 \(N(0,\sigma^2)\) 的獨立同分布的隨機變數。由於正態變數的線性組合的性質，知道 \(Y_2,Y_3,\cdots,Y_n\) 都是服從正態分佈的。因此只需考慮他們的均值和方差。
不妨設 \(Y_i\sim N\left(\mu_i,\sigma_i^2\right)\) ，對 \(i=2,3,\cdots,n\) ，有
由於正態分佈的獨立和不相關等價，所以證明 \(\forall i\neq j\) ，\(Y_i\) 和 \(Y_j\) 相互獨立，只需證他們的協方差為 \(0\) ，
用矩陣的形式可以寫為
這就說明 \(Y_1,Y_2,\cdots,Y_n\) 相互獨立，且 \(Y_2,Y_3,\cdots,Y_n\) 獨立同分佈於 \(N(0,\sigma^2)\) 。所以有
這樣變換的意義在於，右邊變成了 \(n-1\) 個獨立同分布的標準正態分佈的隨機變數的平方和。
對於 3 ，只需要將 \(\bar{X}\) 和 \(S^2\) 寫成 \(Y_1,Y_2,\cdots,Y_n\) 的表示式：
利用 \(Y_1,Y_2,\cdots,Y_n\) 相互獨立的性質，即可知道 \(\bar{X}\) 和 \(S^2\) 相互獨立。
次序統計量及其分佈
Part 1：次序統計量的概念
設 \(X_1,X_2,\cdots,X_n\) 為從總體 \(F\) 中抽取的樣本，將其按大小排列為
則稱 \(\left(X_{(1)},X_{(2)},\cdots,X_{(n)}\right)\) 為樣本 \((X_1,X_2,\cdots,X_n)\) 的次序統計量。 特別地，\(X_{(1)}\) 稱為最小次序統計量，\(X_{(n)}\) 稱為最大次序統計量。
簡單隨機樣本 \(X_1,X_2,\cdots,X_n\) 是獨立同分布的，但次序統計量 \(X_{(1)},X_{(2)},\cdots,X_{(n)}\) 不一定是獨立同分布的。
Part 2：次序統計量的分佈
設總體為連續分佈，分佈函式為 \(F(x)\) ，概率密度函式為 \(f(x)\) 。設 \(X_1,X_2,\cdots,X_n\) 為簡單隨機樣本。下面我們將分別求單個次序統計量的分佈和次序統計量的聯合分佈。
單個次序統計量的分佈
單個次序統計量 \(X_{(k)}\) 的密度函式為
\[f_k(x)=\frac{n!}{(k-1)!(n-k)!}[F(x)]^{k-1}[1-F(x)]^{n-k}f(x) \ . \]最大次序統計量 \(X_{(n)}\) 的分佈函式和密度函式為
\[F_n(x)=P\left(X_{(n)}<x\right)=[F(x)]^n \ , \quad f_n(x)=n[F(x)]^{n-1}f(x) \ . \]最小次序統計量 \(X_{(1)}\) 的分佈函式和密度函式為
\[F_1(x)=P\left(X_{(1)}<x\right)=1-[1-F(x)]^n \ , \quad f_1(x)=n[1-F(x)]^{n-1}f(x) \ . \]
關於次序統計量的密度函式，我們可以用一種微元的處理方式，即
單獨分析極限以內的部分，我們可以把 \(F_k(x+\Delta x)−F_k(x)\) 理解為 \(X_{(k)}\) 落在 \(x\) 和 \(x+\Delta x\) 之間的概率。這個事件相當於在 \(n\) 個樣本中，有 \(k-1\) 個落在 \(x\) 之前，\(n−k\) 個落在 \(x+\Delta x\) 之後，剩下一個剛好落在這個區間內部。因此，我們需要考慮將容量為 \(n\) 的樣本中的個體分成這樣的三組，共有多少種分法：
結合樣本的獨立性，所以
對上式兩邊同除 \(\Delta x\) 並取極限 \(\Delta x\to0\) ，則有
這就得到了單個次序統計量 \(X_{(k)}\) 的密度函式。特別地，把 \(k=n\) 和 \(k=1\) 代入即可得到最大和最小次序統計量的密度函式。當然，我們也可以利用邏輯關係先求出最大和最小次序統計量的分佈函式，再通過求導得出密度函式。
兩個次序統計量的聯合分佈
兩個次序統計量 \(\left(X_{(i)},X_{(j)}\right),\,i<j\) 的聯合密度函式為
\[f_{ij}(x,y)=\frac{n!}{(i-1)!(j-i-1)!(n-j)!}f(x)f(y)\left[F(x)\right]^{i-1}\left[F(y)-F(x)\right]^{j-i-1}\left[1-F(y)\right]^{n-j} \ . \]其中聯合密度的支撐為 \(x\leq y\) ，\(i<j\) 。
特別地， \(\left(X_{(1)},X_{(n)}\right)\) 的聯合密度函式為
\[f_{1n}(x_1,x_n)=n(n-1)f(x_1)f(x_n)\left[F(x_n)-F(x_1)\right]^{n-2} \ , \quad x_1\leq x_n \ . \]
我們同樣利用概率微元的方式來處理，
通過相似的計算，即可得出兩個次序統計量的聯合密度函式。
\(n\) 個次序統計量的聯合分佈
\(n\) 個次序統計量 \(\left(X_{(1)},X_{(2)},\cdots,X_{(n)}\right)\) 的聯合密度函式為
\[f(x_1,x_2,\cdots,x_n)=n!f(x_1)f(x_2)\cdots f(x_n) \ ,\quad x_1\leq x_2\leq\cdots \leq x_n \ . \]
這個我們就給出結論，不予證明了。
Part 3：樣本極差、樣本中位數與分位數
由次序統計量出發，可以構造出很多有用的統計量。
樣本極差的概念：\(R_n=X_{(n)}-X_{(1)}\) 稱為樣本極差，它是反映總體分佈分散程度的資訊。
樣本極差的密度函式為：
樣本中位數的概念：
樣本中位數反映總體中位數的資訊，當總體分佈關於某點對稱時，對稱中心既是總體中位數又是總體均值。
樣本 \(p\) 分位數的概念：對於給定的 \(0<p<1\) ，定義
稱為樣本下側 \(p\) 分位數。關於樣本 \(p\) 分位數的定義有很多種，但它們均是一個次序統計量，且隨著樣本容量的增大，它們之間的差別並不大。