數理統計基本概念

總體、樣本和統計模型

例 1 有一批產品，總數為 $N$。在 $N$ 件產品中，有 $N_{\theta }$ 件次品，$\theta$ 為這批產品的次品率。$\theta$ 是我們感興趣的引數，通常是未知的，需要利用統計方法對引數 $\theta$ 做出推斷。

• 總體（Population）：研究物件的全體，如例 1 中的這批產品就構成總體。通常用 $X,Y$ 等表示。
• 個體：總體中的每個物件，如例 1 中的每個產品。
• 樣本（Sample）：$X_1,X_2,\cdots ,X_n$，樣本的實現稱為樣本的一組觀察值（Observation or data），記為 $x_1,x_2,\cdots ,x_n$。
  • 為了方便若不加特別宣告，用 $x_1,x_2,\cdots ,x_n$ 既表示樣本，又表示巖本觀察值。
• 樣本空間（Sample Space）：樣本所有可能的取值構成的空間。
• 在統計中，對總體的推斷，實際上是推斷總體的分佈，即確定總體的分佈。為此，我們可以根據對總體瞭解程度，假設總體的分佈屬於某個分佈族 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，至於其中哪一個分佈最適合還得通過統計推斷來確定，因此往往將 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ} 稱為總體分佈族。其中，$\Theta$ 稱為引數空間（Parameter Space）。

如例 1 中，總體分佈族為 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，其中
$$P_{\theta }(X=k)=\frac{\left(\begin{array}{c}N\theta \\ k\end{array}\right)\left(\begin{array}{c}N-N\theta \\ N-k\end{array}\right)}{\left(\begin{array}{c}N\\ n\end{array}\right)}$$
$k$ 滿足
$$\max ((n-N(1-\theta )),0)\le k\le \min (N\theta ,n)$$
$X$ 表示一次試驗中抽取的 $n$ 件產品的次品數， Θ = { θ : 0 < θ < 1 } \Theta = \{\theta:0<\theta<1\} Θ={θ:0<θ<1} 為引數空間。

統計量及其分佈

設總體分佈族為 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，我們僅知道總體的分佈屬於此分佈族，但哪個最合適還需經過統計推斷。推斷總體的分佈，實際上就是確定引數 $\theta$，為此，需抽取樣本。樣本來源於總體，它應當包含引數的所有相關資訊，但觀察值呈現為一堆雜亂無章資料，故需對資料進行加工或壓縮，提取有關引數的資訊，而剔除無關的資訊，這在統計上就反映為構造樣本的已知函式，即統計量（Statistic）。

例 2 設總體 $X$ 服從兩點（正品和次品）分佈，即 $P(X=1)=\theta$，$P(X=0)=1-\theta$，$0<\theta <1$。$X_1,X_2,\cdots ,X_n$ 是來自總體的樣本，考慮樣本的函式 $T(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^n{X}_i$，$T$ 實際上表示樣本中所含的次品個數，對不同觀察值可能對應相同的 $T$ 值，這樣實際上是對樣本起到了加工或壓縮的作用。

統計量

定義 1 設 $X_1,X_2,\cdots ,X_n$ 是來自總體 $X$ 的一個樣本，$T(X_1,X_2,\cdots ,X_n)$ 是樣本的函式。如果 $T(X_1,X_2,\cdots ,X_n)$ 不包含任何未知引數，則稱其為總體 $X$ 的統計量，簡記為 $T$。

如例 2 中 $\sum_{i = 1}^n {{X_i}} $ 是統計量，因為它不含任何未知的引數。常用統計量包括：

• 樣本均值（Sample Mean）：

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

• 樣本方差（Sample Variance）：

$$S^2=\frac{1}{n-1}\sum _{i=1}^n{(X_i-\bar{X})}^2$$

• 樣本標準差（Sample Standard Deviation）：

$$S=\sqrt{\frac{1}{n-1}\sum _{i=1}^n{(X_i-\bar{X})}^2}$$

• 樣本矩（Sample Moment）:

  • $k$ 階原點矩：

  $$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2\cdots$$

  • $k$ 階中心矩：

  $$B_k=\frac{1}{n}\sum _{i=1}^n{(X_i-\bar{X})}^k,k=1,2\cdots$$

順序統計量

把樣本 $X_1,X_2,\cdots ,X_n$ 的觀察值 $x_1,x_2,\cdots ,x_n$ 從小到大進行排列，記為 $x_{(1)},x_{(2)},\cdots ,x_{(n)}$，滿足
$$x_{(1)}\le x_{(2)}\le \cdots \le x_{(n)}$$
定義排在第 $k(1\le k\le n)$ 個位置的 $x_{(k)}$ 為隨機變數 $X_{(k)}$ 的觀察值。顯然
$$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$$
稱 $X_{(1)},X_{(2)},\cdots ,X_{(n)}$ 為順序統計量。

其中，有
X ( 1 ) = min ⁡ { X 1 , X 2 , ⋯   , X n } {X_{(1)}} = \min \{ {X_1},{X_2}, \cdots ,{X_n}\} X(1)​=min{X1​,X2​,⋯,Xn​}

X ( n ) = max ⁡ { X 1 , X 2 , ⋯   , X n } {X_{(n)}} = \max \{ {X_1},{X_2}, \cdots ,{X_n}\} X(n)​=max{X1​,X2​,⋯,Xn​}

對給定的 $p(0<p<1)$，定義樣本 $p$ 分位數 $m_p$，

• $np$ 不是整數時，
  $$m_p={\lambda }_{([np+1])}$$

• $np$ 是整數時，
  $$m_p=\frac{1}{2}(X_{(np)}+X_{(np+1)})$$

充分統計量

統計量既然是對樣本的加工或壓縮，在這個過程中可能有損失有關引數的一部分資訊，現在問題是在這個過程中是否存在某些統計量，既起到壓縮作用，又不損失引數的資訊，這樣的統計量稱為充分統計量。

例 3（續例 2） 設樣本的觀察值 $x_1,x_2,\cdots ,x_n$，則樣本的聯合分佈函式為
$$P(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n)={\theta }^s(1-\theta {)}^{n-s}$$
其中 $x_i=0$ 或 $1$，$s={\sum }_{i=1}^n{x}_i$。

定義 2 設總體分佈族為 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，$T(x)$ 是統計量。如果在給定 $T(X)=t$ 的條件下，$X$ 的條件分佈與引數 $\theta$ 無關，則稱統計量 $T(X)$ 是引數 $\theta$ 的充分統計量（Sufficient Statistics）。

一般情況下，利用條件分佈證明統計量的充分性是比較困難的。但存在證明充分性的一個充分必要準則，這是下面的因子分解定理（Factorization theorem）。

定理 1 設總體分佈族為 { P Θ , θ ∈ Θ } \{P_{\Theta}, \theta\in\Theta\} {PΘ​,θ∈Θ}，$T(x)$ 是充分統計量，當且僅當在一個定義在 $I\times \Theta$ 上的函式 $g(t,\theta )$ 及定義在 ${\mathbb{R}}^n$ 上的函式 $h(x)$ 使得
$$p(x,\theta )=g(T(x),\theta )h(x)$$
對所有的 $x\in {\mathbb{R}}^n$ 都成立，其中 $I$ 是 $T(x)$ 的值域，$p(x,\theta )$ 是樣本的聯合概率密度函式或分佈律。

抽樣分佈

特徵函式

設 $X$ 為隨機變數，稱函式
$${\varphi }_x(t)=E(e^{itX})$$
為 $X$ 的特徵函式。

常見分佈的特徵函式：

• 二項分佈 $B(n,p)$：

$$\varphi (t)=(p{e}^{it}+(1-p){)}^n$$

• Poisson 分佈 $P(\lambda )$：

ϕ ( t ) = exp ⁡ { λ ( e i t − 1 } \phi(t) = \exp\{\lambda(e^{it - 1}\} ϕ(t)=exp{λ(eit−1}

• 正態分佈 $N(\mu ,{\sigma }^2)$：

ϕ ( t ) = exp ⁡ { i μ t − 1 2 σ 2 t 2 } \phi(t) = \exp\{i\mu t - \frac{1}{2}\sigma^2t^2\} ϕ(t)=exp{iμt−21​σ2t2}

特徵函式的特徵：

• 有界性：對於任意 $t\in \mathbb{R}$，有 $|\varphi (t|\le \varphi (0)=1$。
• 設 $Y=aX+b$，其中 $a,b$ 為常數，則

$${\varphi }_Y(t)=e^{ibt}{\varphi }_X(at)$$

• 若 $X$ 與 $Y$ 相互獨立，則有

$${\varphi }_{X+Y}(t)={\varphi }_X(t){\varphi }_Y(t)$$

• 若 $E(X^n)$ 存在，則 ${\varphi }_X^{(n)}(t)$ 存在，且

$$E(X^k)=i^{-k}{\varphi }^{(k)}(0),k=1,2,\cdots ,n$$

• 特徵函式與分佈函式相互偎依確定

三大分佈

${\chi }^2$ 分佈

設隨機變數 $X_1,X_2,\cdots ,X_n$ 相互獨立且同服從標準正態分佈 $N(0,1)$，稱隨機變數
$${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2$$
所服從的分佈為自由度是 $n$ 的 ${\chi }^2$ 分佈，記為 ${\chi }^2\sim {\chi }^2(n)$。

定理 2 設簡單樣本 $X_1,X_2,\cdots ,X_n$ 來自正態總體 $N(\mu ,{\sigma }^2)$，則有
$${\chi }^2=\frac{1}{{\sigma }^2}\sum _{i=1}^n{(X_i-\mu )}^2\sim {\chi }^2(n)$$

定理 3 設 $X\sim {\chi }^2(n)$，則

• $X$ 的特徵函式為

$$\varphi (t)=E{e}^{itX}=(1-2it{)}^{-\frac{n}{2}}$$

• $E(X)=n,D(X)=2n$

定理 4 設 $X_1\sim {\chi }^2(n_1)$，$X_2\sim {\chi }^2(n_2)$，且相互獨立，則 $X_1+X_2\sim {\chi }^2(n_1+n_2)$。

$t$ 分佈

設隨機變數 $X\sim N(0,1)$，$Y\sim {\chi }^2(n)$，且 $X$ 與 $Y$ 相互獨立，則稱隨機變數
$$T=\frac{X}{\sqrt{Y/N}}$$
所服從的分佈為自由度為 $n$ 的 $t$ 分佈，記為 $T\sim t(n)$。

$F$ 分佈

設隨機變數 $X\sim {\chi }^2(n_1)$，$Y\sim {\chi }^2(n_2)$，且 $X$ 與 $Y$ 相互獨立，則稱隨機變數
$$F=\frac{X/n_1}{Y/n_2}$$
所服從的分佈為自由度為 $n_1,n_2$ 的 $F$ 分佈，記為 $F\sim F(n_1,n_2)$。

正態總體下常見統計量的分佈

定理 5 設 $X_1,X_2,\cdots ,X_n$ 是來自正態總體 $N(\mu ,{\sigma }^2)$ 的一個簡單樣本，$A$ 是 $p\times n$ 階矩陣，則
KaTeX parse error: Unknown column alignment: * at position 28: …{\begin{array}{*̲{20}{c}} {{Y_1}…
其中，$1=(1,1,\cdots ,1{)}^T$。

定理 6 設 $X_1,X_2,\cdots ,X_n$ 是來自正態總體 $N(\mu ,{\sigma }^2)$ 的一個簡單樣本，則

• $\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$
• $\bar{X}$ 與 $S^2$ 相互獨立
• $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$

定理 7 設 $X_1,X_2,\cdots ,X_n$ 是來自正態總體 $N(\mu ,{\sigma }^2)$ 的一個簡單樣本，則
$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

定理 8 設 $X_1,X_2,\cdots ,X_n$ 和 $Y_1,Y_2,\cdots ,Y_n$ 是來自正態總體 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的兩個簡單樣本，且兩樣本獨立，則
$$T=\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$
其中，$\bar X = \frac{1}{{{n_1}}}\sum_{i = 1}^{{n_1}} {{X_i}} $，$\bar Y = \frac{1}{{{n_2}}}\sum_{i = 1}^{{n_2}} {{Y_i}}$，
$$S_1^2=\frac{1}{n_1-1}\sum _{i=1}^{n_1}{(X_i-\bar{X})}^2$$

$$S_2^2=\frac{1}{n_2-1}\sum _{i=1}^{n_2}{(Y_i-\bar{Y})}^2$$

$$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$

定理 9 設 $X_1,X_2,\cdots ,X_n$ 和 $Y_1,Y_2,\cdots ,Y_n$ 是來自正態總體 $N({\mu }_1,{\sigma }^2)$ 和 $N({\mu }_2,{\sigma }^2)$ 的兩個簡單樣本，且兩樣本獨立，則
$$F=\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$

定理 10 設隨機變數 $X_1,X_2,\cdots ,X_n$ 相互獨立且同服從正態分佈 $N(0,1)$，$A$ 為實對稱矩陣。令 $X=(X_1,X_2,\cdots ,X_n{)}^{\prime }$，則二次型
$$Y=X^{\prime }AX\sim {\chi }^2(p)$$
的充分必要條件是 $A^2=A$ （冪等陣），且 $p=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$。

分位點

定義 設隨機變數 $X$ 的分佈函式為 $F(x)$，對任意給定的實數 $p(0<p<1)$，若存在 $x_p$ 使得
$$P(X\le x_p)=F(x_p)=p$$
成立，則稱 $x_p$ 為此概率分佈的 $p$ 分位點。

常見分佈分位點記號：

• 標準正態分佈 $N(0,1)$：$z_p$ 表示，即 $P(X\le z_p)=p$，由對稱性有 $z_{1-p}=-z_p$

• ${\chi }^2(n)$ 分佈：用 ${\chi }_p^2(n)$ 表示 $p$ 分位點，即 $P({\chi }^2\le {\chi }_p^2(n))=p$

• $t(n)$ 分佈：用 $t_p(n)$ 表示，即 $P(T\le t_p(n))=p$

• $F(n_1,n_2)$ 分佈：用 $F_p(n_1,n_2)$ 表示，即 P { F ≤ F p ( n 1 , n 2 ) } = p P\{ F \le {F_p}({n_1},{n_2})\} = p P{F≤Fp​(n1​,n2​)}=p
  $$F_p(n_2,n_1)=\frac{1}{F_{1-p}(n_1,n_2)}$$

參考文獻

[1] 孫海燕、周夢等，數理統計，2016。