[編輯中，未完]

基本概念

隨機試驗

• 可以在相同條件下重複進行
• 每次實驗的可能結果不止一個，並且能事先證明實驗的所有可能
• 進行一次實驗之前不能確定哪一個結果會出現

樣本空間

將隨機試驗 $E$ 的所有可能結果組成的集合稱為 $E$ 的 樣本空間，記為 $S$
樣本空間中的元素，即 $E$ 的每個結果，稱為 樣本點

隨機事件

稱試驗 $E$ 的樣本空間 $S$ 的子集為 $E$ 的 隨機事件，簡稱 事件
每次試驗，iff 這一子集中的一個樣本點出現時，稱事件發生
有一個樣本點組成的單點集，稱基本事件
樣本空間 $S$ 包含所有樣本點，每次試驗中總髮生，稱必然事件
空集 $\varnothing$ 不包含任何樣本點，每次試驗都不發生，稱不可能事件

事件運算

若 $A\subset B$，稱 事件B包含事件A，A發生必導致B發生
若 $A\subset B,B\subset A$，即$A=B$，稱 相等
若 A ∪ B = { x ∣ x ∈ A   o r   x ∈ B } A\cup B=\{x|x\in A~or~x\in B\} A∪B={x∣x∈A or x∈B},稱 和事件
若 A ∩ B = { x ∣ x ∈ A   a n d   x ∈ B } A\cap B=\{x|x\in A~and~x\in B\} A∩B={x∣x∈A and x∈B},稱 積事件，也記 $AB$
若 A − B = { x ∣ x ∈ A   a n d   x ∉ B } A-B=\{x|x\in A~and~x\notin B\} A−B={x∣x∈A and x∈/​B} 稱為差事件，A發生B不發生
若 $A\cap B=\varnothing$，稱 互斥 ，且$A\cup B=S$，AB互為 逆事件，又稱 對立事件

• 滿足定律
  交換律，結合律，分配率
  德摩根定律(De Morgan’s laws) : $\overline{A\cup B}=\overline{A}\cap \overline{B}$ ; $\overline{A\cap B}=\overline{A}\cup \overline{B}$

頻率

n次實驗中，事件發生次數 $n_A$，稱 頻數，$\frac{n_A}{n}$稱 頻率

概率

對 $E$ 的每一件事 $A$ 賦予一個實數，記為 $P(A)$，稱為事件A的 概率
滿足：非負性；規範性（必然事件 $S$,$P(S)=1$）；可列可加性（若 $A_i{A}_j=\varnothing$，有 $P(\bigcup A_i)=\sum P(A_i)$）

性質

1. $P(\varnothing )=0$
2. （有限可加性）可列可加性
3. $P(B-A)=P(B)-P(A);P(B)\ge P(A)$
4. $P(A)\le 1$
5. （逆事件）$P(\overline{A})=1-P(A)$
6. （加法公式）$P(A\cup B)=P(A)+P(B)-P(AB)$

等可能（古典）

$S$ 包含有限元素，每個事件可能性相同，稱等可能概型（古典概型）(Equally Likely Outcomes Model)

條件概型

在事件 $A$ 發生的條件下事件 $B$ 發生 ，稱 條件概率(Conditional Probability)，$P(B|A)=\frac{P(AB)}{P(A)}$ （A已發生，B多大可能發生）
可得 $P(AB)=P(B|A)P(A)$ （乘法公式）

全概率公式

$P(A)=P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$
$P(A)=\sum P(A|B_i)P(B_i)$（把每個在不同情況下目標事件發生的概率加起來就是目標事件總的發生概率）(Total Probability)

貝葉斯

$P(B|A)=\frac{P(AB)}{A}=\frac{P(A|B)P(B)}{P(A|B)P(B)+p(A|\overline{B})P(\overline{B})}$

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum P(B_j)P(A|B_j)}$ （已知結果，問導致這個結果的第 $i$ 原因的可能性是多少）(Bayes’ Theorem)
$P(B)$為以往資料已知的 先驗概率，$P(B|A)$為根據修正後的 後驗概率

獨立

$P(AB)=P(A)P(B)$，稱 相互獨立(Independents)，相互獨立 與 互不相容不能同時成立

1. $P(B|A)=P(B)$，AB相互獨立
2. 若AB獨立，則$A-\overline{B},\overline{A}-B,\overline{A}-\overline{B}$也相互獨立
   一般的，任意 $n$ 個事件的積事件等於各事件概率之積，稱相互獨立

隨機變數

• PDF (Probability Density Function) 概率密度函式 也稱為連續概率分佈 ，記作 $f(x)$ ，有 $\displaystyle f(x)\geq 0~&\int f(x)=1 $
• CDF (Cumulative Distribution Function) 累積分佈函式: 記作$F_X(x)=P(X\le x)={\int }_{-\infty }^{+\infty }{f}_X(t)dt$
• PMF (Probability Mass Function) 概率質量函式 也稱為離散概率分佈
• PF (Probability Function) 分佈律

離散型隨機變數

可取值或可列無限多個，稱 離散型隨機變數(Discrete Random Variable)

(0-1)分佈

隨機變數 $X$ 只取0或1 , 分佈律為 P { X = k } = p k ( 1 − p ) ( 1 − k ) P\{X=k\}=p^k(1-p)^{(1-k)} P{X=k}=pk(1−p)(1−k)

伯努利分佈

$E$ 只有兩種結果：$A,\overline{A}$，稱 $E$ 為 伯努利試驗(Bernoulli)，將 $E$ 獨立重複進行 $n$ 次，稱 重伯努利試驗

二項分佈

若 $E$ 為 $n$ 重伯努利試驗，每次成功概率為 $p$ ， $X$ 代表成功次數，則 $X$ 的PF稱 二項分佈(Binomal Distribution)，記 $X\backsim B(n,p)$
pmf為：$P(X=k)=C_n^k{p}^k(1-p{)}^{(n-k)}$
伯努利分佈是二項分佈在 $n=1$ 時的特例

泊松分佈

P { X = k } = λ k e − λ k ! , λ > 0 \displaystyle P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!},\lambda > 0 P{X=k}=k!λke−λ​,λ>0 稱 泊松分佈(Poisson Distribution)，記作 $X\sim P(x)$，$\lambda$ 是單位時間內隨機事件的平均發生次數
泊松分佈適合於描述單位時間內隨機事件發生的次數
泊松分佈的 期望 和 方差 均為 $\lambda$

超幾何分佈

從有限 $N$ 個物件（其中包含 $M$ 個指定種類的物件）中抽出 $n$ 個物件，成功抽出該指定種類的物件的次數（不放回），稱 超幾何分佈(Hypergeometic Distribution)，記 $X\sim H(N,M,n)$
隨機抽取 $n$ 件產品抽查，發現 $k$ 件中不合格的概率為 $P(X=k)=\frac{C_M^k{C}_{N-M}^{m-k}}{C_N^m}$
數學期望為 $EX=\frac{nM}{N}$

連續隨機變數

對於 $X$ 的分佈函式 $F(x)$，存在非負可積函式 $f(x)$ ，則稱 $X$ 為 連續隨機變數(Continuous Random Variable)

均勻分佈

Uniform Distribution PDF:
$$f(x)=\{\begin{array}{llc}& \frac{1}{b-a}& a<x<b\\ & 0& otherwise\end{array}$$
記作$X\sim U(a,b)$
THe CDF is
$$F(x)={\int }_{-\infty }^{x}f(t)dt=\{\begin{array}{ll}0& x<a\\ \frac{x-a}{b-a}& a\le x\le b\\ 1& x>b\end{array}$$

指數分佈

Exponential distribution PDF:
$$f(x)=\{\begin{array}{llc}& \frac{1}{\theta }{e}^{-\frac{x}{\theta }}& x>0\\ & 0& otherwise\end{array}$$
當 $\theta >0$ 是常數.記作$X\sim E(\theta )$
The CDF is:
$$F(x)=\{\begin{array}{ll}1-e^{-\frac{x}{\theta }}& x>0\\ 0& x>b\end{array}$$
對於 $s,t>0$,有 $P(X>s+t|X>s)=P(X>t)$ .稱 無記憶性(Memoryless property)

正態分佈

Normal Distribution PDF:
$$f(x)=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$
當 $-\infty <\mu <+\infty ,\sigma >0$ 是常數.記作$X\sim N(\mu ,{\sigma }^2)$
第一引數 $\mu$ 是服從正態分佈的隨機變數的均值，描述位置引數，描述正態分佈的集中趨勢位置
第二個引數 ${\sigma }^2$ 是此隨機變數的方差，描述離散程度，越大越分散越扁平
影像關於 $x=\mu$ 對稱,有 $h>0$,$P(\mu -h<X\le \mu )=P(\mu <x\le \mu +h)$
當 $x=\mu$ 有最大值 $f(\mu )=\frac{1}{\sqrt{2\pi \sigma }}$
$\sigma$ 越小圖形約尖
當 $\mu =0,\sigma =1$ 時，為 標準正態分佈(standard normal distribution)

• 通過線性變換,將一般正態分佈變換為標準正態分佈 $Z=\frac{X-\mu }{\sigma }\sim N(0,1)$

對於標準正態隨機變數，若$z_{\alpha }$ 滿足 $P(X>z_{\alpha })=\alpha (0<\alpha <1)$ ，稱 $\alpha$ 分位點

多維隨機變數

若 $(X,Y)$ 是二維隨機變數，對於 F ( X , Y ) = P { ( X ≤ x ) ∩ ( Y ≤ y ) } F(X,Y)=P\{(X\leq x) \cap (Y\leq y)\} F(X,Y)=P{(X≤x)∩(Y≤y)} 稱$XY$的 聯合分佈函式(Joint Distribution Function)，稱 $P(X=x_i,Y=y_i)=P_{ij}$ 為 聯合分佈律
存在可積函式有 $F(x,y)=\int \int f(x,y)dxdy$，則稱$(X,Y)$ 是 連續型二維隨機變數，$f(x,y)$ 稱 聯合密度函式

邊緣分佈

有二維隨機變數 $(X,Y)$ ， $X$ $Y$ 各自有分佈函式，分別記作$F_X(x),F_Y(y)$，稱 邊緣分佈函式(Marginal Distribution)，稱 $f_X(x),f_Y(y)$ 為 邊緣密度函式()
令 $(y\to \infty )$，$F_X(x)=P(X\le x)=P(X\le x,Y<\infty )=F(x,\infty )$，同理 $F_Y(y)=F(\infty ,y)$

• $F_X(x)={\int }_{-\infty }^x[{\int }_{-\infty }^{+\infty }f(x,y)dy]dx$
• $F_Y(y)={\int }_{-\infty }^y[{\int }_{-\infty }^{+\infty }f(x,y)dx]dy$
• $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$
• $f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

條件分佈

對於固定的 $j$ ，$P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{p_j}$ 為在 $Y=y_j$ 條件下 $X$ 的條件分佈律
對於固定的 $y$ ，$f_Y(y)>0$ ，則稱 $\frac{f(x,y)}{f_Y(y)}$ 為 $Y=y$ 條件下 $X$ 的條件概率密度，記為 $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ ，稱 ${\int }_{-\infty }^x{f}_{X|Y}(x|y)dx={\int }_{-\infty }^x\frac{f(x,y)}{f_Y(y)}$ 為 $Y=y$ 條件下 $X$ 的條件分佈函式

• 若有 $F(x,y)=F_X(x)F_Y(y)$ ，即 $P(X\le x,Y\le y)=P(X\le x)P(Y\le y)$則相互獨立

兩個隨機變數的函式分佈

• $Z=X+Y$

The PDF is $f_{X+Y}(z)=f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx={\int }_{-\infty }^{+\infty }f(z-y,x)dy$
The CDF is $F_Z(z)=P(Z\le z)={\iint }_{x+y\le z}f(x,y)dxdy$

• $Z=\frac{X}{Y}$
• $Z=XY$
• M = max ⁡ { X , Y }   &   N = min ⁡ { X , Y } M=\max\{X,Y\}~\&~N=\min\{X,Y\} M=max{X,Y} & N=min{X,Y}

數字特徵

期望

設 離散 隨機變數 $X$ 的分佈律為 $P(X=x_k)=p_k$ ，若級數 $\sum x_k{p}_k$ 絕對收斂，稱其和為 $X$ 的 數學期望(expectation)，記 $E(X)$
設 連續 隨機變數 $X$ 的PDF為 $f(x)$，若積分 $\int xf(x)dx$ 絕對收斂，則為數學期望。

• (0-1)分佈期望：
• 二項分佈期望：
• 泊松分佈期望：
  滿足性質：
• $EC=C$
• $E(CX)=CE(X)$
• $E(X+Y)=EX+EY$
• KaTeX parse error: Undefined control sequence: \* at position 9: E(XY)=EX\̲*̲EY 當相互獨立

方差

稱 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2} 為 $X$ 的方差，記為 $D(X)$ 或 $Var(X)$。
對於 離散 變數，有 $D(X)=\sum [x_k-E(X{)}^2]p_k$ ，對於 連續 變數 $D(X)=\int [x-E(X){]}^{2}f(x)$
公式： $D(X)=E(X^2)-[E(X){]}^2$
有 $E(X)=\mu ,D(X)={\sigma }^2$，記 $X^{\ast }=\frac{X-\mu }{\sigma }$為 標準化變數

• ？？？

滿足性質：

• $D(C)=0$
• $D(CX)=C^{2}D(X),D(X+C)=D(X)$
• D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { ( X − E ( X ) ) ( E − E ( Y ) ) } D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(E-E(Y))\} D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(E−E(Y))}，當相互獨立有 $D(X+Y)=D(X)+D(Y)$
• $P(X=E(X))=1$

引入 $\sqrt{D(X)}$ 記為 $\sigma (X)$，稱為 標準差 或均方差

協方差

定義 $Cov(X,Y)=E([X-E(X)][Y-E(Y)])$ 為 協方差(Covariance)
易得 $Cov(X,Y)=Cov(Y,X),Cov(X,X)=D(X)$ ，展開定義有 $Cov(X,Y)=E(XY)-E(X)E(Y)$
有性質：

• $Cov(aX,bY)=abCov(X,Y)$
• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

相關係數

${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 稱 相關係數(Correlation Coefficient)
有 $|{\rho }_{XY}|<1$ ，$P(Y=a+bX)=1$
（引入 均方誤差 $e=E[(Y-(a+bX){)}^2]=(1-{\rho }_{XY}^2)D(Y)$）
當 $|{\rho }_{XY}|$ 較大時，$e$ 較小，$X,Y$ 線性關係較緊密，線性相關程度較大，當 $|{\rho }_{X,Y}|=0$，稱 不相關

協方差矩陣

若 $E(X^k)$ 存在，稱 $k$ 階原點矩，簡稱 k階矩
若 $E(X^k{Y}^l)$存在，稱 $k+l$ 階混合矩
若 $E([X-E(X){]}^k[Y-E(Y){]}^l)$ 存在，稱 $k+l$ 階混合中心矩
顯然期望為一階原點矩，方差是二階中心矩，協方差是二階混合中心矩
若 $c_{ij}=Cov(X_i,X_j)=E([X_i-E(X_i)][X_j-E(X_j)])$ 存在，則 $\mathbf{C}$ 稱協方差矩陣

大數定理 $\&$ 中心極限

簡單而言，大數定律講的是樣本均值收斂到總體均值（就是期望），而中心極限定理告訴我們，當樣本量足夠大時，樣本均值的分佈慢慢變成正態分佈
設 $X_i$ 相互獨立

切比雪夫大數定律

若存在常數 $C$ 使得 $D(X_k)\le C$ 則對於任意小的正數 $ϵ$ ，滿足
lim ⁡ n → ∞ P { ∣ 1 n ∑ x k − 1 n ∑ E x k ∣ < ϵ } = 1 \displaystyle \lim_{n\rightarrow \infty} P\{ |\frac{1}{n}\sum x_k-\frac{1}{n}\sum Ex_k|<\epsilon \}=1 n→∞lim​P{∣n1​∑xk​−n1​∑Exk​∣<ϵ}=1
數學意義：算數平均值依概率收斂於數學期望；隨著樣本容量n的增加，樣本平均數將接近於總體平均數。

伯努利大數定律

設 $f_A$ 是 $n$ 次重伯努利試驗中事件發生次數，$p$ 是發生概率，對於任意小的正數 $ϵ$ ，滿足
lim ⁡ n → ∞ P { ∣ f A n − p ∣ < ϵ } = 1   o r   0 \displaystyle \lim_{n\rightarrow \infty} P\{|\frac{f_A}{n}-p|<\epsilon\}=1~or~0 n→∞lim​P{∣nfA​​−p∣<ϵ}=1 or 0
數學意義：頻率依概率收斂於統計概率

辛欽大數定

律服從同一分佈，且具有數學期望 $E(X_k)=\mu$ ，作前 $n$ 個變數的算術平均 $\frac{1}{n}\sum X_k$ ，
lim ⁡ n → ∞ P { ∣ 1 n ∑ X k − μ ∣ < ϵ } = 1 \displaystyle\lim_{n\rightarrow \infty}P\{|\frac{1}{n}\sum X_k-\mu|<\epsilon\}=1 n→∞lim​P{∣n1​∑Xk​−μ∣<ϵ}=1
數學意義：算數平均值穩定於數學期望的確切解釋

馬爾可夫不等式

設 $X$ 為一非負隨機變數，則 $P(X\ge a)\le \frac{EX}{a}$，稱 馬爾可夫不等式(Markov inequality)

切比雪夫不等式

存在 $ϵ$，s.t. $P(|X-\mu |\ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}$，稱 切比雪夫不等式(chebyshev’s inequality)

獨立同分布的$\text{Levi-Lindeberg}$中心極限定理

設隨機變數相互獨立且具有數學期望 $E(x_k)=\mu ,D(X_k)={\sigma }^2$ 則隨機變數之和 $\sum X_k$的標準化變數
$$Y_n=\frac{\sum X_k-E(\sum X_k)}{\sqrt{D(\sum X_k)}}=\frac{\sum X_k-n\mu }{\sqrt{n}\sigma }$$
的PDF $F_n(x)$對於任意 $x$ 滿足
lim ⁡ n → ∞ F n ( x ) = lim ⁡ n → ∞ P { ∑ X k − n μ n σ ≤ x } = ∫ − ∞ x 1 2 π e − t 2 / 2 d t \displaystyle \lim_{n\rightarrow \infty}F_n(x)=\lim_{n\rightarrow \infty} P\{\frac{\sum X_k-n\mu}{\sqrt{n}\sigma}\leq x\}=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt n→∞lim​Fn​(x)=n→∞lim​P{n ​σ∑Xk​−nμ​≤x}=∫−∞x​2π ​1​e−t2/2dt
當 $n$ 足夠大的時候，可以把任何一個期望方差存在的分佈，搞成一個正態分佈

$\text{De Moivre-Laplace}$定理

De Moivre-Laplace 定理其實就是 Levi-Lindeberg 的特殊情況。
設 ${\eta }_n\sim B(n,p)$ ，有
lim ⁡ n → ∞ P { η n − n p n p ( 1 − p ) ≤ x } = ∫ − ∞ x 1 2 π e − t 2 / 2 d t = Φ ( x ) \displaystyle \lim_{n\rightarrow \infty}P\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x\}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt=\Phi(x) n→∞lim​P{np(1−p) ​ηn​−np​≤x}=∫−∞x​2π ​1​e−t2/2dt=Φ(x)
實際就是在把一個二項分佈，嘗試轉為正態分佈去研究；正態分佈是二項分佈的極限分佈。

抽樣分佈

隨機樣本

總體：實驗全部可能的觀察值
個體：每一個可能的觀察值
容量：總體中所包含的個體數
有限/無限總體：容量有限/無限
$Def:$ 設 $X$ 是具有分佈函式 $F$ 的隨機變數，若 $X_i$ 是具有相同 $F$ ，相互獨立的隨機變數，則稱 $X_i$ 為從 $F$ （或總體 $F$ ，或總體 $X$）得到的容量為 $n$ 的簡單隨機樣本，簡稱樣本，觀察值 $x_i$ 稱 樣本值，又稱為 $X$ 的 $n$ 個 獨立的觀察值
由定義得：若 $X_i$ 為 $F$ 的一個樣本，則相互獨立。所以PDF為 $\prod F(x_i)$ ，CDF為 $\prod f(x_i)$

直方圖和箱線圖

略

抽樣分佈

設 $X_i$ 是一個樣本，$g(X_i)$ 是 $X_i$ 的一個函式，則稱 $g(X_i)$ 是一個 統一量

	定義	觀察值
樣本平均值	$\overline{X}=\frac{1}{n}\sum X_i$	$\overline{x}=\frac{1}{n}\sum x_i$
樣本方差	$S^2=\frac{1}{n-1}\sum (X_i-\overline{X}{)}^2=\frac{1}{n-1}(\sum \ast X_i-n\overline{X}{)}^2$	$s^2=\frac{1}{n-1}\sum (x_i-\overline{x}{)}^2=\frac{1}{n-1}(\sum x_i^2-n{\overline{x}}^2)$
樣本標準差	$S=\sqrt{S^2}$	$s=\sqrt{s^2}$
樣本 $k$ 階（原點）矩：	$A_k=\frac{1}{n}\sum X_i^k$	$a_k=\frac{1}{n}\sum x_i^k$
樣本 $k$ 階中心矩	$B_k=\frac{1}{n}\sum (X_i-\overline{X}{)}^k$	$b_k=\frac{1}{n}\sum (x_i-\overline{x}{)}^k$

定義 經驗分佈函式 ，用$S(x)$ 表示 $X_i$ 中不大於 $x$ 的隨機變數個數。經驗分佈函式 $F_n=\frac{1}{n}S(x)$

${\chi }^2$ 分佈

設 $X_i$ 是來自總體 $N(0,1)$ 的樣本，則稱統計量 ${\chi }^2=\sum X_i^2$ 服從自由度為 $n$ 的 ${\chi }^2$分佈，記作 ${\chi }^2\sim {\chi }^2(n)$，自由度 指包含獨立變數個數，PDF為
$$f(x)=\{\begin{array}{llc}& \frac{1}{2^{n/2}\Gamma (n/2)}{y}^{n/2-1}{e}^{-\frac{-y}{2}}& y>0\\ & 0& otherwise\end{array}$$

• 可加性
  設${\chi }_1^2\sim {\chi }^2(n),{\chi }_2^2\sim {\chi }^2(n)$，並且相互獨立，則有 ${\chi }_1^2+{\chi }_2^2\sim {\chi }^2(n_1+n_2)$
• 數學期望和方差
  $E({\chi }^2)=n,D({\chi }^2)=2n$
• 分位點
  ？？？

$t$ 分佈

設 $X\sim N(0,1),Y\sim {\chi }^2(n)$，且相互獨立，則稱 $t=\frac{X}{\sqrt{Y/n}}$ 服從自由度為 $n$ 的t分佈，記作 $t\sim t(n)$又稱 學生氏(Student)分佈，PDF為
$$h(t)=\frac{\Gamma [(n+1)/2]}{\sqrt{\pi n}\Gamma (n/2)}(1+\frac{t^2}{n}{)}^{-(n+1)/2}$$

• 分位點

$F$ 分佈

設 $U\sim {\chi }^2(n_1),V\sim {\chi }^2(n_2)$且相互獨立，則稱 $F=\frac{U/n_1}{V/n_2}$ 服從自由度為 $(n_1,n_2)$的 $F$ 分佈，記作 $F\sim F(n_1,n_2)$，PDF為
$$\psi (x)=\{\begin{array}{llc}& \frac{\Gamma [(n_1+n_2)/2](n_1/n_2{)}^{n_1/2}{y}^{(n_1/2)-1}}{\Gamma (n_1/2)\Gamma (n_2/2)[1+(n_{1}y/n_2){]}^{(n_1+n_2)/2}}& y>0\\ & 0& otherwise\end{array}$$
可知，若 $F\sim F(n_1,n_2)$，則 $\frac{1}{F}\sim F(n_2,n_1)$

• 分位點

樣本方差的分佈

正態總體的樣本均值

設 $X_i$ 是來自正態總體 $N(\mu ,{\sigma }^2)$ 的樣本，$\overline{X}$ 是樣本均值，$S^2$ 是樣本方差。則

• $\overline{X}\sim N(\mu ,{\sigma }^2/n)$
• $\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$，$\overline{X}$ 與 $S^2$ 相互獨立
• $\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

設 $X_i$ 和 $Y_i$ 是來自正態總體的相互獨立的樣本。則

• $\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$
• 當 ${\sigma }_1^2={\sigma }_2^2={\sigma }^2$ 時，$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$，其中 $S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$

引數估計

點估計

藉助於總體的一個樣本來估計總體未知引數的值的問題稱為引數的點估計問題。設總體的分佈函式 $f(x;\theta )$ 的形式為已知，$\theta$ 為待估引數。構造一個適當的統計量$\hat{\theta }(X_i)$ ，用他的觀察值 $\hat{\theta }(x_i)$，作為未知引數 $\theta$ 的估計值，稱 $\hat{\theta }(X_i)$ 為 估計量，稱 $\hat{\theta }(x_i)$為 估計值

矩估計法

簡單的講，這個原理認為樣本的n階中心鉅和n階原點矩和總體的n階中心鉅和n階原點矩相同，當然這是一個近似。
設總體的 $k$ 階原點矩存在，是基於 ${\theta }_i$ 的函式，基於樣本矩 $A_t=\frac{1}{n}\sum X_i^l$ 依概率收斂於相應的總體矩 ${\mu }_l$ ，樣本矩的連續函式依概率收斂於相應的總體矩的連續函式，於是就用樣本矩作為相應的總體矩的估計量，而以樣本矩的連續函式作為相應的總體矩的連續函式的估計量。稱為 矩估計方法
設
$$\{\begin{array}{ll}& {\mu }_1={\mu }_1({\theta }_1...{\theta }_k),\\ & ⋮\\ & {\mu }_k={\mu }_k({\theta }_1...{\theta }_k)\end{array}$$
可以從中解出 ${\theta }_k$得到
$$\{\begin{array}{ll}& {\theta }_1={\theta }_1({\mu }_1...{\mu }_k),\\ & ⋮\\ & {\theta }_k={\theta }_k({\mu }_1...{\mu }_k)\end{array}$$
以 $A_i$ 分別替代上式 $\mu$，就以 $\widehat{{\theta }_i}={\theta }_i(A_1...A_i)$ 分別作 ${\theta }_i$ 的估計量，稱 矩估計量

最大似然估計

最大似然估計可以說是應用非常廣泛的一種引數估計的方法。它的原理也很簡單：利用已知的樣本，找出最有可能生成該樣本的引數。
？？？

估計量的評選標準

無偏性

若估計量 $\hat{\theta }=\hat{\theta }(X_i)$ 的期望 $E(\hat{\theta })$ 存在，且對於任意 $\theta \in \Theta$ 有 $E(\hat{\theta })=\theta$ ，則稱 $\hat{\Theta }$ 是 $\Theta$ 的 無偏估計量

置信區間

區間估計

正態總體均值與方差的區間估計

單個總體

兩個總體

(0-1)分佈引數區間估計

單側置信區間

檢驗假設

正態總體均值檢驗假設

單個總體

兩個總體(t檢驗)

基於成對資料(t檢驗)

正態總體方差檢驗假設

單個總體

兩個總體

分佈擬合檢驗

單個分佈

分佈族的 ${\chi }^2$ 擬合檢驗

秩和檢驗

$p$ 值法