未經同意，禁止轉載

本文為本人在校學習筆記，若有疑問或謬誤，歡迎探討、指出。

【概率論】一維隨機變數

• 離散型：有限個 / 可列無限多個取值
• 連續型：分佈函式是由一個非負可積函式變上限積分得到的（易知是連續的）
• 混合型：不是離散也不是連續型

證明分佈函式右連續：

海涅定理 + 極限

證明 P { x = a } = F ( a − 0 ) P\{x=a\} = F(a-0) P{x=a}=F(a−0)

• 證明：連續型隨機變數的分佈函式一定連續

  轉化為證明由可積函式（概率密度）$f(x) $ 的變上限積分 ${\int }_{-\infty }^{x}f(x)\mathrm{d}x$ 一定連續

$$\begin{array}{rl}& \underset{\delta \to 0}{\lim }{\int }_{-\infty }^{x+\delta }f(x)\mathrm{d}x\\ & \Rightarrow \underset{\delta \to 0}{\lim }({\int }_{-\infty }^{x}f(x)\mathrm{d}x+{\int }_x^{x+\delta }f(x)\mathrm{d}x)\\ & \\ & \text{only need to prove }\underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x=0\end{array}$$

$$\begin{gathered} f(x)\text{ is integrabel, so it is bounded} \\ \exists M,\text{ s.t.}-M<f(x)<M \\ \begin{array}{rl}& \because -M\delta \le {\int }_x^{x+\delta }f(x)\mathrm{d}x\le M\delta \\ & \Rightarrow \underset{\delta \to 0}{\lim }-M\delta \le \underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x\le \underset{\delta \to 0}{\lim }M\delta \\ & \Rightarrow 0\le \underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x\le 0\\ & \therefore \text{Squeeze Theorem: }\underset{\delta \to 0}{\lim }{\int }_x^{x+\delta }f(x)\mathrm{d}x=0\end{array} \end{gathered}$$

$$\begin{gathered} \underset{\delta \to 0}{\lim }{\int }_{-\infty }^{x+\delta }f(x)\mathrm{d}x={\int }_{-\infty }^{x}f(x)\mathrm{d}x, \\ {\int }_{-\infty }^{x}f(x)\mathrm{d}x\text{ is continuous} \end{gathered}$$

離散型

(0-1)分佈 Bernoulli Distribution

（兩點分佈、伯努利分佈） $X\sim B(1,p)$

可以視為僅重複一次的伯努利試驗

• 隨機變數
  $$X(e)=\{\begin{array}{ll}0,& \text{when }e=e_1,\\ 1,& \text{when }e=e_2,\end{array}$$

• 分佈律
  P { X = k } = p k ( 1 − p ) 1 − k , k = 0 , 1 P\{X = k\} = p^k (1-p)^{1-k},\quad k=0,1 P{X=k}=pk(1−p)1−k,k=0,1

• 數字特徵

  • 數學期望
    $$E(X)=1\cdot p+0\cdot (1-p)=p$$

  • 方差
    $$\begin{gathered} D(X)=E(X^2)-E^2(X)=p-p^2 \\ \Rightarrow D(X)=p(1-p) \end{gathered}$$

二項分佈 Binomial Distribution

$X\sim B(n,p)$

n重伯努利試驗中 $A$ 發生 $X$ 次的概率服從二項分佈

• 伯努利試驗：每次實驗只有兩種結果（$A,\overline{A}$），則稱該試驗為Bernoulli試驗

• 分佈律

  $A$ 的成功概率為 $p$， 則有
  P { X = k } = C n k p k ( 1 − p ) n − k , k = 0 , 2 , 3 , . . . , n P\{X=k\} = C_n^k p^k (1-p)^{n-k}, \quad k=0,2,3,...,n P{X=k}=Cnk​pk(1−p)n−k,k=0,2,3,...,n

• 趨勢

  

• 數字特徵

  • 數學期望
    $$E(X)=np$$
    推導：

  $$X_i=\{\begin{array}{ll}1,& \text{第i次試驗成功}\\ 0,& \text{第i次試驗失敗}\end{array}$$

  $$X=\sum _{i=1}^n{X}_i$$

  $$\begin{gathered} E(X)=E(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}E(X_i)=\sum _{i=1}^n{X}_i \\ \Rightarrow E(X)=np \end{gathered}$$

  • 方差
    $$D(X)=np(1-p)$$
    推導：

    各次伯努利試驗之間相互獨立，協方差項為0，則
    $$\begin{array}{rl}D(X)& =D(\sum _{i=1}^n{X}_i)=\sum _{i=1}^{n}D(X_i)\\ & =nD(X_i)\\ & =np(1-p)\end{array}$$

• 計算性質：可加性
  $$\begin{gathered} X\sim b(n_1,p),Y\sim b(n_2,p) \\ X+Y\sim b(n_1+n_2,p) \end{gathered}$$

泊松分佈 Poisson Distribution

$X\sim \pi (\lambda )$

• 分佈律
  P { X = k } = λ k k ! e − λ , k = 0 , 1 , 2 , . . . P\{X=k\} = \frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,2,... P{X=k}=k!λk​e−λ,k=0,1,2,...

• 數字特徵

  • 數學期望

    $$E(X)=\lambda$$
    （推導）：
    $$\begin{array}{rl}E(x)& =\sum _{k=0}^{\infty }k\cdot \frac{{\lambda }^k}{k!}{e}^{-\lambda }\\ & =\lambda e^{-\lambda }\sum _{k=0}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}\\ & =\lambda e^{-\lambda }{e}^{\lambda }\\ & =\lambda \end{array}$$

  • 方差
    $$D(X)=\lambda$$
    （推導）：

    $$\begin{array}{rl}E(X^2)& =E[X(X-1)+X]\\ & =E[X(X-1)]+E(X)\\ & =\sum _{k=0}^{\infty }k(k-1)\cdot \frac{{\lambda }^k}{k!}{e}^{-\lambda }+E(x)\\ & =e^{-\lambda }\sum _{k=0}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+E(x)\\ & ={\lambda }^2{e}^{-\lambda }\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}+E(x)\\ & ={\lambda }^2{e}^{-\lambda }\sum _{i=0}^{\infty }\frac{{\lambda }^i}{i!}+E(x)\\ & ={\lambda }^2{e}^{-\lambda }{e}^{\lambda }+E(x)\\ & ={\lambda }^2+\lambda \end{array}$$

    代入方差表示式得
    $$\begin{array}{rl}D(X)& =E(X^2)-E^2(X)\\ & ={\lambda }^2+\lambda -{\lambda }^2\\ & =\lambda \end{array}$$

• 計算性質：可加性
  $$\begin{gathered} X\sim \pi ({\lambda }_1),Y\sim \pi ({\lambda }_2) \\ X+Y\sim \pi ({\lambda }_1+{\lambda }_2) \end{gathered}$$

• 泊松定理

  設 $\lambda >0$ 是一個常數， $n$ 為任意正整數， 設 $n{p}_n=\lambda$， 則對於任一固定的非負整數有
  $$\underset{n\to \infty }{\lim }{C}_n^k{p}^k(1-p{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

  樣本 $n$ 足夠大時，$p_n$ 會很小。

  當 $\lambda =np$ 值合適時（不太大也不太小），可用Poisson Distribution逼近Binomial Distribution

  $$C_n^k{p}^k(1-p{)}^{n-k}\approx \frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

幾何分佈 Geometric Distribution

$X\sim GE(p)$

在n次Bernoulli試驗中，試驗k次才得到第一次成功的機率。也即：前k-1次皆失敗，第k次成功的概率。

幾何分佈是Pascal分佈當r=1時的特例。

• 分佈律
  P { X = k } = ( 1 − p ) k − 1 p , k = 1 , 2 , . . . P\{X = k\} = (1-p)^{k-1} p, \quad k=1,2,... P{X=k}=(1−p)k−1p,k=1,2,...

• 數字特徵

  • 數學期望
    $$E(X)=\frac{1}{p}$$
    直覺：命中率更高的，數學期望小（失敗次數少）。

    推導：
    $$\begin{array}{rl}E(X)& =\sum _{k=0}^{\infty }k(1-p{)}^{k-1}p\\ & =p\sum _{k=0}^{\infty }[-(1-p{)}^k{]}^{\prime }\\ & =-p\cdot [\sum _{k=0}^{\infty }(1-p{)}^k{]}^{\prime }\\ & =-p\cdot [\frac{1}{p}{]}^{\prime }\\ & =\frac{1}{p}\end{array}$$
    （用等差乘等比數列方法求 $a_k=k(1-p{)}^{k-1}$ 前n項和通項，再求極限，也能夠推出，但麻煩）

  • 方差
    $$D(X)=\frac{1-p}{p^2}$$

    推導：
    $$\begin{array}{rl}E(X^2)& =E[X(X-1)]+E(X)\\ & =\sum _{k=1}^{\infty }k(k-1)(1-p{)}^{k-1}p+E(X)\\ & =\sum _{k=2}^{\infty }k(k-1)(1-p{)}^{k-1}p+E(X)\\ & =p(1-p)\sum _{k=2}^{\infty }k(k-1)(1-p{)}^{k-2}+E(X)\\ & =p(1-p)\sum _{k=2}^{\infty }[(1-p{)}^k{]}^{\prime \prime }+E(X)\\ & =p(1-p)[\sum _{k=2}^{\infty }(1-p{)}^k{]}^{\prime \prime }+E(X)\\ & =p(1-p)\cdot [\frac{(1-p{)}^2}{p}{]}^{\prime \prime }+E(X)\\ & =\frac{2(1-p)}{p^2}+\frac{1}{p}\\ & =\frac{2-p}{p^2}\end{array}$$

    故可計算
    $$D(X)=E(X^2)-E^2(X)$$

• 無記憶性

  推導：（從無記憶性的需求推匯出變數離散情況下的概率為幾何分佈）
  P { X > t + s ∣ X > t } = P { X > s } ⇔ P { X > t + s ∩ X > t } P { X > t } = P { X > s } ⇔ P { X > t + s } = P { X > s } P { X > t } \begin{aligned} & P\{X>t+s|X>t\} = P\{X>s\} \\ & \Leftrightarrow \frac{P\{X>t+s \cap X>t\}}{P\{X>t\}} = P\{X>s\} \\ & \Leftrightarrow P\{X>t+s\} = P\{X>s\}P\{X>t\} \\ \end{aligned} \\ ​P{X>t+s∣X>t}=P{X>s}⇔P{X>t}P{X>t+s∩X>t}​=P{X>s}⇔P{X>t+s}=P{X>s}P{X>t}​
  let y ( x ) = P { X > x } y(x) = P\{X > x\} y(x)=P{X>x}, then
  $$y(t+s)=y(s)y(t)$$
  assume $y(1)=q$, therefore
  $$\begin{array}{rl}& y(2)=y(1+1)=y^2(1)=q^2\\ & y(3)=y(1+2)=y^3(1)=q^3\\ & ...\\ & y(k)=q^k\end{array}$$

  ∵ P { X = k } = P { X > k − 1 } − P { X > k } = y ( k − 1 ) − y ( k ) = q k − 1 − q k = q k − 1 ( 1 − q ) \begin{aligned} \because P\{X = k\} & = P\{X > k-1\} - P\{X > k\} \\ & = y(k-1) - y(k) \\ & = q^{k-1} - q^k \\ & = q^{k-1}(1 - q) \\ \end{aligned} \\ ∵P{X=k}​=P{X>k−1}−P{X>k}=y(k−1)−y(k)=qk−1−qk=qk−1(1−q)​

  let $p=1-q$， then

  P { X = k } = ( 1 − p ) k − 1 p ∴ X ∼ G E ( p ) P\{X = k\} = (1-p)^{k-1}p \\ \therefore X \sim GE(p) P{X=k}=(1−p)k−1p∴X∼GE(p)

連續型

均勻分佈 Uniform Distribution

$X\sim U(a,b)$

• 概率密度

$$f(x)=\{\begin{array}{ll}\frac{1}{b-a},& x>0\\ 0,& other\end{array}$$

• 分佈函式

$$F(x)=\{\begin{array}{ll}\frac{x-a}{b-a},& x>0\\ 0,& other\end{array}$$

• 圖線

• 數字特徵

  • 數學期望

    中點
    $$E(X)=\frac{1}{2}(a+b)$$

  • 方差
    $$D(X)=\frac{1}{12}(b-a{)}^3$$

• 背景

  $X\sim U(a,b)$ 時，$X$ 取得 $(a,b)$ 上某一區間內值的概率，與該區間長度成正比。

指數分佈 Exponential Distribution

$X\sim E(\lambda )$ or $X\sim E(\theta )$

引數是 $\lambda$ 的表示方法是站在伽馬分佈的角度，把 $\lambda$ 作為伽馬分佈的 $\beta$ 引數，$\alpha =1$，得到指數分佈 $E(\lambda )=\Gamma (1,\lambda )$

引數是 $\theta$ 的表示方法是站在指數分佈表示式的角度（或均值的角度），有 $E(X)=\theta$

• 概率密度

$$f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-\frac{1}{\theta }x},& x>0\\ 0,& other\end{array}$$

• 分佈函式

$$F(x)=\{\begin{array}{ll}1-e^{-\frac{1}{\theta }x},& x>0\\ 0,& other\end{array}$$

• 圖線

  $x\to 0$ 時密度逼近最大值 $1/\theta$

  

• 數字特徵

  • 數學期望
    $$E(X)=\theta =\frac{1}{\lambda }$$
    推導：分部積分

  • 方差
    $$D(X)={\theta }^2=\frac{1}{{\lambda }^2}$$

• 無記憶性

P { X > t + s ∣ X > t } = P { X > s } P\{X>t+s|X>t\} = P\{X>s\} P{X>t+s∣X>t}=P{X>s}

推導：（從無記憶性的需求推匯出變數連續情況下的概率為指數分佈）

P { X > t + s ∣ X > t } = P { X > s } ⇔ P { X > t + s ∩ X > t } P { X > t } = P { X > s } ⇔ P { X > t + s } = P { X > s } P { X > t } \begin{aligned} & P\{X>t+s|X>t\} = P\{X>s\} \\ & \Leftrightarrow \frac{P\{X>t+s \cap X>t\}}{P\{X>t\}} = P\{X>s\} \\ & \Leftrightarrow P\{X>t+s\} = P\{X>s\}P\{X>t\} \\ \end{aligned} \\ ​P{X>t+s∣X>t}=P{X>s}⇔P{X>t}P{X>t+s∩X>t}​=P{X>s}⇔P{X>t+s}=P{X>s}P{X>t}​

let y ( x ) = P { X > x } y(x) = P\{X>x\} y(x)=P{X>x}, then

$$\begin{array}{rl}& y(t+s)=y(s)y(t)\\ & \\ & \Rightarrow y(t+s)-y(s)=y(s)y(t)-y(s)\\ & \Rightarrow y(t+s)-y(s)=y(s)y(t)-y(s)y(0)\\ & \Rightarrow \frac{y(t+s)-y(s)}{t}=\frac{y(s)y(t)-y(s)y(0)}{t}\\ & \Rightarrow \underset{t\to 0}{\lim }\frac{y(t+s)-y(s)}{t}=\underset{t\to 0}{\lim }\frac{y(s)y(t)-y(s)y(0)}{t}\\ & \Rightarrow y^{\prime }(s)=y(s)\cdot y^{\prime }(0)\\ & \Rightarrow \frac{y^{\prime }(s)}{y(s)}=y^{\prime }(0)\\ & \Rightarrow \int \frac{y^{\prime }(s)}{y(s)}\mathrm{d}s=\int y^{\prime }(0)\mathrm{d}s\\ & \Rightarrow \ln |y(x)|=y^{\prime }(0)\cdot s+C\\ & \Rightarrow y(x)=e^{y^{\prime }(0)\cdot s+C}\end{array}$$
let $-\frac{1}{\theta }=y^{\prime }(0)$, $x=s$, and $y(0)=1\Rightarrow C=0$, then
$$y(x)=e^{-\frac{1}{\theta }x}$$

or let $-\lambda =y^{\prime }(0)$, then
$$y(x)=e^{-\lambda x}$$
so
P { X > x } = e − 1 θ x ⇒ F ( x ) = P { X ≤ x } = 1 − e − 1 θ x \begin{aligned} & P\{X>x\} = e^{-\frac{1}{\theta}x} \\ & \Rightarrow F(x) = P\{X \le x\} = 1 - e^{-\frac{1}{\theta}x} \end{aligned} ​P{X>x}=e−θ1​x⇒F(x)=P{X≤x}=1−e−θ1​x​

伽馬分佈 Gamma Distribution

$X\sim \Gamma (\alpha ,\beta )$

服從指數分佈 $E(\lambda )$ 也即服從伽馬分佈 $\Gamma (1,\lambda )$ ，是伽馬分佈的一種特例

• 伽馬函式性質
  $$\begin{gathered} \Gamma (\alpha +1)=\alpha \Gamma (\alpha ), \\ \Gamma (\alpha )=(\alpha -1)\Gamma (\alpha -1), \\ \dots \end{gathered}$$
  數字特徵

• • 數學期望

    積分中使用 $u=x/\beta$ 換元，使用伽馬函式的性質，易得

  $$E(X)=\alpha \beta$$

  • 方差

  先積分計算 $E(X^2)$ ，同樣使用還原和伽馬函式的性質，易得
  $$E(X^2)=\alpha (1+\alpha ){\beta }^2$$
  故有
  $$D(X)=\alpha {\beta }^2$$

正態分佈 Normal Distribution

$X\sim N(\mu ,{\sigma }^2)$

又名為高斯分佈(Gauss Distribution)。

引數 $\mu$ （數學期望）控制分佈集中位置，引數 $\sigma$ （標準差）控制分佈的離散程度（越大越離散）

• 概率密度

$$f(x)=\frac{1}{\sqrt{2\pi }\cdot \sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<\infty$$

• 分佈函式

$$F(x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\mathrm{d}x,-\infty <x<\infty$$

• 圖線

  

• 標準正態分佈 $X\sim N(0,1)$

  概率密度： $\phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}},-\infty <x<\infty$

  分佈函式： $\Phi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{x^2}{2}}\mathrm{d}x,-\infty <x<\infty$

  • 標準正態分佈函式易知以下規律：

    1. $\Phi (-x)=1-\Phi (x)$
    2. P { ∣ X ∣ < a } = 2 Φ ( a ) − 1 P\{|X|< a\} = 2\Phi(a) - 1 P{∣X∣<a}=2Φ(a)−1

  • 任一正態分佈 $X\sim N(0,1)$ 通過線性替換
    $$Z=\frac{X-\mu }{\sigma }$$
    都能夠得到標準正態分佈 $Z\sim N(0,1)$