UA MATH563 概率論的數學基礎 中心極限定理14 Kolmogorov maximal inequality

這一講介紹一個有用的不等式，它給出了獨立隨機變數的和的最值的tail probability的階。

Kolmogorov maximal inequality
假設$X_1,\cdots ,X_n$是獨立的隨機變數，並且$E{X}_i=0,Var{X}_i<\infty$，則
$$P(\underset{1\le k\le n}{\max }|S_k|\ge x)\le \frac{Var(S_n)}{x^2}$$

其中
$$S_k=\sum _{i=1}^k{X}_i$$

說明
與Chebyshev不等式的對比：
$$P(|S_n|\ge x)\le \frac{Var(S_n)}{x^2}$$

顯然Kolmogorov maximal inequality比Chebyshev不等式更強，雖然它們提供一樣的上界，但Chebyshev不等式只討論前$n$項和，Kolmogorov maximal inequality討論的是前$n$個部分和的最大值；但是需要注意的是Chebyshev不等式不要求獨立性，但Kolmogorov maximal inequality是要求的。

---

證明
考慮事件 { max ⁡ 1 ≤ k ≤ n ∣ S k ∣ ≥ x } \{\max_{1 \le k \le n}|S_k| \ge x\} {max1≤k≤n​∣Sk​∣≥x}，我們可以做一個分解
{ max ⁡ 1 ≤ k ≤ n ∣ S k ∣ ≥ x } = ⨆ k ≥ 1 A k \{\max_{1 \le k \le n}|S_k| \ge x\} = \bigsqcup_{k \ge 1}A_k {1≤k≤nmax​∣Sk​∣≥x}=k≥1⨆​Ak​

其中
A k = { ∣ S k ∣ ≥ x , ∣ S j ∣ < x , ∀ j < k } A_k = \{|S_k| \ge x,|S_j|<x,\forall j <k\} Ak​={∣Sk​∣≥x,∣Sj​∣<x,∀j<k}

計算
$$\begin{gathered} Var(S_n)=E[S_n^2]={\int }_{\Omega }{S}_n^{2}dP\ge {\int }_{{⨆}_{k=1}^n{A}_k}{S}_n^{2}dP \\ =\sum _{k=1}^n{\int }_{A_k}{S}_n^{2}dP=\sum _{k=1}^n{\int }_{A_k}[S_k^2+2S_k(S_n-S_k)+(S_n-S_k{)}^2]dP \\ \ge \sum _{k=1}^n{\int }_{A_k}[S_k^2+2S_k(S_n-S_k)]dP \end{gathered}$$

考慮第二項，$2S_k{1}_{A_k}$在 σ ( { X 1 , ⋯   , X k } ) \sigma(\{X_1,\cdots,X_k\}) σ({X1​,⋯,Xk​})中可測，$S_n-S_k$在 σ ( { X k + 1 , ⋯   , X n } ) \sigma(\{X_{k+1},\cdots,X_n\}) σ({Xk+1​,⋯,Xn​})中可測，也就是說$2S_k{1}_{A_k}$與$S_n-S_k$獨立，並且$E[S_n-S_k]=0$，所以
$$\begin{gathered} {\int }_{A_k}2S_k(S_n-S_k)dP=\int 2S_k{1}_{A_k}dP\int (S_n-S_k)dP \\ =\int 2S_k{1}_{A_k}dPE[S_n-S_k]=0 \end{gathered}$$

因此
$$\begin{gathered} Var(S_n)\ge \sum _{k=1}^n{\int }_{A_k}{S}_k^{2}dP\ge \sum _{k=1}^{\infty }{\int }_{A_k}{x}^{2}dP=x^2\sum _{k=1}^{n}P(A_k) \\ =x^{2}P(\underset{k\ge 1}{⨆}{A}_k)=x^{2}P(\underset{1\le k\le n}{\max }|S_k|\ge x) \end{gathered}$$