UA MATH563 概率論的數學基礎 中心極限定理12 強大數定律 版本2：Etemadi定理

這一講我們介紹強大數定律(Strong law of large number, SLLN)的另一個版本：

強大數定律 假設$X_1,\cdots ,X_n,n\ge 1$是兩兩獨立、同分布的隨機變數，$E|X_1|<\infty$，則
$$\bar{X}{\to }_{as}E{X}_1$$

說明
幾乎必然收斂強於均方收斂，所以稱這個結果為強大數定律、而均方收斂的結果為弱大數定律。目前最好的證明由Etemadi (1981)給出，在此之前被普遍接受的版本是概率論祖師爺Kolmogorov提供的，Kolmogorov版本的條件是$X_1,\cdots ,X_n,n\ge 1$是iid的隨機變數，且$E|X_1|<\infty$。

---

證明思路

第一步，
對一般隨機變數，我們可以做類似一般可測函式的正部與負部分解：
$$X=X^{+}-X^{-}$$

其中$X^{+}=\max (X,0),X^{-}=\max (-X,0)$。

我們驗證一下 { X n + } \{X_n^+\} {Xn+​}也滿足定理的條件：

1. 因為$X_n,X_m$獨立，因此$X_n^{+},X_m^{+}$作為它們的函式也獨立；
2. $E|X_n|=E{X}_n^{+}+E{X}_n^{-}<\infty \Rightarrow E{X}_n^{+}<\infty$

這說明正部滿足定理條件。也就是說如果非負隨機變數滿足SLLN，那麼
$$\bar{X}=S_n/n=\frac{1}{n}\sum _{i=1}^n{X}_i^{+}-\frac{1}{n}\sum _{i=1}^n{X}_i^{-}{\to }_{a.s.}E{X}_1^{+}-E{X}_1^{-}=E{X}_1$$

於是我們可以利用與構造Lebesgue積分類似的思路，把一般隨機變數簡化為非負隨機變數進行討論。

第二步，
現在我們假設$X_n$都是非負隨機變數，使用Truncation trick(截斷法，這是分析、概率論等數學領域很常用的技巧，把討論的物件分為有界、無界的兩部分分別討論)：
$$Y_n=X_n{1}_{X_n\le n}=\{\begin{array}{l}{X}_n,if{X}_n\le n\\ 0,otherwise\end{array}$$

計算
$$\sum _{n}P(X_n\ne Y_n)=\sum _{n}P(X_n>n)=\sum _{n}P(X_1>n)<\infty$$

最後這個不等式用的是Borel-Cantelli引理的引理1：$E|X|<\infty$，的充要條件是$\forall ϵ>0$，
$$\sum _{n\ge 0}P(|X|>nϵ)<\infty$$

因為$E|X_1|<\infty$，於是${\sum }_{n}P(X_1>n)<\infty$，根據Borel-Cantelli引理1，
$$P(X_n\ne Y_{n}i.o.)=0$$

定義$T_n=Y_1+\cdots +Y_n$，$P(X_n\ne Y_{n}i.o.)=0$說明$P(X_n=Y_{n}e.v.)=1$，所以依概率1我們有
$$\underset{n}{\lim }{T}_n/n=\underset{n}{\lim }{S}_n/n$$

這個結果說明我們不但可以把問題從一般隨機變數簡化為非負隨機變數，還可以進一步簡化為有界的非負隨機變數。

第三步，

Claim：
$\forall ϵ>0$，$\alpha >1$，$k(n)=\lfloor {\alpha }^n\rfloor ,\forall n$，
$$\sum _{n\ge 1}P(\frac{|T_{k(n)}-E{T}_{k(n)}|}{k(n)}>ϵ)<\infty$$

如果這個結果成立，根據Borel-Cantelli引理1，
$$P(\frac{|T_{k(n)}-E{T}_{k(n)}|}{k(n)}>ϵi.o.)=0$$

於是
$$\frac{|T_{k(n)}-E{T}_{k(n)}|}{k(n)}{\to }_{a.s.}0$$

基於這個結果我們可以說明定理對有界非負隨機變數成立，這就是證明SLLN的完整的三個步驟。

---

下面貼一個Durrett整理的證明：