UA MATH563 概率論的數學基礎 中心極限定理6 獨立隨機變數的和與Kolmogorov擴充套件定理

因為中心極限定理回答的是$n$個隨機變數的和/均值的極限分佈的問題，所以在考慮漸近結果之前，我們有必要先理解一下如果不考慮極限分佈，有沒有可能計算出當$n$有限時，$n$個隨機變數的和/均值的極限分佈。

考慮$n=2$，假設$X,Y$獨立，我們試圖分析一下$X+Y$的分佈：
$$\begin{gathered} F_{X+Y}(z)=P(X+Y\le z)={\int }_{x+y\le z}d{\mu }_X\times {\mu }_Y \\ =\iint 1_{(-\infty ,z]}(x+y)d{\mu }_X\times {\mu }_Y \\ {=}_{Fubini}\iint 1_{(-\infty ,z]}(x+y)d{\mu }_{X}d{\mu }_Y \\ =\int F_X(z-y)d{F}_Y(y)=\int F_Y(z-x)d{F}_X(x) \end{gathered}$$

它的密度為
$$\begin{gathered} f_{X+Y}(z)=\int f_X(z-y)d{F}_Y(y)=\int f_Y(z-x)d{F}_X(x) \\ =\int f_X(z-y)f_Y(y)dy=\int f_Y(z-x)f_X(x)dx \end{gathered}$$

稱$f_{X+Y}$是$f_X$與$f_Y$的卷積，記為
$$f_{X+Y}=f_X\ast f_Y$$

評註

1. 有一些比較特殊的分佈族，分佈族的函式之間的卷積仍然屬於這個分佈族，這樣的分佈族有：Gamma分佈、正態分佈、Poisson分佈、Bernoulli/二項分佈、幾何分佈/負二項分佈等；
2. 直接計算卷積是比較困難的，通常我們用Fourier變換計算卷積會容易得多，或者在概率論的語境下，即用特徵函式來計算卷積。

應用 在對實際問題進行建模時，我們常常需要用隨機變數，記為$X$，描述一些複雜的隨機性，這樣的隨機變數通常是沒有辦法寫出密度函式的解析式的，但是我們可以加上一個非常“小”的正態分佈$Y\sim N(0,{ϵ}^2)$，使得$X+Y$有密度函式的解析式，這樣我們就可以用下面的近似：
$$f_X(x)\approx f_{X+Y}(x)$$

---

接下來我們考慮$n$個獨立的隨機變數，關於$n$個獨立隨機變數我們首要關心的問題並不是它們的分佈如何計算，因為按照$n=2$的結果進行類比，$n$個獨立隨機變數的和的密度一定它們密度的卷積，至於如何計算它們的卷積那就是統計計算的問題，而不是概率論的問題了。所以從理論的角度討論$n$個獨立隨機變數, $n\in \mathbb{N}$，我們真正需要討論的是對任意自然數$n$，是否真的存在$n$個互相獨立的隨機變數？這個問題由Kolmogorov extension theorem回答。

我們首先建立一個合適的概率空間$(\Omega ,\mathcal{F},P)$：
$$\begin{gathered} \Omega ={\mathbb{R}}^n,\mathcal{F}=\mathcal{B}({\mathbb{R}}^n) \\ P={\mu }_1\times {\mu }_2\times \cdots \times {\mu }_n \end{gathered}$$

其中${\mu }_i$表示第$i$個概率分佈。然後我們定義隨機變數$X_i:\Omega \to \mathbb{R}$，簡單起見，我們假設$X_i$是coordinate map，即
$$X_i(w)=w_i,w=(w_1,\cdots ,w_i,\cdots ,w_n)$$

不難驗證$X_1,\cdots ,X_n$就是$n$個獨立的隨機變數。

但當我們想要進一步延長這個隨機變數序列，問題就比較複雜了，是否存在 { X i } i ≥ 1 \{X_i\}_{i \ge 1} {Xi​}i≥1​（無限個隨機變數的序列）使得所有的隨機變數都是獨立的呢？

同樣的，我們先試圖建立概率空間，
Ω = R ∞ = { ( w 1 , w 2 , ⋯   , w i , ⋯   ) , w i ∈ R , i ≥ 1 } F = B ( R ∞ ) = σ ( { A i 1 × ⋯ × A i k , k ≥ 1 } ) \Omega = \mathbb{R}^{\infty} = \{(w_1,w_2,\cdots,w_i,\cdots),w_i \in \mathbb{R},i \ge 1\} \\ \mathcal{F} = \mathcal{B}(\mathbb{R}^{\infty}) = \sigma(\{A_{i_1} \times \cdots \times A_{i_k},k \ge 1\}) Ω=R∞={(w1​,w2​,⋯,wi​,⋯),wi​∈R,i≥1}F=B(R∞)=σ({Ai1​​×⋯×Aik​​,k≥1})

其中$A_{i_1},\cdots ,A_{i_k}$是rectangles。那麼如何在$(\Omega ,\mathcal{F})$上定義概率測度呢？

• 對於$A_{i_1}\times \cdots \times A_{i_k}$，$$P(A_{i_1}\times \cdots \times A_{i_k})={\mu }_{i_1}(A_1)\times \cdots \times {\mu }_{i_k}(A_k)$$
• Kolmogorov extension theorem: 如果在$({\mathbb{R}}^n,\mathcal{B}({\mathbb{R}}^n))$上有概率測度${\nu }_n$，且${\nu }_n$是一致的(consistent)，即$${\nu }_{n+1}((a_1,b_1]\times \cdots \times (a_n,b_n]\times \mathbb{R})={\nu }_n((a_1,b_1]\times \cdots \times (a_n,b_n])$$那麼我們可以在可測空間$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上構造唯一一個概率測度$P$，它滿足 P ( { w : w i ∈ ( a i , b i ] , 1 ≤ i ≤ n } ) = ν n ( ( a 1 , b 1 ] × ⋯ × ( a n , b n ] ) P(\{w:w_i \in (a_i,b_i],1 \le i \le n\}) = \nu_n((a_1,b_1] \times \cdots \times (a_n,b_n] ) P({w:wi​∈(ai​,bi​],1≤i≤n})=νn​((a1​,b1​]×⋯×(an​,bn​])事實上Kolmogorov extension theorem的含義更具有一般性，只是這裡我們應用一下這個定理用來構造無限個獨立的隨機變數。

下面我們用這個思路構造無限個獨立隨機變數。前文我們論述了當$n$有限時，$X_1,\cdots ,X_n$是獨立的，記它們的分佈為${\mu }_i,1\le i\le n$，定義
$$\begin{gathered} {\nu }_n={\mu }_1\times \cdots \times {\mu }_n \\ {\nu }_n((a_1,b_1]\times \cdots \times (a_n,b_n])=\prod _{i=1}^n{\mu }_i((a_i,b_i]) \end{gathered}$$

可以驗證${\nu }_n$是一致的概率測度,
$$\begin{gathered} {\nu }_{n+1}((a_1,b_1]\times \cdots \times (a_n,b_n]\times \mathbb{R})=\prod _{i=1}^n{\mu }_i((a_i,b_i]){\mu }_{n+1}(\mathbb{R}) \\ =\prod _{i=1}^n{\mu }_i((a_i,b_i])={\nu }_n((a_1,b_1]\times \cdots \times (a_n,b_n]) \end{gathered}$$

根據Kolmogorov extension theorem，存在唯一一個$P$是$({\mathbb{R}}^{\infty },\mathcal{B}({\mathbb{R}}^{\infty }))$上的概率測度，於是定義coordinate map
$$X_i:\Omega \to \mathbb{R},X_i(w)=w_i,\forall i\ge 1$$

這就是無限個獨立的隨機變數。