UA MATH563 概率論的數學基礎 中心極限定理5 Renyi定理

這是獨立隨機變數及其性質的一個應用，假設$X_1,\cdots ,X_n{\sim }_{iid}F$，其中$F$連續可微。

引理 $P(X_i\ne X_j)=1,\forall i\ne j$
證明 我們來說明$X,Y$獨立同分佈於$F$，則$P(X=Y)=0$，這個結果非常類似在平面中，直線的Lebesgue測度為0，雖然結論非常直觀，但是我們要處理的對應也是可能取到無窮的，這在分析上會帶來一些困難，但我們可以用truncation技巧，任選一個正數$M>0$，
{ X = Y } = { X = Y , ∣ X ∣ , ∣ Y ∣ ≤ M } ∩ { X = Y , ∣ X ∣ , ∣ Y ∣ > M } \{X=Y\}=\{X=Y,|X| ,|Y| \le M\} \cap \{X=Y,|X|,|Y|>M\} {X=Y}={X=Y,∣X∣,∣Y∣≤M}∩{X=Y,∣X∣,∣Y∣>M}

先考慮第二項，根據獨立性
P ( { X = Y , ∣ X ∣ , ∣ Y ∣ > M } ) ≤ P ( ∣ X ∣ , ∣ Y ∣ > M ) = P ( ∣ X ∣ > M ) P ( ∣ Y ∣ > M ) = [ 1 − F ( M ) + F ( − M ) ] 2 P(\{X=Y,|X|,|Y|>M\}) \le P(|X|,|Y|>M) \\ = P(|X|>M)P(|Y|>M)=[1-F(M)+F(-M)]^2 P({X=Y,∣X∣,∣Y∣>M})≤P(∣X∣,∣Y∣>M)=P(∣X∣>M)P(∣Y∣>M)=[1−F(M)+F(−M)]2

根據累積分佈函式的性質，當$M$足夠大時，即$\exists \delta >0$，$\forall M>\delta$，
$$F(-M)<ϵ,1-F(M)<ϵ,\forall ϵ>0$$

下面考慮第一項，對於$|X|,|Y|\le M$的區域，我們可以把它分解成$(2Mn{)}^2$個小區域，並且只有對角線區域，也就是$(a/n,(a+1)/n]\times (a/n,(a+1)/n]$，$a=-Mn,\cdots ,Mn$這樣的區域才有概率，計算
$$\begin{gathered} P(X,Y\in (a/n,(a+1)/n]\times (a/n,(a+1)/n]) \\ =(F(\frac{a+1}{n})-F(\frac{a}{n}){)}^2 \end{gathered}$$

於是
$$\begin{gathered} P(X=Y,|X|,|Y|\le M) \\ \le P(\bigcup _a(a/n,(a+1)/n]\times (a/n,(a+1)/n]) \\ =\sum _{a=-Mn}^{Mn}(F(\frac{a+1}{n})-F(\frac{a}{n}){)}^2 \\ \le \underset{a}{\sup }|F(\frac{a+1}{n})-F(\frac{a}{n})|\sum _{a=-Mn}^{Mn}[F(\frac{a+1}{n})-F(\frac{a}{n}))] \\ =\underset{a}{\sup }|F(\frac{a+1}{n})-F(\frac{a}{n})|[F(M)-F(-M)] \\ \le \underset{a}{\sup }|F(\frac{a+1}{n})-F(\frac{a}{n})| \end{gathered}$$

因為$F$是連續的，事實上連續的累積分佈函式在閉區間上會是一致連續的，所以當$n$足夠大時，
$$\underset{a}{\sup }|F(\frac{a+1}{n})-F(\frac{a}{n})|<ϵ$$

綜上，$P(X=Y)=0$。

定義 稱$X_i$是一個record如果$X_i>\max (X_1,\cdots ,X_{i-1})$；$X_j$的rank為$R_j={\sum }_{k=1}^j{1}_{X_i\ge X_j}$，顯然$R_j=1\iff X_{j}isarecord$。

評註 我們可以這樣來理解，假設$X_1,\cdots ,X_n$表示某氣象站在某地一天內進行的$n$次溫度測量，但實際上該氣象站只需要披露最低溫與最高溫，$X_i>\max (X_1,\cdots ,X_{i-1})$表示$X_i$是到第$i$次測量為止的最高溫，於是它形成一個新記錄，$R_j$表示的是到第$j$次測量為止，第$j$次測量值的排名，顯然排名為1等價於它是一個新記錄。

Renyi定理 $R_1,\cdots ,R_n$獨立且服從同樣的分佈：
$$P(R_j=k)=\frac{1}{j},k=1,\cdots ,j$$

評述 定義 A j = { R j = 1 } A_j = \{R_j=1\} Aj​={Rj​=1}（$X_j$是一個新記錄），Renyi定理說明$1_{A_1},\cdots ,1_{A_n}$獨立，且$1_{A_j}\sim Ber(1/j)$，簡單來說也就是第一、二、。。。，n個測量成為新記錄的概率分別是$1,1/2,\cdots ,1/n$。

證明
對於$X_1,\cdots ,X_n$，用$X_1(w),\cdots ,X_n(w)$表示一組測量資料(也就是這個隨機變數序列的一個realization)，則$X_1(w),\cdots ,X_n(w)$可能有$n!$種次序(其實就是$n!$種排列)，因為$X_1,\cdots ,X_n$獨立同分布，我們可以說明每一種排列的可能性相同，下面是一個簡單的思路：

計算某一種順序的概率，比如$X_1<X_2<\cdots <X_n$，
$$P(X_1<X_2<\cdots <X_n)={\int }_{X_1<X_2<\cdots <X_n}d{\mu }_1\times {\mu }_2\times \cdots \times {\mu }_n$$

如果交換$X_1,X_2$的次序，
$$P(X_2<X_1<\cdots <X_n)={\int }_{X_2<X_1<\cdots <X_n}d{\mu }_2\times {\mu }_1\times \cdots \times {\mu }_n$$

因為$X_1,X_2$獨立同分布，${\mu }_1={\mu }_2$，所以
$$d{\mu }_1\times {\mu }_2\times \cdots \times {\mu }_n=d{\mu }_2\times {\mu }_1\times \cdots \times {\mu }_n$$

上面兩個積分割槽域對應的都是${\mathbb{R}}^n$被平均分成$n!$份後的一份，根據對稱性，
$$P(X_1<X_2<\cdots <X_n)=P(X_2<X_1<\cdots <X_n)=\frac{1}{n!}$$

對於每一種排列，我們都可以做這個操作，得到相同的概率。

經過簡單觀察，我們可以發現 { R 1 , R 2 , ⋯   , R n } \{R_1,R_2,\cdots,R_n\} {R1​,R2​,⋯,Rn​}的值與$X_1,\cdots ,X_n$的每一種排列之間是一一對應。比如$R_1=1,R_2=2,R_3=3$對應的排列順序就是$X_1>X_2>X_3$，再比如$R_1=1,R_2=1,R_3=1$對應$X_1<X_2<X_3$。所以
$$P(R_1=r_1,\cdots ,R_n=r_n)=P(某種排列順序)=\frac{1}{n!}$$

這是$R_1,\cdots ,R_n$的聯合分佈，下面我們計算每一個$R_j$的邊緣分佈。
$$\begin{gathered} P(R_j=r_j)=\sum _{r_1,\cdots ,r_{j-1},r_{j+1},\cdots ,r_n}P(R_1=r_1,\cdots ,R_n=r_n) \\ =1\times 2\times \cdots (j-1)\cdots (j+1)\times \cdots \times n/n!=\frac{1}{j} \end{gathered}$$

因此，我們不難驗證
$$\prod _{j=1}^{n}P(R_j=r_j)=P(R_1=r_1,\cdots ,R_n=r_n)=\frac{1}{n!}$$

所以$R_1,\cdots ,R_n$獨立。