UA MATH563 概率論的數學基礎 中心極限定理8 弱大數定律 Bernstein多項式逼近

前七講我們已經討論清楚了獨立性以及獨立的隨機變數序列，接下來我們想要建立關於樣本均值的理論。考慮一個獨立的隨機變數序列 { X 1 , X 2 , ⋯   , X n } \{X_1,X_2,\cdots,X_n\} {X1​,X2​,⋯,Xn​}，定義樣本和為
$$S_n=\sum _{i=1}^n{X}_i$$

定義樣本均值為
$$\bar{X}=\frac{S_n}{n}$$

我們要試圖回答的問題是$\bar{X}$服從什麼漸近分佈？它在什麼條件下會收斂到常數？

---

弱大數定律(weak law of large number, WLLN)
假設 { X n } n ≥ 1 \{X_n\}_{n \ge 1} {Xn​}n≥1​是不相關的隨機變數，$E{X}_n=\mu ,Var(X_n)\le c,\forall n\ge 1,\exists c>0$，則
$$\bar{X}{\to }_{L^2}\mu$$

說明
另外一個版本的弱大數定律的結論是$\bar{X}{\to }_p\mu$，但依概率收斂比均方收斂更弱，所以這裡敘述的是均方收斂。

Lp收斂：$X_n{\to }_{L^p}X$等價於
$$\underset{n\to \infty }{\lim }E|X_n-X{|}^p=0$$

這種收斂弱於幾乎必然收斂但強於依概率收斂，當$p=2$時是$L^2$收斂，也叫均方收斂，於是$\bar{X}{\to }_{L^2}\mu$的含義是
$$E[\bar{X}-\mu {]}^2\to 0$$

因為
$$E\bar{X}=E\sum _{i=1}^n\frac{X_i}{n}=\frac{1}{n}\sum _{i=1}^n\mu =\mu$$

所以$E[\bar{X}-\mu {]}^2=Var(\bar{X})$，於是弱大數法則的含義是樣本均值的方差趨近於0。

證明
根據Chebyshev不等式，$\forall ϵ>0$，
$$P(|\bar{X}-\mu |>ϵ)\le \frac{E[\bar{X}-\mu {]}^2}{{ϵ}^2}$$

其中（在$Var(\bar{X})$的計算中，我們需要不相關的假設）
$$E[\bar{X}-\mu {]}^2=Var(\bar{X})=\frac{1}{n^2}\sum _{i=1}^{n}Var(X_i)\le \frac{c}{n}\to 0$$

於是$P(|\bar{X}-\mu |>ϵ)\to 0$，所以$\bar{X}{\to }_p\mu$。

事實上，這個結果同樣說明$E[\bar{X}-\mu ]=0,Var(\bar{X})\to 0$於是均方收斂成立。

應用：Bernstein多項式近似

假設$f:[0,1]\to \mathbb{R}$是一個連續函式，定義
$$f_n(x)=\sum _{k=0}^n{C}_n^k{x}^k(1-x{)}^{n-k}f(k/n)$$

稱$f_n$是$f$的$n$階Bernstein多項式(Bernstein polynomial of degree n with respect to f)，我們可以證明
$$\underset{x\in [0,1]}{\sup }|f_n(x)-f(x)|\to 0,n\to \infty$$

先簡單觀察一下Bernstein多項式的構造，它非常像二項式定理的展開式，於是在概率論的語境下，我們應該把它聯絡到二項分佈：

假設$X_1,\cdots ,X_n{\sim }_{iid}Ber(p)$，即
$$P(X_i=1)=p,P(X_i=0)=1-p$$

並且
$$E{X}_i=p,Var(X_i)=p(1-p)$$

Bernoulli分佈的樣本和就是二項分佈，
$$\begin{gathered} S_n=\sum _{i=1}^n{X}_i\sim Binom(n,p) \\ P(S_n=k)=C_n^k{p}^k(1-p{)}^{n-k} \end{gathered}$$

接下來我們嘗試把Bernstein不等式用期望表示出來，先做一下簡單的輔助計算幫助理解，如果$x=p$，則
$$f_n(p)=\sum _{k=0}^n{C}_n^k{p}^k(1-p{)}^{n-k}f(k/n)=\sum _{k=0}^{n}P(S_n=k)f(k/n)$$

$k$就是$S_n$的取值，顯然這個式子就是$f(S_n/n)$的期望。因為$p\in [0,1]$，於是我們要證明的可以是$f_n(p)\to f(p)$。

下面我們嘗試用WLLN說明這個結論：

閉區間上的連續函式有界，於是
$$M=\underset{x\in [0,1]}{\sup }|f(x)|<\infty$$

閉區間上的連續函式一致連續，於是$\forall ϵ>0,\exists \delta >0$, $|x-y|<\delta$則$|f(x)-f(y)|<ϵ$；

計算
$$\begin{gathered} |f_n(p)-f(p)|=|E[f(S_n/n)]-f(p)|=|E[f(S_n/n)-f(p)]| \\ \le E|f(S_n/n)-f(p)| \\ =E[|f(S_n/n)-f(p)|,|S_n/n-p|\le \delta ] \\ +E[|f(S_n/n)-f(p)|,|S_n/n-p|>\delta ] \end{gathered}$$

其中$E[X,A]=E[X{1}_A]$，第一項
$$\begin{gathered} E[|f(S_n/n)-f(p)|,|S_n/n-p|\le \delta ] \\ \le E[ϵ,|S_n/n-p|\le \delta ]\le ϵ \end{gathered}$$

第二項
$$\begin{gathered} E[|f(S_n/n)-f(p)|,|S_n/n-p|>\delta ] \\ \le E[2M,|S_n/n-p|>\delta ]=2MP(|S_n/n-p|>\delta ) \end{gathered}$$

根據Chebyshev不等式
$$2MP(|S_n/n-p|>\delta )\le \frac{2MVar(S_n/n)}{{\delta }^2}$$

根據弱大數定律，不妨取$Var(S_n/n)<\frac{{\delta }^2ϵ}{2M}$，
$$\frac{2MVar(S_n/n)}{{\delta }^2}<ϵ$$

如果不僅僅考慮收斂性，而是考慮近似誤差的話，我們可以通過計算$Var(S_n/n)$得到$2MP(|S_n/n-p|>\delta )$的上界為
$$\frac{2M}{n^2{\delta }^2}np(1-p)\le \frac{M}{2n{\delta }^2}$$

於是
$$\underset{p\in [0,1]}{\sup }|f_n(p)-f(p)|\le ϵ+\frac{M}{2n{\delta }^2}$$