UA MATH567 高維統計II 隨機向量5 亞高斯隨機向量

這一講我們將亞高斯分佈推廣到高維。

亞高斯隨機向量 $X$是一個$n$維隨機向量，稱$X$是亞高斯隨機向量如果$\forall x\in S^{n-1}$，$⟨X,x⟩$是亞高斯隨機變數。其中$S^{n-1}$是$n$維歐式空間中的單位球面，
S n − 1 = { x ∈ R n : ∥ x ∥ 2 = 1 } S^{n-1}=\{x\in \mathbb{R}^n:\left\|x \right\|_2=1\} Sn−1={x∈Rn:∥x∥2​=1}

亞高斯隨機向量的亞高斯範數
$${\Vert X\Vert }_{{\psi }_2}=\underset{x\in S^{n-1}}{\sup }{\Vert ⟨X,x⟩\Vert }_{{\psi }_2}$$

引理 假設隨機向量$X$的各個分量均是亞高斯、互相獨立且零均值的，則$X$是亞高斯隨機向量，並且存在常數$C>0$
$${\Vert X\Vert }_{{\psi }_2}\le C\underset{i=1,\cdots ,n}{\sup }{\Vert X_i\Vert }_{{\psi }_2}$$

證明
$\forall x\in S^{n-1}$，根據推廣Hoeffding不等式的第一個結論
$${\Vert ⟨X,x⟩\Vert }_{{\psi }_2}^2={\Vert \sum _{i=1}^n{x}_i{X}_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2$$

根據範數的正齊次性，
$$\begin{gathered} C\sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2=C\sum _{i=1}^n|x_i{|}^2{\Vert X_i\Vert }_{{\psi }_2}^2\le C\sum _{i=1}^n|x_i{|}^2\max {\Vert X_i\Vert }_{{\psi }_2}^2 \\ =C\max {\Vert X_i\Vert }_{{\psi }_2}^2 \end{gathered}$$

於是
$${\Vert ⟨X,x⟩\Vert }_{{\psi }_2}^2\le C\underset{i=1,\cdots ,n}{\sup }{\Vert X_i\Vert }_{{\psi }_2}$$

事實上，在證明的第一步，我們也可以用範數的三角不等式得到：
$${\Vert \sum _{i=1}^n{x}_i{X}_i\Vert }_{{\psi }_2}^2\le \sum _{i=1}^n{\Vert x_i{X}_i\Vert }_{{\psi }_2}^2$$

例 spherical distribution是亞高斯向量
$X\sim Unif(\sqrt{n}{S}^{n-1})$，則$X$是亞高斯向量，且亞高斯範數有界。

證明
假設$g\sim N(0,I_n)$，則$X=\sqrt{n}\frac{g}{{\Vert g\Vert }_2}\sim Unif(\sqrt{n}{S}^{n-1})$，根據對稱性$⟨X,x⟩$具有相同的性質，$\forall x\in S^{n-1}$，於是為了簡化討論，我們取$x=e_1$，於是$⟨X,x⟩=X_1$，下面我們計算
$$P(X_1\ge t)=P(\sqrt{n}\frac{g_1}{{\Vert g\Vert }_2}\ge t)=P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}})$$

定義 E = { ∥ g ∥ 2 ≥ n 2 } \mathcal{E}=\{\left\| g \right\|_2 \ge \frac{\sqrt{n}}{2} \} E={∥g∥2​≥2n ​​}，第一講我們討論過，${\Vert g\Vert }_2$是亞高斯的，於是
$$P({\mathcal{E}}^C)\le P(|{\Vert g\Vert }_2-\sqrt{n}|>\frac{\sqrt{n}}{2})\le 2e^{-cn},\exists c>0$$

計算
$$\begin{gathered} P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}})=P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},\mathcal{E})+P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},{\mathcal{E}}^C) \\ \le P(\frac{g_1}{{\Vert g\Vert }_2}\ge \frac{t}{\sqrt{n}},\mathcal{E})+P({\mathcal{E}}^C)\le P(|g_1|\ge \frac{t}{2})+P({\mathcal{E}}^C) \\ \le 2e^{-\frac{t^2}{8}}+2e^{-cn} \end{gathered}$$

第一項使用的是正態分佈的上界，
$$1-\Phi (t)\le \frac{1}{\sqrt{2\pi }t}{e}^{-t^2/2}$$

下面分類討論：

情況1，假設$t\le \sqrt{n}$，則$e^{-cn}\le e^{-c{t}^2}$，於是上面的tail probability是亞高斯的；

情況2，如果$t>\sqrt{n}$，則$P(|X_1|\ge t)=0$，因為$|X_1|\le {\Vert X\Vert }_2=2$，上面的tail probability同樣是亞高斯的；

投影極限定理(project limit theorem)
$X\sim Unif(\sqrt{n}{S}^{n-1})$，$\forall x\in S^{n-1}$，$⟨X,x{⟩}_d\to N(0,1),n\to \infty$

說明
在高維的情況下，正態分佈與spherical distribution有非常緊密的聯絡，上上講我們說明了在高維的情況下，$N(0,I_n)\approx Unif(\sqrt{n}{S}^{n-1})$；這個定理則說明$Unif(\sqrt{n}{S}^{n-1})$沿球面$S^{n-1}$任意半徑的投影近似服從標準正態分佈。

根據對稱性，我們同樣考慮$X_1$，
$$X_1=\sqrt{n}\frac{g_1}{{\Vert g\Vert }_2}$$

根據弱大數定律與依概率收斂的性質，
$$\frac{\sqrt{n}}{{\Vert g\Vert }_2}{\to }_{p}1$$

而$g_1\sim N(0,1)$，所以$⟨X,x⟩$趨近於標準正態分佈。