UA MATH567 高維統計II 隨機向量2 各向同性的隨機向量

上一講討論隨機向量L2範數的concentration的時候假設隨機向量每個分量的方差為1，這其實是一種常用的假設，這一講我們的目標就是討論這種假設，可以把它理解為一元隨機變數方差為1的假設的推廣。

各向同性 (Isotropy) 稱一個隨機向量是各向同性的如果它的協方差矩陣為單位矩陣。對於均值為$\mu$，協方差為$\Sigma$的隨機向量$X$，我們可以定義$Z={\Sigma }^{-1/2}(X-\mu )$，顯然$Z$就是一個零均值各向同性的隨機向量。

各向同性的充要條件 $n$維隨機向量$X$各向同性等價於$\forall x\in {\mathbb{R}}^n$,
$$E⟨X,x{⟩}^2={\Vert x\Vert }_2^2$$

其中$⟨X,x⟩$表示歐氏內積。

說明
$$\begin{gathered} E⟨X,x{⟩}^2=E[x^{T}X{X}^{T}x]=x^{T}E[X{X}^T]x={\Vert x\Vert }_2^2=x^{T}x \\ \iff E[X{X}^T]=\Sigma =I_n \end{gathered}$$

各向同性的性質

1. 如果$X$是$n$維各向同性隨機向量，則$E{\Vert X\Vert }_2^2=n$
2. 如果$X,Y$是獨立的$n$維各向同性隨機向量，則$E⟨X,Y{⟩}^2=n$
3. 如果$X,Y$是獨立的$n$維零均值各向同性隨機向量，則$E{\Vert X-Y\Vert }_2^2=2n$

說明
第一條，$E{\Vert X\Vert }_2^2=E[X^{T}X]=E[tr(X^{T}X)]=E[tr(X{X}^T)]=tr(E[X{X}^T])=tr(I_n)=n$

第二條，$E⟨X,Y{⟩}^2=E[X^{T}Y{Y}^{T}X]=E_X[E_Y[X^{T}Y{Y}^{T}X]]=E_X[X^T{I}_{n}X]=E_X[X^{T}X]=n$

第三條，$E{\Vert X-Y\Vert }_2^2=E[(X-Y{)}^T(X-Y)]=E[X^{T}X]-E[X^{T}Y]-E[Y^{T}X]+E[Y^{T}Y]=E[X^{T}X]+E[Y^{T}Y]=2n$

---

幾乎正交的隨機向量：根據各向同性的性質，假設$X,Y$是獨立的$n$維各向同性隨機向量，定義
$$X_0=\frac{X}{{\Vert X\Vert }_2},Y_0=\frac{Y}{{\Vert Y\Vert }_2}$$

則
$$E⟨X_0,Y_0⟩=\frac{E⟨X,Y⟩}{{\Vert X\Vert }_2{\Vert Y\Vert }_2}$$

根據各向同性的性質第一條與第二條，
$$\frac{E⟨X,Y⟩}{{\Vert X\Vert }_2{\Vert Y\Vert }_2}=\frac{1}{\sqrt{n}}$$

另外，我們還可以計算
$$E⟨X_0,Y_0{⟩}^2=E{X}_0^T{Y}_0{Y}_0^T{X}_0=\frac{E{X}^{T}Y{Y}^{T}X}{{\Vert X\Vert }_2^2{\Vert Y\Vert }_2^2}=\frac{1}{n}$$

這樣就比較明顯了，
$$⟨X_0,Y_0⟩{\to }_{L^2}0$$

也就是當$n$足夠大時，$X_0$與$Y_0$按$L^2$趨於正交。