UA MATH567 高維統計II 隨機向量1 隨機向量的範數

這是高維統計理論的第二部分，這一部分的任務是把第一部分介紹的分析一元隨機變數的concentration與尾部概率的方法推廣到隨機向量。推廣的思路是將隨機向量這種高維的結構化歸為一維的結構進行研究，比較容易想到的是隨機向量的範數、隨機向量在某個向量上的投影以及上一部分末尾提到的Lipschitz組合等，這些量都是一維的隨機變數，我們可以通過研究這類隨機變數的性質，進而去理解隨機向量的concentration與尾部概率行為。這一講我們先研究隨機向量的範數：

假設$X=(X_1,\cdots ,X_n)$，$X_i$是獨立、零均值、方差為1的隨機變數（我們假設這一講討論的所有隨機變數都是如此），則
$$E{\Vert X\Vert }_2^2=E\sum _{i=1}^n{X}_i^2=n$$

這說明${\Vert X\Vert }_2$的concentration是$\sqrt{n}$，我們想知道的是how concentrated ${\Vert X\Vert }_2$ is around $\sqrt{n}$?

L2-Norm的Concentration 假設$X$是每個分量都是獨立亞高斯的$n$維隨機變數，假設它的每個分量二階矩均為1，$K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_2}$，則$\exists C>0$
$${\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_{{\psi }_2}\le C{K}^2$$

評述 這是一個non-asymptotic result，對亞高斯範數不太瞭解的讀者可能會不明覺厲，所以我們可以結合亞高斯性和亞高斯範數簡單理解一下。首先這個不等式說明${\Vert X\Vert }_2-\sqrt{n}$的亞高斯範數有界，也就是${\Vert X\Vert }_2-\sqrt{n}$是亞高斯隨機變數，於是它的tail probability滿足
$$\begin{gathered} P(|{\Vert X\Vert }_2-\sqrt{n}|\ge t)\le 2\exp (-c{t}^2/{\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_{{\psi }_2}^2) \\ \le 2\exp (-\frac{c{t}^2}{C^2{K}^4}),\forall t>0 \end{gathered}$$

也就是tail probability的階被控制為$e^{-t^2}$。

說明 我們可以直觀理解一下這個不等式，${\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_{{\psi }_2}$可以理解為${\Vert X\Vert }_2$與$\sqrt{n}$的距離，這個不等式說明它們之間的距離是有界的。事實上對於這裡的亞高斯分佈，
$$E\sum _{i=1}^n{X}_i^2=n,Var\sum _{i=1}^n{X}_i^2=O(n)$$

類比正態分佈的性質，從直覺上講${\sum }_{i=1}^n{X}_i^2$的概率集中在$[\mu -\sigma ,\mu +\sigma ]$上，也就是$[n-O(\sqrt{n}),n+O(\sqrt{n})]$上，因此$({\sum }_{i=1}^n{X}_i^2{)}^{1/2}$的概率集中在$[\sqrt{n-O(\sqrt{n})},\sqrt{n+O(\sqrt{n})}]$上，因為（證明見末尾）
$$\sqrt{n\pm O(\sqrt{n})}=\sqrt{n}\pm O(1)$$

於是$({\sum }_{i=1}^n{X}_i^2{)}^{1/2}-\sqrt{n}$是有界的。

推論 根據亞高斯性，${\Vert X\Vert }_{L^p}\le C{\Vert X\Vert }_{{\psi }_2}\sqrt{p},\forall p\ge 1$，取$p=1$，則
$${\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_1\le C^{\prime }{K}^2,\exists C^{\prime }>0$$

進一步，我們知道
$$|E{\Vert X\Vert }_2-\sqrt{n}|\le {\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_1\le C^{\prime }{K}^2$$

也就是說average distance between ${\Vert X\Vert }_2,\sqrt{n}$ is bounded. 取$p=2$，則
$$\begin{gathered} {\Vert {\Vert X\Vert }_2-\sqrt{n}\Vert }_2\le C^{\prime \prime }{K}^2,\exists C^{\prime \prime }>0 \\ \Rightarrow E[{\Vert X\Vert }_2-\sqrt{n}{]}^2\le C^{\prime \prime 2}{K}^4 \end{gathered}$$

於是$Var({\Vert X\Vert }_2)\le C^{\prime \prime 2}{K}^4$，基於這個結果我們可以進一步討論$E{\Vert X\Vert }_2-\sqrt{n}$的上界，因為
$$\begin{gathered} (E{\Vert X\Vert }_2{)}^2=E{\Vert X\Vert }_2^2-Var({\Vert X\Vert }_2)=n-Var({\Vert X\Vert }_2) \\ \Rightarrow 0\le Var({\Vert X\Vert }_2)=n-(E{\Vert X\Vert }_2{)}^2\le C^{\prime \prime }{K}^4 \end{gathered}$$

於是
$$[\sqrt{n}-E{\Vert X\Vert }_2]=\frac{C^{\prime \prime }{K}^4}{\sqrt{n}+E{\Vert X\Vert }_2}\le \frac{C^{\prime \prime }{K}^4}{\sqrt{n}}=O(1/\sqrt{n})=o(1)$$

也就是說$\sqrt{n}-E{\Vert X\Vert }_2$趨近於0的速率至多與$1/\sqrt{n}$一致，
$$|E{\Vert X\Vert }_2-\sqrt{n}|<o(1)$$

證明 現在我們正式證明L2-Norm的Concentration。

引理1
$$E{X}^2=1\Rightarrow {\Vert X\Vert }_{{\psi }_2}\ge 1\Rightarrow K=\underset{i}{\max }{\Vert X_i\Vert }_{{\psi }_2}\ge 1$$

(可以簡單檢查這個結果，如果$E{e}^{X^2/t^2}{|}_{t=1}\ge 2$，則${\Vert X\Vert }_{{\psi }_2}\ge 1$)

引理2 $X$是亞高斯的，則$X^2-E{X}^2=X^2-1$是亞指數的，(根據centering技巧，${\Vert X^2-1\Vert }_{{\psi }_2}\le C{\Vert X^2\Vert }_{{\psi }_1}=C{\Vert X\Vert }_{{\psi }_2}$)

下面我們使用Bernstein不等式，
$$\begin{gathered} P(|\frac{{\Vert X\Vert }_2^2}{n}-1|\ge u)=P(|\frac{1}{n}\sum _{i=1}^n(X_i-1{)}^2|\ge u) \\ \le 2e^{-cn\min (\frac{u}{C{K}^2},\frac{u^2}{C^2{K}^4})}\le 2e^{-\frac{cn}{C^2{K}^4}\min (uC{K}^2,u^2)} \end{gathered}$$

這裡$C,c>0$是常數，我們不妨選擇$C$使得$C{K}^2>1$，則
$$2e^{-\frac{cn}{C^2{K}^4}\min (uC{K}^2,u^2)}\le 2e^{-\frac{C^{\prime }n}{K^4}\min (u^2,u)}$$

引理3 $|z-1|\ge \delta \Rightarrow |z^2-1|\ge \max (\delta ,{\delta }^2),\forall z\ge 0$

於是
$$\begin{gathered} P(|\frac{{\Vert X\Vert }_2}{\sqrt{n}}-1|\ge \delta )\le P(|\frac{{\Vert X\Vert }_2^2}{n}-1|\ge \max (\delta ,{\delta }^2)) \\ \le 2e^{-\frac{C^{\prime }n}{K^4}\min (u^2,u)},whereu=\max (\delta ,{\delta }^2) \end{gathered}$$

有趣的事情發生了，
$$\min (u^2,u)=\min ([\max (\delta ,{\delta }^2){]}^2,\max (\delta ,{\delta }^2))={\delta }^2,\forall \delta \ge 0$$

事實上
$$\min ([\max (x,x^2){]}^2,\max (x,x^2))=\{\begin{array}{l}{x}^2,(-\infty ,-1)\cup (0,\infty )\\ x^4,[-1,0]\end{array}$$

因此
$$P(|\frac{{\Vert X\Vert }_2}{\sqrt{n}}-1|\ge \delta )\le 2e^{-\frac{C^{\prime }n{\delta }^2}{K^4}}$$

這就說明了$\frac{{\Vert X\Vert }_2}{\sqrt{n}}-1$是亞高斯的，選擇$\delta =t/\sqrt{n}$，則
$$P(|{\Vert X\Vert }_2-\sqrt{n}|\ge t)\le 2e^{-\frac{C^{\prime }{t}^2}{K^4}}$$

並且對比亞高斯性的$$P(|X|\ge t)\le 2\exp (-c{t}^2/{\Vert X\Vert }_{{\psi }_2}^2),\forall t\ge 0$$

我們知道它的亞高斯範數與$K^2$同階。
證畢

---

附 $\sqrt{n\pm O(\sqrt{n})}=\sqrt{n}\pm O(1)$的證明

Notice that $a_n/\sqrt{n}\ge 0$. Thus, $\sqrt{n+a_n}-\sqrt{n}\ge 0$, $b_n\ge 0$. Now that $a_n<M\sqrt{n}$ and $b_n$ is increasing on $a_n$,
$$b_n<\sqrt{n+M\sqrt{n}}-\sqrt{n}=\frac{M\sqrt{n}}{\sqrt{n+M\sqrt{n}}+\sqrt{n}}\to \frac{M}{2},asn\to \infty$$

In fact, define sequence $c_n$ as $c_n=\sqrt{n+M\sqrt{n}}-\sqrt{n}$, and we’ll see $c_n$ is increasing on $n$ and has an upper bound.
$$c_n=\sqrt{{\left((\sqrt{n}+\frac{M}{2}\right)}^2-\frac{M^2}{4}}-\sqrt{n}$$

Let $f(x)=\sqrt{(x+a{)}^2-a^2}-x$, $a>0$
$$f^{\prime }(x)=\frac{x+a}{\sqrt{(x+a{)}^2-a^2}}-1=\frac{\sqrt{(x+a{)}^2}-\sqrt{(x+a{)}^2-a^2}}{\sqrt{(x+a{)}^2-a^2}}>0$$

This means $f(x)$ is monotonically increasing and in turn, $c_n$ is increasing on $n$. $$c_n=\sqrt{{\left((\sqrt{n}+\frac{M}{2}\right)}^2-\frac{M^2}{4}}-\sqrt{n}<\sqrt{{\left((\sqrt{n}+\frac{M}{2}\right)}^2}-\sqrt{n}=\frac{M}{2}$$

So $c_n$ has an upper bound. Above, we conclude that $\frac{M}{2}$ is the supremum of $c_n$. Hence, we define $M^{\prime }=\frac{M}{2}$.

Furthermore, since $0\le a_n/\sqrt{n}<M$, we may use $a_n$ to replace $O(\sqrt{n})$, so
$$\sqrt{n+a_n}-\sqrt{n}=b_n=O(1)$$

We have proved that $0\le b_n<M/2$. Thus, $b_n=O(1)$ is true.