UA MATH567 高維統計I 概率不等式10 Bernstein不等式

我們在介紹亞高斯分佈後介紹了適用於亞高斯分佈的推廣的Hoeffding不等式，對於亞指數分佈，我們可以得到類似的不等式。因為亞指數分佈相對更具有一般性，因此亞指數分佈的這個概率不等式是一個適用性比較廣的不等式。

Bernstein不等式 版本1 假設 { X i } i = 1 N \{X_i\}_{i=1}^N {Xi​}i=1N​是一列零均值獨立亞指數隨機變數，$\forall t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\sum _{i=1}^N{X}_i\right|\ge t\right)\le 2\exp \left(-c\min \left(\frac{t}{K},\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}\right)\right)$$

其中$c$是一個常數。

證明
我們先用Markov不等式討論$P({\sum }_{i=1}^N{X}_i\ge t)$,
$$\begin{gathered} P(\sum _{i=1}^N{X}_i\ge t)=P(e^{\lambda {\sum }_{i=1}^N{X}_i}\ge e^{\lambda t}) \\ \le e^{-\lambda t}E{e}^{\lambda {\sum }_{i=1}^N{X}_i}=e^{-\lambda t}\prod _{i=1}^{N}E{e}^{\lambda X_i} \end{gathered}$$

根據亞指數性5，$K_5=c{\Vert X_i\Vert }_{{\psi }_1}$
$$E{e}^{\lambda X_i}\le e^{c^2{\Vert X_i\Vert }_{{\psi }_1}^2{\lambda }^2},\forall 0<\lambda \le 1/K_5$$

要使對所有的$i$，上式均適用，我們需要進一步限制$\lambda$的取值為
$$0<\lambda \le \frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}$$

於是
$$\begin{gathered} e^{-\lambda t}\prod _{i=1}^{N}E{e}^{\lambda X_i}\le e^{-\lambda t}\prod _{i=1}^N{e}^{c^2{\Vert X_i\Vert }_{{\psi }_1}^2{\lambda }^2} \\ =\exp (-\lambda t+c^2{\lambda }^2\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2) \end{gathered}$$

接下來，我們要選擇一個$\lambda$使得這個上界最小，即我們需要解
$$\underset{0<\lambda \le \frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}}{\min }-\lambda t+c^2{\lambda }^2\sum _{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2$$

這個二次函式的最小值要麼在全域性最小點處取得，要麼在邊界上取得，即
$$\lambda =\frac{1}{c{\max }_i{\Vert X\Vert }_{{\psi }_1}}or\frac{t}{2c^2{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}$$

於是最小的上界為
$$\exp \left(-c\min \left(\frac{t}{K},\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}\right)\right)$$

對於$P(-{\sum }_{i=1}^N{X}_i\ge t)$，我們可以得到一樣的結果，這樣就說明了Bernstein不等式 版本1。

---

Bernstein不等式 版本2 假設 { X i } i = 1 N \{X_i\}_{i=1}^N {Xi​}i=1N​是一列零均值獨立亞指數隨機變數，$a$是一個常向量，$\forall t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\sum _{i=1}^N{a}_i{X}_i\right|\ge t\right)\le 2\exp \left(-c\min \left(\frac{t}{K{\Vert a\Vert }_{\infty }},\frac{t^2}{K^2{\Vert a\Vert }_2^2}\right)\right)$$

其中$c$是一個常數。

說明 我們簡單比較一下版本1和版本2，版本2試圖討論的是$X_i$的線性組合，我們可以找到版本1和2上界的對應關係。

根據亞指數範數的正齊次性
$$\sum _{i=1}^N{\Vert a_i{X}_i\Vert }_{{\psi }_1}^2=\sum _{i=1}^N{a}_i^2{\Vert X_i\Vert }_{{\psi }_1}^2\le \sum _{i=1}^N{a}_i^2{K}^2=K^2{\Vert a\Vert }_2^2$$

這體現了版本1中上界$\frac{t^2}{{\sum }_{i=1}^N{\Vert X_i\Vert }_{{\psi }_1}^2}$與$\frac{t^2}{K^2{\Vert a\Vert }_2^2}$的對應關係。

同樣根據亞指數範數的正齊次性
$$\underset{i}{\max }{\Vert a_i{X}_i\Vert }_{{\psi }_1}=\underset{i}{\max }|a_i|{\Vert X_i\Vert }_{{\psi }_1}\le {\Vert a\Vert }_{\infty }K$$

這體現了版本1中上界$\frac{t}{K}$與$\frac{t}{K{\Vert a\Vert }_{\infty }}$的對應關係。

如果取$a_i=1/N$，我們可以得到關於樣本均值的不等式：

Bernstein不等式 版本3 假設 { X i } i = 1 N \{X_i\}_{i=1}^N {Xi​}i=1N​是一列零均值獨立亞指數隨機變數，$\forall t>0$, $K={\max }_{1\le i\le N}{\Vert X_i\Vert }_{{\psi }_1}$
$$P\left(\left|\bar{X}\right|\ge t\right)\le 2\exp \left(-cN\min \left(\frac{t}{K},\frac{t^2}{K^2}\right)\right)$$

其中$c$是一個常數。

---

Bernstein不等式 版本4 假設 { X i } i = 1 N \{X_i\}_{i=1}^N {Xi​}i=1N​是一列零均值獨立亞指數上界為$K$的隨機變數，$\forall t>0$,
$$P\left(\left|\sum _{i=1}^N{X}_i\right|\ge t\right)\le 2\exp \left(-\frac{t^2/2}{{\sigma }^2+Kt/3}\right)$$

${\sigma }^2={\sum }_{i=1}^{N}E{X}_i^2$。這是使用最廣泛的一個版本，因為它能提供一個比Hoeffding不等式更小的上界。