UA MATH567 高維統計I 概率不等式7 亞指數性與亞指數分佈

第三講到第六講討論了亞高斯分佈，這類分佈的尾部概率滿足
$$P(|X|\ge t)\lesssim e^{-t^2/2}$$

隨著$t$增長，尾部概率下降的速率是非常大的，另一個與之類似的分佈族是亞指數分佈，這類分佈的尾部概率滿足
$$P(|X|\ge t)\lesssim e^{-t}$$

這個尾部概率下降的概率比亞高斯分佈尾部概率下降得更慢，所以亞指數分佈族包含的分佈比亞高斯分佈族包含的分佈更多。這一講我們討論亞指數性。

亞指數性 (sub-exponential property)

1. 尾部概率條件：$P(|X|\ge t)\le 2\exp (-t/K_1),\forall t\ge 0$
2. 矩條件: ${\Vert X\Vert }_{L^p}\le K_{2}p,\forall p\ge 1$
3. 矩母函式條件: $E{e}^{\lambda |X|}\le \exp (K_3\lambda ),\forall 0<\lambda \le 1/K_3$
4. 矩母函式上界: $E{e}^{|X|/K_4}\le 2$
5. 矩母函式又一個條件: $E{e}^{\lambda X}\le \exp (K_5^2{\lambda }^2),\forall \lambda ,|\lambda |\le 1/K_5,EX=0$

稱滿足這五條性質的分佈叫亞指數分佈(sub-exponential distribution)與亞高斯性類似，前四個性質等價性的證明與亞高斯分佈類似（1推2，2推3，3推4，4推1），這裡介紹一下第五條性質與其他性質的等價性（亞高斯性是3推5，5推1；亞指數性我們用5推2，2推5）。

2推5
假設性質2成立，取$K_2=1$，考慮$E{e}^{\lambda X}$，假設$EX=0$，做Taylor展開，
$$E{e}^{\lambda X}=E\left[1+\lambda X+\sum _{p=2}^{\infty }\frac{(\lambda X{)}^p}{p!}\right]=1+\sum _{p=2}^{\infty }\frac{{\lambda }^{p}E[X^p]}{p!}$$

性質2說明
$$E[X^p]\le p^p,\forall p\ge 1$$

根據Stirling公式，
$$p!\ge (p/e{)}^p$$

於是，當$|e\lambda |<1$時
$$E{e}^{\lambda X}\le 1+\sum _{p=2}^{\infty }\frac{{\lambda }^p{p}^p}{(p/e{)}^p}=1+\sum _{p=2}^{\infty }(e\lambda {)}^p=1+\frac{(e\lambda {)}^2}{1-e\lambda }$$

當$|e\lambda |<1/2$時，
$$1+\frac{(e\lambda {)}^2}{1-e\lambda }\le 1+2(e\lambda {)}^2\le e^{2e^2{\lambda }^2}$$

於是

$$E{e}^{\lambda X}\le e^{2e^2{\lambda }^2},\forall |\lambda |<1/2e$$

5推2 假設性質5成立，取$K_5=1$，根據不等式
$$|x{|}^p\le p^p(e^x+e^{-x}),\forall x\in \mathbb{R},p>0$$

我們可以得到期望的估計：
$$E|X{|}^p\le p^p(E{e}^X+E{e}^{-X})$$

性質5說明
$$E{e}^X\le e,E{e}^{-X}\le e$$

所以
$$E|X{|}^p\le 2e{p}^p$$

這就驗證了$K_2=2e$時性質2成立。

---

例 亞指數分佈的應用
在判別分析、特徵選擇等統計學習模型中，我們總是需要對特徵$X=(X_1,\cdots ,X_p{)}^T$的協方差矩陣$\Sigma$進行估計，記估計量為$\hat{\Sigma }$，目標是這個估計量與真實的協方差不要差別太大，也就是二者之差的某個範數$\Vert \hat{\Sigma }-\Sigma \Vert$需要足夠小。

但$\hat{\Sigma }$並不是一個確定的值，它是一個隨機變數，所以一種保證$\Vert \hat{\Sigma }-\Sigma \Vert$足夠小的充分條件是$\hat{\Sigma }$的每一個元素${\hat{\sigma }}_{ij}$的分佈都儘量集中在對應的真實值${\sigma }_{ij}$附近，也就是
$$P(|{\hat{\sigma }}_{ij}-{\sigma }_{ij}|)$$

這個概率要足夠的小。

一種非常常用的協方差的估計是
$${\hat{\sigma }}_{ij}=\frac{X_i^T{X}_j}{n}$$

這裡$n$表示樣本量，如果$X$是高斯的，則我們下一講會證明，$X_i^T{X}_j$是亞指數分佈，於是我們可以用亞指數性來研究概率$P(|{\hat{\sigma }}_{ij}-{\sigma }_{ij}|)$的大小。