在之前的十篇文章中，我們用了九篇文章的篇幅討論了點估計的相關知識，現在來稍作回顧。
首先，我們討論了正態分佈兩個引數——均值、方差的點估計，給出了它們的分佈資訊，並指出它們是相互獨立的；然後，我們討論到其他的分佈族，介紹了點估計的評判標準——無偏性、相合性、有效性；之後，我們基於無偏性和相合性的討論給出了常用分佈的引數點估計，並介紹了兩種常用於尋找點估計量的方法——矩法與極大似然法；最後，我們對點估計的有效性進行了討論，給出了一些驗證、尋找UMVUE的方法，並介紹了CR不等式，給出了無偏估計效率的定義。以上就是我們在前九篇文章中提到的主要內容，還順便介紹了一些常用的分佈：\(\Gamma\)分佈、\(\beta\)分佈、\(\chi^2\)分佈。
今天開始，我們將進入區間估計與假設檢驗部分。由於本系列為我獨自完成的，缺少審閱，如果有任何錯誤，歡迎在評論區中指出，謝謝！
Part 1：什麼是區間估計
區間估計同樣是引數估計的一種方法，不同於點估計用樣本計算出的一個統計量直接作為原始引數的估計，區間估計會根據抽取出的樣本，計算出一個基於樣本觀測值的區間。簡單說來，如果對總體\(f(x;\theta)\)中的引數\(\theta\)作估計，則首先從總體中獲得樣本\(\boldsymbol{X}=(X_1,\cdots,X_n)\)，並確定兩個具有確定大小關係的統計量\(\hat g_1(\boldsymbol{X})\le \hat g_2(\boldsymbol{X})\)，根據樣本觀測值計算出的區間\([\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})]\)就是待估引數\(\theta\)的區間估計。
由此，我們可以看出，區間估計依然是依賴於統計量的，並且往往需要不止一個統計量。區間估計相比於點估計的特點是，區間估計給出了一個相對“粗糙”的範圍，這就導致你需要使用這個引數時，不像點估計一樣能直接把估計值拿來用；但是，區間估計具有涵蓋引數真值的可能，因為當引數空間\(\Theta\)的取值連續時，點估計\(\hat\theta\)與真值相等的可能性\(\mathbb{P}(\hat\theta=\theta)=0\)，但是區間估計包含真值的可能性\(\mathbb{P}(\theta\in[\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})])>0\)，這使得區間估計比起點估計而言，增加了一定的可靠性。
這麼說可能比較抽象，讓我們舉一個實際的例子，還記不記得第一篇文章中yhh送我們的橙子？廠家聲稱一箱子橙子的平均重量是80斤，而我們稱量後發現橙子的平均重量是79.9斤，我們不能說廠家的聲稱是錯誤的，因為點估計與真值相等的概率為0。然而，我們通過某種手段得到了橙子重量的區間估計是\([79.5,80.5]\)斤，則你可能就會認為，橙子的重量極可能就落在這個範圍內，與80斤相差不大，因此廠家的聲稱是可以接受的。
區間估計還有另一方面的可靠性。在上面的討論中，我們得到的點估計是79.9斤，如果換一箱橙子，它的重量不可能還是79.9斤了。但是，新一箱橙子的重量可能是70斤嗎？可能性有多大？可能是80.1斤嗎？可能性又有多大？點估計無法給出直觀的感受，它只會讓你覺得，80.1斤的概率要比70斤大點兒。但是，如果我們獲得了這樣的一個區間估計：\([79.5,80.5]\)，則你就會覺得80.1斤出現的可能性比較大點，而70斤幾乎不可能出現。假如區間估計是\([60, 100]\)，則70斤和80.1斤就都很有可能出現了。這就是區間估計帶來的好處，能讓我們對預測的可能取值有更直觀的感受。
除了這種雙側都用統計量表示的區間估計，還存在一種單側區間估計，即形如\((-\infty,u(\boldsymbol{X})]\)或者\([l(\boldsymbol{X}),+\infty)\)的區間估計。這一般代表我們只關注引數的一側，而不關注另一側，我們稱這種區間估計為單側區間估計。不過，這種區間估計不是我們所要關注的重點。
Part 2：如何評價區間估計
最早接觸過的，用一個區間來表示估計範圍的，應該是高中所學的\(3\sigma\)原則：正態分佈的取值落在\([\mu-3\sigma,\mu+3\sigma]\)之外的概率小於0.01。雖然這並非區間估計（務必注意這不是區間估計），但我們也能據此來感受區間估計的兩大評價指標：精度、可靠度。
精度用區間估計的平均長度來度量。為什麼要加入“平均”二字呢？因為區間估計的上界和下界都是統計量，而統計量自身具有兩重性，故區間長度\(\hat g_2(\boldsymbol{X})-\hat g_1(\boldsymbol{X})\)也是一個隨機變數，其平均長度就是
可靠度指的是待估引數\(\theta\)被包含在區間\([\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})]\)內的可能性，其量度不像精度那麼容易度量，這裡需要引入置信水平（置信度）與置信係數的概念。置信水平指的是\([\hat g_1(\boldsymbol{X}),\hat g_2(\boldsymbol{X})]\)包含待估引數\(\theta\)的概率，一般說來這個概率可能與\(\theta\)有關，在這種情況下，置信係數則是置信水平在\(\theta\in\Theta\)上的下確界。這樣，即使置信水平是一個關於\(\theta\)的函式，置信係數也是一個\([0,1]\)之間的常數，不過我們之後經常會取置信水平本身就是常數的區間作為待估引數的區間估計。
顯然，精度和可靠度是相互制約的，如果樣本容量一定，精度低了可靠度就高，為使置信係數達到\(1\)，這個區間估計一般是\(\mathbb{R}\)。我們應當在精度和可靠度中相互權衡，來挑選合適的置信區間，為此，常使用Neyman建議的方案：在保證置信係數達到指定要求的前提下，儘可能提高精度。即，首先我們需要對區間估計有一個預期的表現，在這個預期表現之下選擇平均長度最小的區間估計。當然，預期的表現要合理，不能要一個\(100\%\)包含待估引數的蠻橫要求，這樣區間估計就會很尷尬。現行的教材一般要求這個置信係數是\(95\%\)，將其一般化，可以提出如下置信區間的概念。
設\([\hat \theta_1,\hat \theta_2]\)是引數\(\theta\)的一個區間估計，其中\(\hat\theta_1=\hat\theta_1(\boldsymbol{X})\)，\(\hat\theta_2=\hat\theta_2(\boldsymbol{X})\)。若對於給定的\(0<\alpha<1\)（常取\(\alpha=0.05\)），有
則稱\([\hat\theta_1,\hat\theta_2]\)是\(\hat\theta\)的置信水平為\(1-\alpha\)的置信區間，該區間的置信係數就是\(\inf\limits_{\theta\in\Theta}\mathbb{P}(\theta\in[\hat\theta_1,\hat\theta_2])\)。
我想，大多數讀者應該此前已經聽說過置信區間這個名詞，只是不知道其官方定義是什麼。注意到，置信區間的定義是基於Neyman建議的，即首要條件是保證置信水平，儘可能讓精度小（不一定需要）。如果\(\mathbb{P}(\theta\in[\hat\theta_1,\hat\theta_2])\)在\(\theta\in\Theta\)上是一個常數，則置信度就是置信係數，這也是我們更經常處理的情況。
對於單側區間估計的情形，我們稱滿足\(\mathbb{P}(\theta\in[\hat\theta_l,\infty))\ge 1-\alpha\)或\(\mathbb{P}(\theta\in(-\infty,\hat\theta_u])\)的單側置信區間端點\(\hat\theta_l,\hat\theta_u\)為置信水平為\(1-\alpha\)的置信限。也就是說，“限”即上限或下限，描述的是單側的置信區間。
這樣，我們就把區間估計部分的基本概念給闡釋了一遍，但至於如何尋找區間估計，相信大多數讀者依然不明白。這沒有關係，閱讀以上的部分，你只要明白Neyman的建議，以及什麼叫置信區間、置信水平即可。
Part 3：\(t\)分佈和\(F\)分佈
在開始區間估計的尋找之前，我們需要介紹正態分佈的另外兩個衍生分佈：\(t\)分佈和\(F\)分佈，它們在尋找正態分佈區間估計的過程中會發揮重要的作用。
首先是\(t\)分佈。設隨機變數\(X\sim N(0,1)\)，\(Y\sim \chi^2(n)\)，且\(X\)和\(Y\)相互獨立，則
其中\(n\)為自由度。形式上，分子是標準正態隨機變數，分母是\(\chi^2\)變數除以其自由度並開根號，\(t\)分佈的自由度即\(\chi^2\)分佈的自由度。
書上提到，\(t(n)\)分佈的密度函式是
\[p_n(x)=\frac{\Gamma(\frac{n+1}{2})}{\Gamma(\frac{n}{2})\sqrt{n\pi}}\left(1+\frac{x^2}{n} \right)^{-\frac{n+1}{2}}, \]這不是一個需要記憶的結論，證明也比較複雜，故在此不給出。
需要注意的是\(t\)分佈的一些性質：
-
\(t\)分佈關於原點對稱，即其密度函式是偶函式。
-
隨著自由度\(n\)增大，\(t(n)\)分佈趨近於標準正態分佈。
-
若\(T\sim t(n)\)，則\(\mathbb{E}(T^r)\)只有當\(r<n\)時存在。特別當\(n\ge 2\)時，
\[\mathbb{E}(T)=0, \]當\(n\ge 3\)時，
\[\mathbb{D}(T)=\frac{n}{n-2}. \]顯然其矩特徵隨著\(n\)增大，也趨近於\(N(0,1)\)的矩特徵。
-
自由度為\(1\)的\(t(1)\)分佈就是柯西分佈，密度為
\[p(x)=\frac{1}{\pi(1+x^2)}. \]其任意階矩不存在，常用於構造反例。
接下來介紹\(F\)分佈。設隨機變數\(X\sim \chi^2(m)\)，\(Y\sim \chi^2(n)\)，且\(X,Y\)相互獨立，則
其中\(m,n\)稱為\(F\)分佈的自由度，分子的自由度在前，分母的自由度在後。同樣，\(F\)分佈具有一些常用的性質：
- 若\(Z\sim F(m,n)\)，則\(1/Z\sim F(n,m)\)，這由定義顯然。
- 若\(t\sim t(n)\)，則\(t^2\sim F(1,n)\)，這由定義顯然。
這樣，結合之前已經介紹過的\(\chi^2\)分佈，我們就將正態分佈的三大衍生分佈介紹完畢了，儘管它們各自具有一定的性質，但其構造方式是最重要的。這三大分佈，都可以由正態分佈隨機變數構造而成（\(\chi^2\)變數也可以視為正態變數），結合正態分佈所自帶的變換性質，可以呈現出各種各樣的變化。
比如，如果\(X_1,\cdots,X_n\)是從正態總體\(N(\mu,\sigma^2)\)所抽取的簡單隨機樣本，這裡\(\mu,\sigma^2\)未知，所以\(\bar X,S^2\)的分佈中肯定都帶有未知引數，如果我們想消除未知引數的影響，可以參考正態分佈的標準化過程：\((U-\mu)/\sigma\sim N(0,1)\)構造出不含未知引數的統計量。
首先，由於\(\bar X\sim N(\mu,\sigma^2/n)\)，所以
又由於
所以有
神奇的是，未知引數\(\sigma\)被消除了，所以我們得到了一個具有確定分佈的統計量。這個方法，在下一篇文章中將發揮重要的作用，其他的變換我們也以後再展開。
本文的前兩個部分是區間估計的基本知識介紹，第三部分是正態分佈的另外兩個衍生分佈，在下一篇文章中，我們將探索構造區間估計的方法。