在之前的學習中，主要基於充分統計量給出點估計，並且注重於點估計的無偏性與相合性。然而，僅有這兩個性質是不足的，無偏性只能保證統計量的均值與待估引數一致，卻無法控制統計量可能偏離待估引數的程度；相合性只能在大樣本下保證統計量到均值的收斂性，但卻對小樣本情形束手無策。今天我們將注重於統計量的有效性，即無偏統計量的抽樣分佈的方差。由於本系列為我獨自完成的，缺少審閱，如果有任何錯誤，歡迎在評論區中指出，謝謝！
Part 1：一致最小方差無偏估計
首先考慮這樣的問題：如何刻畫一個統計量的有效程度？注意到，一個統計量的取值既可能高於待估引數，亦可能低於待估引數，要綜合考慮統計量對待估引數誤差，需要用平方均衡這種雙向偏差，因此，提出均方誤差的概念：若\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的估計量，則\(\hat g(\boldsymbol{X})\)的均方誤差定義為
對於確定的統計量\(\hat g(\boldsymbol{X})\)而言，\(\mathrm{MSE}(\hat g(\boldsymbol{X}))\)是\(\theta\)的函式。顯然，一個統計量的均方誤差越小，它就越在待估引數真值附近環繞，由此，用統計量的一次觀測值作為待估引數的估計就有著越大的把握。
如果對於\(g(\theta)\)的兩個估計量\(\hat g_1(\boldsymbol{X})\)和\(\hat g_2(\boldsymbol{X})\)，恆有\(\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hat g_2(\boldsymbol{X}))\)，且嚴格不等號至少在某個\(\theta\)處成立，就稱\(\hat g_1(\boldsymbol{X})\)在均方誤差準則下優於\(\hat g_2(\boldsymbol{X})\)。如果我們能找到均方誤差最小的統計量\(\hat g(\boldsymbol{X})\)，就相當於找到了均方誤差準則下的最優統計量。
不過，均方誤差是\(\theta\)的函式，這就導致了某些統計量在\(\theta=\theta_1\)時均方誤差小，在\(\theta=\theta_2\)時均方誤差大，一致最小均方誤差估計量便不存在，需要增加約束條件，找到更可能存在的“最優”。
基於此，我們提出一致最小方差無偏估計(UMVUE)的概念，它將\(g(\theta)\)的估計量限制在了無偏估計之中，這使得UMVUE的存在可能性得以提高。並且，由於\(\mathbb{E}(\hat g(\boldsymbol{X}))=g(\theta)\)，所以
即無偏估計的均方誤差就是無偏估計的方差。
不過首先要提出的是，UMVUE往往比一致最小均方誤差估計量更容易存在，但依然不是所有引數都存在UMVUE的，並且，甚至可能有的引數根本不存在無偏估計。
以下是一個典型的不存在無偏估計的例子：\(X\sim B(n,p)\)，引數\(g(p)=1/p\)的無偏估計不存在。書上給出的證明過程如下：
首先，無偏估計不依賴於樣本容量，故假設\(n=1\)。若\(g(p)\)有無偏估計\(\hat g(X)\)，則由於\(X=0,1,\cdots,n\)，故\(\hat g(X)\)的取值只可能是\(a_0,a_1,\cdots,a_n\)，可以寫出其期望為
\[\mathbb{E}(\hat g(X))=\sum_{j=0}^n a_jC_n^jp^j(1-p)^{n-j}, \]當\(\hat g(X)\)為無偏估計時，成立以下等式：
\[\sum_{j=0}^na_jC_n^jp^j(1-p)^{n-j}=\frac{1}{p}, \]即對於某個多項式\(f\in\mathcal P_{n+1}(\mathbb{R})\)，有
\[f(p)=0,\quad \forall p\in(0,1). \]顯然，要使上式恆成立，除非\(f\)為零多項式。但\(f\)並不是零多項式，這意味著\(f(p)=0\)只會在至多\(n+1\)個點處成立，這與無偏性要求矛盾。因此，\(g(p)=1/p\)不存在無偏估計。
我們將存在無偏估計的待估引數稱為可估引數，因此UMVUE僅對可估引數作討論。我們的任務，就是用一定的方法，找到可估引數的UMVUE。
Part 2：改進無偏估計量
無偏估計量有許多，比如正態分佈\(N(\mu,\sigma^2)\)中，\(\mu\)的無偏估計就有\(X_1,2X_2-X_1,\bar X\)等。充分統計量的條件期望法是改進無偏估計量的一個典型方式，它基於如下的定理：設\(T=T(\boldsymbol{X})\)是一個充分統計量，\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的一個普通無偏估計量，則\(h(T)=\mathbb{E}[\hat g(\boldsymbol{X})|T]\)是\(g(\theta)\)的無偏估計，且
等號成立當且僅當\(\hat g(\boldsymbol{X})=h(T)\)是均方條件下成立的。它的證明不是很有必要掌握，權當了解。
因為\(T\)是\(g(\theta)\)的充分統計量，故\(\mathbb{E}(\hat g(\boldsymbol{X})|T)\)與待估引數\(g(\theta)\)無關，可以作為統計量，即
\[h(T)=\mathbb{E}(\hat g(\boldsymbol{X})|T) \]是合理定義的統計量。下證其無偏性，由全期望公式，有
\[\mathbb{E}(h(T))=\mathbb{E}[\mathbb{E}(\hat g(\boldsymbol{X})|T)]=\mathbb{E}(\hat g(\boldsymbol{X}))=g(\theta). \]最後證明其比\(\hat g(\boldsymbol{X})\)更有效，利用一個常用的拆分技巧，得到
\[\begin{aligned} \mathbb{D}(\hat g(\boldsymbol{X}))&=\mathbb{D}[\hat g(\boldsymbol{X})-h(T)+h(T)]\\ &=\mathbb{D}(h(T))+\mathbb{D}(\hat g(\boldsymbol{X})-h(T))+2\mathrm{Cov}(h(T),\hat g(\boldsymbol{X})-h(T)), \end{aligned} \]然後證明交叉項為0，這裡需要再次用到全期望公式，有
\[\begin{aligned} &\quad \mathrm{Cov}(h(T),\hat g(\boldsymbol{X})-h(T))\\ &=\mathbb{E}[h(T)-g(\theta)][\hat g(\boldsymbol{X})-h(T)]\\ &=\mathbb{E}[\mathbb{E}[(h(T)-g(\theta))(\hat g(\boldsymbol{X})-h(T))|T]]\\ &=\mathbb{E}[(h(T)-g(\theta))(\mathbb{E}(\hat g(\boldsymbol{X})|T)-h(T)]\\ &=0. \end{aligned} \]最後的等號是因為\(h(T)=\mathbb{E}(\hat g(\boldsymbol{X})|T)\)，於是代回就得到
\[\mathbb{D}(\hat g(\boldsymbol{X}))=\mathbb{D}(h(T))+\mathbb{D}(\hat g(\boldsymbol{X})-h(T))\ge \mathbb{D}(h(T)). \]等號成立當且僅當\(\mathbb{D}(\hat g(\boldsymbol{X})-h(T))^2=\mathbb{E}(\hat g(\boldsymbol{X})-h(T))^2=0\)。
這個定理的重要意義在於，如果給定的無偏估計量不是充分統計量的函式，則可以通過條件期望法，將其轉變成一個充分統計量的函式作為新的統計量，並且新的統計量總是更有效的。此外，這也對我們尋找UMVUE提出啟示：UMVUE一定是充分統計量的函式。如果不然，則可以通過對充分統計量求期望，得到一個更有效的統計量。
不過，改進後的充分統計量函式，儘管是更為有效的引數估計，但卻並不一定是UMVUE，下面的定理將給出一個驗證點估計是否為UMVUE的方法。
Part 3：零無偏估計法
零無偏估計法是用於判斷某個估計量是否為UMVUE的方法，為此，首先要提出什麼是零無偏估計。顧名思義，零無偏估計即零的無偏估計量，對某個統計量\(l(\boldsymbol{X})\)，如果有\(\mathbb{E}(l(\boldsymbol{X}))=0\)，則稱\(l(\boldsymbol{X})\)是一個零無偏估計量；如果統計量\(T\)是待估引數\(g(\theta)\)的充分統計量，且\(\mathbb{E}(h(T))=0\)，則\(h(T)\)也稱為\(g(\theta)\)的零無偏估計量。
零無偏估計法的思想、證明過程都與上述的充分統計量條件期望法類似。如果\(\hat g(\boldsymbol{X})\)是UMVUE，則對於任意其他無偏估計\(\hat g_1(\boldsymbol{X})\)，都可以視為\(\hat g_1(\boldsymbol{X})=\hat g(\boldsymbol{X})+l(\boldsymbol{X})\)，顯然這裡\(\mathbb{E}(l(\boldsymbol{X}))=0\)，要使\(\hat g_1(\boldsymbol{X})\)的方差大於\(\hat g(\boldsymbol{X})\)，可以進行拆分，即
如果最後的協方差項為0，則必有\(\mathbb{D}(\hat g_1(\boldsymbol{X}))\ge \mathbb{D}(\hat g(\boldsymbol{X}))\)。綜合以上討論，給出零無偏估計法驗證UMVUE的方式。
設\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的一個無偏估計，\(\mathbb{D}(\hat g(\boldsymbol{X}))<\infty\)，對任何\(\theta\in\Theta\)，若對任何零無偏估計\(l(\boldsymbol{X})\)都有
則\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的UMVUE。
如果\(\hat g(\boldsymbol{X})\)滿足與任何零無偏估計無關，則它是UMVUE，這是一個充分條件。但反之，它也是一個必要條件，即UMVUE必定與任何零無偏估計量無關。
如果不然，設\(\mathrm{Cov}(\hat g(\boldsymbol{X}),l(\boldsymbol{X}))=b(\theta)\ne 0\)，則可以假設\(\mathbb{D}(l(\boldsymbol{X}))=a^2(\theta)>0\)。現在固定\(\theta=\theta_0\)為常數，並設\(a(\theta_0)=a,b(\theta_0)=b\)，只要
\[\mathbb{D}(l(\boldsymbol{X}))+2\mathrm{Cov}(\hat g(\boldsymbol{X}),l(\boldsymbol{X}))=a^2(\theta_0)+2b(\theta_0)=a^2+2b<0, \]就能找到一個在\(\theta=\theta_0\)處，比\(\hat g(\boldsymbol{X})\)方差更小的無偏估計，那麼\(\hat g(\boldsymbol{X})\)就不是UMVUE。注意到，如果\(l(\boldsymbol{X})\)是零無偏估計，則\(\forall k\ne 0\)，\(kl(\boldsymbol{X})\)也是零無偏估計，就有
\[\mathbb{D}(kl(\boldsymbol{X}))+2\mathrm{Cov}(\hat g(\boldsymbol{X}),kl(\boldsymbol{X}))=k^2a^2+2bk, \]取\(k\)值為
\[\left\{\begin{array}l -\frac{2b}{a}<k<0,& b>0; \\ 0<k<-\frac{2b}{a},& b<0. \end{array}\right. \]就使得\(k^2a^2+2bk<0\)成立，於是
\[\hat g_1(\boldsymbol{X})\xlongequal{def}\hat g(\boldsymbol{X})+kl(\boldsymbol{X}) \]是\(g(\theta)\)的無偏估計量，且當\(\theta=\theta_0\)時\(\mathbb{D}(\hat g_1(\boldsymbol{X}))<\mathbb{D}(\hat g(\boldsymbol{X}))\)，故\(\hat g(\boldsymbol{X})\)不是UMVUE。
有了這個方法，我們可以驗證一些常用的充分統計量是UMVUE了。現以正態分佈\(N(\mu,\sigma^2)\)的充分統計量\((\bar X,S^2)\)為例，它們是否是UMVUE呢？如果直接驗證會稍顯繁瑣，對零無偏估計法稍加修改可以得到以下的推論：
如果\(T\)是充分統計量且\(h(T)\)是\(g(\theta)\)的一個無偏估計，對任何\(\theta\in\Theta\)與一切零無偏估計量\(\delta (T)\)都有
則\(h(T)\)是UMVUE。
這裡只是將樣本的函式改成了充分統計量的函式，以上證明過程是依然適用的。並且，由於UMVUE一定是充分統計量的函式，因此這個推論會更有應用意義。
對於正態分佈而言，充分統計量可以視為
由於\(T_1,T_2\)獨立，所以其聯合密度函式容易寫出，有
如果\(\delta(t_1,t_2)\)是零均值的，則有
令\(\exp\)部分為\(H(\mu,\sigma^2)\)，也就是我們獲得了這個關鍵的等式（它是證明的核心）：
要驗證\(\mathbb{E}(t_1,\delta(t_1,t_2))\)與\(\mathbb{E}(t_2,\delta(t_1,t_2))\)是否為0，先從第一個入手，寫出其表示式為
要驗證\(\mathbb{E}(t_1,\delta(t_1,t_2))=0\)，實際上就是驗證
不要被這個龐然大物嚇到，事實上我們唯一的條件只有\(\mathbb{E}(\delta(t_1,t_2))=0\)所對應的等式，注意到上面的等式無論\(\mu,\sigma\)的真值是多少都應該成立，所以是\(\mu,\sigma\)的二元函式，我們能做的事也很有限——對引數求導。這裡涉及到了求導與積分是否可交換的問題，我們姑且不考慮，預設視為可交換即可，由於\(\sigma^2\)很複雜，所以對\(\mu\)求導即可。唯一含有\(\mu\)的項是積分號中間的\(\exp\)部分，其導數為
於是就有
將求導後得到的式子展開，提取出引數並代入上面的結果，就有
也就說明了\(\mathbb{E}(t_1,\delta(t_1,t_2))=0\)，由\(\delta(t_1,t_2)\)的任意性以及\(T_1\)的無偏性，可知\(\bar X\)是\(\mu\)的UMVUE。
下一步證明\(T_2/(n-1)\)是\(\sigma^2\)的UMVUE，也就是證明\(\mathbb{E}(t_2,\delta(t_1,t_2))=0\)，同樣寫出需要驗證的等式為
現在我們嘗試將關鍵的等式對\(\sigma^2\)求導，同樣，先計算\(H\)對\(\sigma^2\)的偏導，有
可以看到，這裡除了出現已經確認代入能為0的常數項和\(t_1\)外，還多了\(t_1^2\)與\(t_2\)的項，\(t_2\)就是我們的目標，所以再處理一下\(t_1^2\)這一項。顯然，對\(\mu\)求導一次能得到\(t_1\)的一次項，那麼對\(\mu\)求二階導，就能得到\(t_1^2\)項，所以
這樣就出現了需要的\(t_1^2\)項，剩下的工作只有繁瑣的代入計算而已，我們實際上已經完成了證明的主要步驟，因此\(S^2\)也是\(\sigma^2\)的UMVUE。
對於一元連續或離散情形下UMVUE的驗證，難度要比二元情形下小得多，因此讀者只要掌握了正態分佈的零無偏估計法驗證，理論上其他UMVUE的驗證便不成問題。讀者可以自己嘗試其他UMVUE的驗證。
今天，我們提出了UMVUE的概念，重點在於利用充分統計量改進普通的無偏估計，並且利用零無偏估計法驗證某個充分統計量函式是否是UMVUE。但是，我們並沒有給出尋找UMVUE的方法，如果依靠感覺沒有方向地尋找再一個個驗證是否為UMVUE，是十分繁瑣且難以成功的。比如對於\(B(1,p)\)的引數估計\(g(p)=p(1-p)\)，如果用先猜想後驗證的方法來尋找UMVUE，甚至沒有入手點。
因此，明天我們將學習尋找UMVUE的方法，並介紹一個被我們忽略已久的概念——指數族。