計量經濟學複習筆記（二）：一元線性迴歸(下)

回顧上文，我們通過OLS推匯出了一元線性迴歸的兩個引數估計，得到了以下重要結論：
$${\hat{\beta }}_1=\frac{\sum x_i{y}_i}{\sum x_i^2},{\hat{\beta }}_0=\bar{Y}-{\hat{\beta }}_1\bar{X}.$$
注意總體迴歸模型是$Y={\beta }_0+{\beta }_{1}X+\mu$，同時我們還假定了$\mu \sim N(0,{\sigma }^2)$，這使得整個模型都具有正態性。這種正態性意味著許多，我們能用數理統計的知識得到點估計的優良性質，完成區間估計、假設檢驗等，本文就來詳細討論上述內容。

1、BLUE

我們選擇OLS估計量作為一元線性迴歸的引數估計量，最主要的原因就是它是最小方差線性無偏估計(Best Linear Unbiased Estimator)，這意味著它們是：

1. 線性的。
2. 無偏的。
3. 最小方差的。

不過，光給你這三個詞，你可能會對定義有所困擾——比如，關於什麼線性？又關於什麼是無偏的？我們接下來就對OLS估計量的BLUE性詳細討論，包括簡單證明。原本我認為，證明在後面再給出會更合適，引入也更順暢，但是我們接下來要討論的許多，都有賴於OLS估計量的BLUE性，因此我還是決定將這部分內容放在這裡。

首先是線性性，它指的是關於觀測值$Y_i$線性，這有什麼意義呢？注意到，在之前的討論中，我們總討論在給定$X$的取值狀況下的其他資訊，如$\mu$的條件期望、方差協方差等，因此我們往往會在這部分的討論中將$X$視為常數（而不是隨機變數）看待，這會帶來一些好處。而因為$\mu \sim N(0,{\sigma }^2)$且${\mu }_i$是從$\mu$中抽取的簡單隨機樣本，且${\mu }_i$與$X_i$無關，所以由正態分佈的性質，有
$$Y_i|X_i\sim N({\beta }_0+{\beta }_1{X}_i,{\sigma }^2).$$
實際上，由於引數真值${\beta }_1,{\beta }_1$是常數，所以每一個$Y_i$在給定了$X_i$的水平下，都獨立地由${\mu }_i$完全決定，而${\mu }_i$序列不相關（在正態分佈的情況下獨立），所以$Y_i$之間也相互獨立。這樣，如果有一個統計量是$Y_i$的線性組合，那麼由正態分佈的可加性，這個統計量就自然服從正態分佈，從而我們可以很方便地對其進行引數估計、假設檢驗等。

所以現在我們來驗證${\hat{\beta }}_0,{\hat{\beta }}_1$是$Y_i$的線性組合，先從比較容易處理的${\hat{\beta }}_1$開始，我們已經算出了
$${\hat{\beta }}_1=\frac{\sum x_i{y}_i}{\sum x_i^2},$$
為了在這個式子中出現$Y_i$，只要把$y_i$開啟就行了，也就是
$${\hat{\beta }}_1=\frac{\sum x_i(Y_i-\bar{Y})}{\sum x_i^2}=\frac{\sum x_i{Y}_i-\bar{Y}\sum x_i}{\sum x_i^2}.$$

注意到$\sum x_i=\sum (X_i-\bar{X})=0$，所以有
$${\hat{\beta }}_1=\sum _{i=1}^n\frac{x_i}{\sum x_i^2}{Y}_i\stackrel{def}{=}\sum _{i=1}^n{k}_i{Y}_i,k_i=\frac{x_i}{\sum x_i^2}.$$
這就將${\hat{\beta }}_1$表示成了$Y_i$的線性組合。同理對於${\hat{\beta }}_0$，由於
$${\hat{\beta }}_0=\bar{Y}-\bar{X}{\hat{\beta }}_1=\sum _{i=1}^n\frac{Y_i}{n}-\bar{X}\sum _{i=1}^n{k}_i{Y}_i=\sum _{i=1}^n\left(\frac{1}{n}-\bar{X}{k}_i\right)Y_i\stackrel{def}{=}\sum _{i=1}^n{w}_i{Y}_i.$$
所以${\hat{\beta }}_0$也是$Y_i$的線性組合。進一步地由於$Y_i$獨立地服從正態分佈，所以${\hat{\beta }}_1,{\hat{\beta }}_0$也服從正態分佈。

無偏性指的是${\hat{\beta }}_0,{\hat{\beta }}_1$是${\beta }_0,{\beta }_1$的無偏估計——理解概念，${\beta }_0$與${\beta }_1$是總體迴歸函式中的引數，在給定問題的情形下是一個待估引數，因此也是常數。我們已經驗證了${\hat{\beta }}_0,{\hat{\beta }}_1$都是獨立正態分佈$Y_i$的線性組合，因此它們的均值就很好求得，基於$Y_i|X_i\sim N({\beta }_0+{\beta }_1{X}_i,{\sigma }^2)$的事實，有
$$\begin{gathered} \mathbb{E}({\hat{\beta }}_1)=\sum _{i=1}^n\frac{x_i\mathbb{E}(Y_i)}{\sum x_i^2}=\sum _{i=1}^n\frac{x_i({\beta }_0+{\beta }_1{X}_i)}{\sum x_i^2}=\frac{{\beta }_0\sum x_i}{\sum x_i^2}+\frac{{\beta }_1\sum x_i{X}_i}{\sum x_i^2}, \\ \mathbb{E}({\hat{\beta }}_0)=\sum _{i=1}^n\left(\frac{1}{n}-\frac{\bar{X}{x}_i}{\sum x_i^2}\right)({\beta }_0+{\beta }_1{X}_i)={\beta }_0+{\beta }_1\bar{X}-{\beta }_1\bar{X}\frac{\sum x_i{X}_i}{\sum x_i^2}, \end{gathered}$$
由於$\sum x_i{X}_i=\sum x_i(x_i+\bar{X})=\sum x_i^2+\bar{X}\sum x_i=\sum x_i^2$且$\sum x_i=0$，所以
$$\mathbb{E}({\hat{\beta }}_1)={\beta }_1,\mathbb{E}({\hat{\beta }}_0)={\beta }_0.$$
這裡，我們得到了引數估計量${\hat{\beta }}_1,{\hat{\beta }}_0$的均值，說明了它們是無偏估計。

最後最小方差性，指的是在所有線性無偏估計中，引數估計量${\hat{\beta }}_1,{\hat{\beta }}_0$是方差最小的（注意線性無偏估計的限定條件）。為證明${\hat{\beta }}_1$是最小方差的，我們可以另外構造一個線性無偏估計量，記作
$${\hat{\beta }}_1^{\ast }=\sum _{i=1}^n(k_i+d_i)Y_i={\hat{\beta }}_1+\sum _{i=1}^n{d}_i{Y}_i,$$
無偏性要求使得
$$\mathbb{E}\left(\sum _{i=1}^n{d}_i{Y}_i\right)=\sum _{i=1}^n{d}_i({\beta }_0+{\beta }_1{X}_i)=0,$$
由${\beta }_0,{\beta }_1$的未知性，我們必須保證$\sum d_i=\sum d_i{X}_i=0$，也就是$\sum d_i(X_i-\bar{X})=\sum d_i{x}_i=0$。所以
$$\begin{array}{rl}\mathbb{D}({\hat{\beta }}_1^{\ast })=& \mathbb{D}\left({\hat{\beta }}_1+\sum _{i=1}^n{d}_i{Y}_i\right)\\ =& \mathbb{D}({\hat{\beta }}_1)+\mathbb{D}\left(\sum _{i=1}^n{d}_i{Y}_i\right)+2\mathrm{C}\mathrm{o}\mathrm{v}\left(\sum _{i=1}^n{k}_i{Y}_i,\sum _{i=1}^n{d}_i{Y}_i\right)\\ =& \mathbb{D}({\hat{\beta }}_1)+\mathbb{D}\left(\sum _{i=1}^n{d}_i{Y}_i\right)+2{\sigma }^2\sum _{i=1}^n{k}_i{d}_i\\ =& \mathbb{D}({\hat{\beta }}_1)+\mathbb{D}\left(\sum _{i=1}^n{d}_i{Y}_i\right)+2{\sigma }^2\frac{\sum x_i{d}_i}{\sum x_i^2}\\ =& \mathbb{D}({\hat{\beta }}_1)+\mathbb{D}\left(\sum _{i=1}^n{d}_i{Y}_i\right)+0\\ \ge & \mathbb{D}({\hat{\beta }}_1).\end{array}$$
同理，為證明${\hat{\beta }}_0$是最小方差的，同樣構造一個${\hat{\beta }}_0^{\ast }=\sum (w_i+d_i)Y_i$，無偏性要求也會使得$\sum w_i{d}_i=0$，仿照${\hat{\beta }}_1$的步驟就證明了$\mathbb{D}({\hat{\beta }}_0^{\ast })\ge \mathbb{D}(\hat{\beta })$。

由線性性，我們還可以計算出引數估計量的方差，因為我們要用${\hat{\beta }}_1$和${\hat{\beta }}_0$估計真值${\beta }_1,{\beta }_0$，既然它們是無偏的，它們的方差越小，估計結果就越接近我們想要的真值，因此計算它們的方差具有重要意義。
$$\begin{array}{rl}\mathbb{D}({\hat{\beta }}_1)=& {\sigma }^2\sum k_i^2={\sigma }^2\sum \frac{x_i^2}{(\sum x_i^2{)}^2}=\frac{{\sigma }^2}{\sum x_i^2}.\\ \mathbb{D}({\hat{\beta }}_0)=& {\sigma }^2\sum w_i^2\\ =& {\sigma }^2\sum {\left(\frac{1}{n}-\bar{X}{k}_i\right)}^2\\ =& {\sigma }^2\sum \left(\frac{1}{n^2}-\frac{2\bar{X}{k}_i}{n}+{\bar{X}}^2{k}_i^2\right)\\ =& {\sigma }^2\left(\frac{1}{n}+\frac{{\bar{X}}^2}{\sum x_i^2}\right)\\ =& \frac{\sum x_i^2+n{\bar{X}}^2}{n\sum x_i^2}{\sigma }^2\\ =& \frac{\sum X_i^2}{n\sum x_i^2}{\sigma }^2.\end{array}$$
它們的方差都隨著分母——自變數的離差平方和的增大而增大，這表明我們的樣本容量越大，估計值就會有越高的精度。

2、引數分佈與區間估計

結合正態性假定，我們已經確定了引數估計量的均值、方差，就得到了其分佈：
$$\begin{gathered} {\hat{\beta }}_1\sim N\left({\beta }_1,\frac{{\sigma }^2}{\sum x_i^2}\right), \\ {\hat{\beta }}_0\sim N\left({\beta }_0,\frac{\sum X_i^2}{n\sum x_i^2}{\sigma }^2\right). \end{gathered}$$
得到了引數分佈以後，我們是不是就可以對引數值給出區間估計了呢？事實上，我們還缺一個關鍵的引數——隨機誤差方差${\sigma }^2$，由於它是未知的，我們還是沒法得知方差的具體值，也就不能得到引數的真實分佈。因此，我們需要找到一個${\sigma }^2$的無偏估計。

一個很自然的想法是，用殘差項$e$作為$\mu$的估計，進而估計出$\mu$的唯一引數${\sigma }^2$，因此先探究$e$的分佈。由於
$$e_i=Y_i-({\hat{\beta }}_0+{\hat{\beta }}_1{X}_i)=({\beta }_0-{\hat{\beta }}_0)+({\beta }_1-{\hat{\beta }}_1)X_i+{\mu }_i,$$
所以看起來$e_i$也是一系列正態分佈的線性組合，但我們是否能得到$e$服從（條件）正態分佈的結論？可以，但並不是直接${\beta }_0,{\beta }_1$的直接加和，因為${\beta }_0$和${\beta }_1$的獨立性還沒有被驗證，不要忘了，只有獨立正態分佈的線性組合才服從正態分佈。我們依然可以把$e_i$看成獨立正態分佈的線性組合，因為${\hat{\beta }}_0,{\hat{\beta }}_1$都是$Y_i$的線性組合，進一步是各個${\mu }_i$的線性組合。

事實上，我們還缺少一些關鍵性的條件：${\hat{\beta }}_0$與${\hat{\beta }}_1$的協方差，還有${\hat{\beta }}_0,{\hat{\beta }}_1$與${\mu }_i$的協方差。我們可以稍作計算，得到
$$\begin{array}{rl}\mathrm{C}\mathrm{o}\mathrm{v}({\hat{\beta }}_0,{\hat{\beta }}_1)=& \mathrm{C}\mathrm{o}\mathrm{v}\left(\sum _{i=1}^n{w}_i{Y}_i,\sum _{i=1}^n{k}_i{Y}_i\right)\\ =& {\sigma }^2\sum w_i{k}_i\\ =& {\sigma }^2\sum \left(\frac{1}{n}-\bar{X}{k}_i\right)k_i\\ =& -{\sigma }^2\bar{X}\sum k_i^2\\ =& -\frac{{\sigma }^2\bar{X}}{\sum x_i^2}.\\ \mathrm{C}\mathrm{o}\mathrm{v}({\hat{\beta }}_1,{\mu }_i)=& k_i{\sigma }^2=\frac{x_i{\sigma }^2}{\sum x_i^2},\\ \mathrm{C}\mathrm{o}\mathrm{v}({\hat{\beta }}_0,{\mu }_i)=& w_i{\sigma }^2=\left(\frac{1}{n}-\bar{X}{k}_i\right){\sigma }^2=\frac{\sum x_i^2-n\bar{X}{x}_i}{n\sum x_i^2}{\sigma }^2.\end{array}$$
有了這些，我們已經可以計算$e_i$的分佈，進而用單個$e_i$得到關於${\sigma }^2$的估計，容易看出，由於均值項都被抵消，最後得到的$e_i$一定是零均值正態的。但只用一個殘差是無法估計${\sigma }^2$的，數理統計的知識告訴我們，為了充分利用樣本資訊，我們應該使用充分統計量作為估計量。容易知道，$\mathbf{e}=(e_1,\cdots ,e_n)$服從多維正態分佈，但各分量之間相互獨立，因此可以用聯合密度匯出充分統計量。忽略推導細節，這裡的充分統計量是$\sum e_i^2$，因此我們應該計算$\sum e_i^2$的分佈，從而給出${\sigma }^2$的估計量，事實上，可以證明
$$\frac{\sum e_i^2}{{\sigma }^2}\sim {\chi }^2(n-2).$$
證明過程與證明正態分佈的樣本方差服從卡方分佈類似，對於計量經濟學略顯繁瑣，如果需要，我將在後面補充這個命題的證明。現在我們知道了$\sum e_i^2$的分佈，自然可以計算均值為${\sigma }^2(n-2)$，所以我們往往會用如下估計量作為${\sigma }^2$的無偏估計：
$${\hat{\sigma }}^2=\frac{\sum e_i^2}{n-2},\frac{(n-2){\hat{\sigma }}^2}{{\sigma }^2}\sim {\chi }^2(n-2).$$
此時再來考慮${\hat{\beta }}_0,{\hat{\beta }}_1$的引數估計問題就簡單很多了，因為我們使用卡方統計量來替代方差真值，所以相應的區間估計應當基於$t$分佈構造樞軸量。對於${\hat{\beta }}_1$，有
$$\begin{gathered} {\hat{\beta }}_1\sim N\left({\beta }_1,\frac{{\sigma }^2}{\sum x_i^2}\right) \\ \frac{{\hat{\beta }}_1-{\beta }_1}{\sqrt{\frac{{\hat{\sigma }}^2}{\sum x_i^2}}}=\frac{\frac{{\hat{\beta }}_1-{\beta }_1}{\sqrt{{\sigma }^2/\sum x_i^2}}}{\sqrt{{\hat{\sigma }}^2/{\sigma }^2}}\simeq \frac{U(0,1)}{\sqrt{{\chi }_{n-2}^2/(n-2)}}\sim t(n-2). \end{gathered}$$
對於${\hat{\beta }}_0$，類似的證明過程可以得出
$$\frac{{\hat{\beta }}_0-{\beta }_0}{\sqrt{\frac{\sum x_i^2-n\bar{X}{x}_i}{n\sum x_i^2}{\hat{\sigma }}^2}}\sim t(n-2).$$
實際上，求${\hat{\beta }}_0,{\hat{\beta }}_1$的引數估計與方差未知情形的正態分佈均值估計有異曲同工之妙，只不過樣本方差的獲得方式不太一樣。對於迴歸引數，我們只要推匯出${\hat{\beta }}_0,{\hat{\beta }}_1$的方差，再用殘差平方和除以自由度$n-2$代替方差裡的${\sigma }^2$，就能得到樞軸量，剩下的過程與數理統計的情形一致。

3、引數的假設檢驗

在數理統計中，我們已經知道，對引數分佈族的假設檢驗與求引數分佈族的區間估計，在一定程度上是等價的。具體說來，如果我們已經求得引數$\lambda$的一個置信水平為$1-\alpha$的區間估計$[L,S]$，那麼對如下假設進行顯著性水平為$\alpha$的雙邊檢驗：
$$\text{test: }{H}_0:\lambda ={\lambda }_0\leftrightarrow H_1:\lambda \ne {\lambda }_0,$$
只需要判斷是否${\lambda }_0\in [L,S]$即可，如果${\lambda }_0\in [L,S]$，則接受$H_0$，否則就拒絕$H_0$。如果是單邊假設檢驗，則相應的置信區間就變成同等置信水平的置信限。因此，在我們討論完${\hat{\beta }}_0,{\hat{\beta }}_1$的分佈之後，實際上假設檢驗問題也討論完了。

在計量經濟學中，我們對單個引數的假設檢驗，最主要是用於判斷變數是否顯著的，也就是用$X$來預測$Y$是否有意義。具體說來，對於迴歸函式$Y={\beta }_0+{\beta }_{1}X+\mu$，如果${\beta }_1=0$，則我們不需要用$X$來預測$Y$，因為不論$X$是什麼取值，都對$Y$沒什麼影響。也就是檢驗如下的假設：
$$H_0:{\beta }_1=0.$$
另一種假設檢驗，是檢驗是否$X,Y$之間存在完全的比例關係，也就是有沒有$Y={\beta }_{1}X+\mu$，檢驗的假設是
$$H_0:{\beta }_0=0.$$
如果只是單純想要知道是否應該接受$H_0$，則假設檢驗與區間估計無異，但為了衡量接受原假設的信心有多大，或者拒絕原假設的信心有多大，我們都會計算檢驗的p-value。檢驗的p-value用通俗的語言解釋，就是如果你這個原假設是成立的，那麼出現比你的觀測值更離譜的觀測值的概率是多少，我們用p-value來表示這個概率，如果這個概率很小，就說明你這個觀測值已經很難再離譜了，因此我們沒有什麼接受原假設的理由；如果這個概率很大，就說明你的觀測值不離譜，完全可以接受原假設。

具體應用到迴歸係數的假設檢驗中，由於我們構造的樞軸量滿足$t$分佈，假設樞軸量的觀測值是$t_0$，則由於$t$分佈的對稱性，用$t_{\alpha }$表示$t$分佈的下$\alpha$分位數（$\mathbb{P}(t<t_{\alpha })=\alpha$），則檢驗的p-value是
$$p_v=2P(t>|t_0|).$$
如果$p_v$很小，我們就應該拒絕${\beta }_i=0$的原假設，認為迴歸係數很顯著。

現在我們繼續分析上文的案例。

通過計算，我們得到的迴歸方程為
$$Y=1.3269X-160.5962,$$
計算殘差，得到的殘差分別是4.3077、-1.0192、1.6538、-6、-2.3269、-9.6538、14.0192、-0.9808，所以殘差平方和為354.4404，方差的估計值是
$${\hat{\sigma }}^2=\frac{354.4404}{8-2}=59.0734.$$
現在，我們可以瞭解迴歸結果中的部分剩餘數值。

這裡：

• Residual SS就是殘差平方和(Residual Sum Square)，得到的結果與我們計算相差不多，這是因為我們在計算過程中忽略了部分誤差。
• Residual MS則是殘差均方誤差，計算所得的就是隨機誤差方差的估計值。
• x和_cons後面的t指的是根據假設${\beta }_1=0$和${\beta }_0=0$構造樞軸量的觀測值，後面的P>|t|就是檢驗的p-value，從這裡可以看出p-value都大於0.05，所以在顯著性水平為0.05的情況下不能拒絕等於0的原假設，認為斜率和截距都不存在。
• [95% Conf. Interval]指的是置信水平為95%的置信區間，因為這兩個引數的置信區間都包含0，所以它們得出了與假設檢驗一致的結論。

---

本文我們對迴歸係數OLS估計量的分佈作了進一步的討論，得到了基礎假設下回歸係數OLS估計量的分佈。同時，通過殘差平方和引出了隨機誤差項方差的估計，進而完成了對引數的區間估計與假設檢驗。現在留給我們的問題，就剩下回歸的效果了，我們應當如何判斷迴歸的效果如何，又應該如何使用我們建立的迴歸模型？

這些問題，留待下文討論。