序列相關性
序列相關性的含義
對於截面資料型別，如果樣本是獨立隨機抽取的（多元迴歸模型基本假設 MLR.2），則從理論上保證了模型的隨機干擾項相互獨立，不存在序列相關。如果模型的隨機干擾項違背了相互獨立的基本假設，則稱為存在序列相關問題。
由於時間序列資料不可重複觀測，因此以時間序列資料為樣本，一般會破壞隨機抽樣的假定。根據實證分析的一般經驗，時間序列資料也會同時伴隨著異方差問題，即違背了基本假定 MLR.5 。
\[{\rm Var}(\boldsymbol{u})={\rm E}(\boldsymbol{uu'})=\left[
\begin{array}{cccc}
\sigma^2 & \sigma_{12} & ... & \sigma_{1T} \\
\sigma_{21} & \sigma^2 & ... & \sigma_{2T} \\
\vdots & \vdots & \ddots & \vdots\\
\sigma_{T1} & \sigma_{T2} & ...& \sigma^2 \\
\end{array}
\right] = \sigma^2 \left[
\begin{array}{cccc}
1 & \rho_{12} & ... & \rho_{1T} \\
\rho_{21} & 1 & ... & \rho_{2T} \\
\vdots & \vdots & \ddots & \vdots\\
\rho_{T1} & \rho_{T2} & ...& 1 \\
\end{array}
\right] = \sigma^2\boldsymbol\Omega
\]
序列相關性的產生原因
(1) 經濟變數固有的慣性；
(2) 資料“編造”造成的相關；
(3) 模型設定偏誤；
(4) 蛛網現象（農產品的供給）；
(5) 變數之間的影響本身具有滯後效應。
序列相關性的後果
序列相關性和異方差均是模型出現了非球形擾動的現象，它們對 OLS 的影響也具有相似性。因為在序列相關性下的模型仍然滿足零條件均值，如果再滿足解釋變數是嚴格外生條件時，OLS 估計值是無偏和一致的。這裡的嚴格外生條件指的是：\(t\) 時期的誤差項 \(u_t\) 與每個時期的任何解釋變數都無關。這個條件比 MLR.4 的零條件均值要求更強。
和異方差類似，序列相關性下的 OLS 估計量不再是 BLUE，主要影響包括以下幾點：
- 引數估計量非有效；
- \(t\) 值被高估，相應的 \(F\) 檢驗與可決係數檢驗也變得不可靠；
- 模型的預測失效。
序列相關性的檢驗方法
圖示法
由於隨機干擾項不可直接觀測，可以用 OLS 殘差 \(e_t\) 代替 \(u_t\) 。一般情況下我們可以繪製 \(e_t\) - \(e_{t-1}\) 散點圖或繪製 \(e_t\) - \(t\) 散點圖來判斷序列相關性的趨勢。
迴歸檢驗法
以 \(e_t\) 為被解釋變數，以各種可能的 \(e_t\) 的相關量，如 \(e_{t-1}\) ，\(e_{t-2}\) 等為解釋變數建立迴歸方程：
\[e_t = \rho e_{t-1} + \varepsilon_t \ ,
\]
\[e_t = \rho_1 e_{t-1} + \rho_2e_{t-2} + \varepsilon_t \ ,
\]
如果存在某一種函式形式，使得方程顯著成立，則說明原模型存在序列相關性。迴歸檢驗法的優點是一旦確定了模型存在序列相關性，即可得到其相關的形式，適用於任何型別的序列相關問題的檢驗。
\({\rm DW}\) 檢驗法
\({\rm DW}\) 檢驗是 Durbin 和 Watson 提出的一種適用於小樣本的檢驗方法。\({\rm DW}\) 檢驗只能用於檢驗隨機誤差項具有一階自迴歸形式的自相關問題。這種檢驗方法是建立經濟計量模型中最常用的方法，一般的計算機軟體都可以計算出 \({\rm DW}\) 值。
首先需要注意 \({\rm DW}\) 檢驗的前提假定條件：
- 解釋變數非隨機；
- 隨機誤差項為 \({\rm AR}(1)\) 形式：\(u_t=\rho u_{t-1}+\varepsilon_t\) ；
- 模型含有截距項且不含有滯後被解釋變數，如 \(Y_{t-1}\) 。
滿足以上條件，我們可以對隨機干擾項進行 \({\rm DW}\) 檢驗，首先提出原假設 \(H_0:\rho=0\) ，即 \(u_t\) 不存在一階自迴歸。為了檢驗上述假設，構造 \({\rm DW}\) 統計量首先要求出迴歸估計式的殘差 \(e_t\) ，然後我們定義 \({\rm DW}\) 統計量：
\[{\rm DW}=\frac{\sum\limits_{t=2}^T(e_t-e_{t-1})^2}{\sum\limits_{t=1}^Te_t^2}\approx 2(1-\hat\rho)
\]
由上述討論可知 \({\rm DW}\) 的取值範圍為：\(0\leq{\rm DW}\leq4\) 。根據樣本容量 \(T\) 和不含常數項的解釋變數的個數 \(k\) 查 \({\rm DW}\) 分佈表，得臨界值 \(d_L\) 和 \(d_U\) ，然後依下列準則考察計算得到的DW值，以決定模型的自相關狀態。
| \({\rm DW}\) 取值範圍 |
檢驗決策規則 |
| \(0<{\rm DW}<d_L\) |
正自相關 |
| \(d_L<{\rm DW}<d_U\) |
不能確定 |
| \(d_U<{\rm DW}<4-d_U\) |
無自相關 |
| \(4-d_U<{\rm DW}<4-d_L\) |
不能確定 |
| \(4-d_L<{\rm DW}<4\) |
負自相關 |
從判斷準則中看到，存在兩個不能確定的 \({\rm DW}\) 值區域，這是 \({\rm DW}\) 檢驗的一大缺陷。此外 \({\rm DW}\) 檢驗只能檢驗一階自相關，對存在高階自相關和存在滯後被解釋變數的模型無法檢驗。
拉格朗日乘數檢驗（LM 檢驗，BG 檢驗）
拉格朗日乘數檢驗克服了 \({\rm DW}\) 檢驗的缺陷，適合於高階序列相關及模型中存在滯後被解釋變數的情形，由 Breusch 與 Godfrey 提出。
對於模型
\[Y_t=\beta_0+\beta_1X_{t1}+\beta_2X_{t2}+\cdots+\beta_kX_{tk}+u_t \ ,
\]
如果懷疑隨機擾動項是否存在 \({\rm AR}(p)\) 的情況：
\[u_t = \rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t \ ,
\]
可以利用拉格朗日乘數檢驗如下的受約束迴歸方程：
\[Y_t = \beta_0+\beta_1X_{t1}+...+\beta_kX_{tk}+\rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t \ ,
\]
約束條件為：
\[H_0:\rho_1=\rho_2=...=\rho_p=0 \ .
\]
根據 OLS 估計得到殘差 \(e_t\) ，構造輔助迴歸得到可決係數 \(R^2\)
\[e_t=\beta_0+\beta_1X_{t1}+...+\beta_1X_{tk}+\rho_1e_{t-1}+\rho_2e_{t-2}++...+\rho_pe_{t-p}+\varepsilon_t \ ,
\]
構造 \(LM\) 統計量，如果 \(H_0\) 為真，則 \(LM\) 統計量在大樣本下漸進服從自由度為 \(p\) 的 \(\chi^2\) 分佈：
\[LM=(T-p)R^2\sim\chi^2(p) \ .
\]
Ljung-Box 檢驗（Q 檢驗）
Ljung-Box 檢驗是一種可以檢驗高階自相關的方法。檢驗是否存在 \({\rm AR}(m)\)，提出原假設：
\[H_0:\rho_1=\rho_2=...=\rho_m=0 \ ,
\]
根據 OLS 估計得到殘差 \(e_t\) ，構造 \(Q_{LB}\) 統計量：
\[Q(m)=T(T+2)\sum_{j=1}^m\frac{\hat{\rho_j}^2}{T-j}\sim\chi^2(m) \ ,
\]
其中 \(\hat{\rho}_j\) 為 \(j\) 階滯後的樣本自相關係數：
\[\hat{\rho}_j=\frac{\hat\gamma(j)}{\hat\gamma(0)}=\frac{\sum\limits_{i=1}^{T-j}e_ie_{i+j}}{\sum\limits_{i=1}^Te_i^2} \ ,
\]
\[\hat\gamma(j) = \sum_{i=1}^{T-j}e_ie_{i+j} \ .
\]
其中滯後階數 \(m\) 的選擇會影響檢驗的效果，一般地取 \(m=\ln(T)\) 較好。
序列相關性的修正措施
廣義最小二乘法 GLS
要求 \(\boldsymbol\Omega\) 已知，假設模型存在非球形擾動，即存在自相關的同時存在異方差：
\[{\rm Var}(\boldsymbol{u})={\rm E}\left(\boldsymbol{u}\boldsymbol{u}^{\rm T}\right)=\left[
\begin{array}{cccc}
\sigma_1^2 & \sigma_{12} & ... & \sigma_{1T} \\
\sigma_{21} & \sigma_2^2 & ... & \sigma_{2T} \\
\vdots & \vdots & \ddots & \vdots\\
\sigma_{T1} & \sigma_{T2} & ...& \sigma_T^2 \\
\end{array}
\right] = \sigma^2\boldsymbol\Omega \ .
\]
類似於修正異方差的 WLS，\(\boldsymbol\Omega\) 是一對稱正定矩陣，有
\[\tilde{\boldsymbol\beta} =(\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{x})^{-1}\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{y}
\]
即為原模型的 GLS 估計量， 是無偏且有效的估計量。
假設我們已知隨機誤差項滿足 \({\rm AR}(1)\) 模型 ，這是一個 \(\boldsymbol\Omega\) 已知的情況，但如何獲取 \(\boldsymbol\Omega\) 呢？
\[u_t=\rho u_{t-1}+\varepsilon_t \ ,
\]
可以證明：
\[{\rm Var}(\boldsymbol{u})=\frac{\sigma_{\varepsilon}^2}{1-\rho^2} \left[
\begin{array}{cccc}
1 & \rho & ... & \rho^{T-1} \\
\rho & 1 & ... & \rho^{T-2} \\
\vdots & \vdots & \ddots & \vdots\\
\rho^{T-1} & \rho^{T-2} & ...& 1 \\
\end{array}
\right] = \sigma^2\boldsymbol\Omega \ .
\]
這裡的 \(\sigma^2={\rm Var}(u_t)=\dfrac{\sigma_\varepsilon^2}{1-\rho^2}\) ，從而有
\[\boldsymbol\Omega^{-1}=\frac{1}{1-\rho^2} \left[
\begin{array}{ccccccc}
1 & -\rho & 0 &... & 0 & 0 & 0 \\
-\rho & 1+\rho^2 & -\rho &... & 0 & 0 & 0 \\
0 & -\rho & 1+\rho^2 &... & 0 & 0 & 0 \\
\vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots\\
0 & 0 & 0 &... & 1+\rho^2 & -\rho & 0 \\
0 & 0 & 0 &... & -\rho & 1+\rho^2 & -\rho \\
0 & 0 & 0 &... & 0 & -\rho & 1 \\
\end{array}
\right] \ .
\]
由此我們可以看到，如果已知隨機誤差項滿足 \({\rm AR}(1)\) 模型 ，此時的 GLS 估計是可以直接計算的。
廣義差分法 GD
廣義差分法也適用於多元迴歸模型和高階序列相關問題，但要求 \(\rho\) 已知。我們以 \({\rm AR}(1)\) 的一元線性迴歸模型為例：
\[y_t=\beta_0+\beta_1x_t+u_t \ ,
\]
\[u_t=\rho u_{t-1}+\varepsilon_t \ ,
\]
寫出滯後一期的模型：
\[y_{t-1}=\beta_0+\beta_1x_{t-1}+u_{t-1} \ ,
\]
做廣義差分操作：
\[y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t \ ,
\]
\[y^*_t=\beta_0(1-\rho)+\beta_1x^*_t+\varepsilon_t
\]
其中 \(\varepsilon_t\) 滿足 MLR.1 - MLR.5，可以進行 OLS 估計得到 BLUE 的估計量，
但第一個觀測值由於差分而丟失，需要通過普萊斯-溫斯特（Praise and Winsten）變換補齊
\[y_1^*=\sqrt{1-\rho^2}y_1, \ \ x_1^*=\sqrt{1-\rho^2}x_1 \ .
\]
若存在高階序列相關：
\[u_t = \rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t \ ,
\]
則廣義差分模型為
\[\begin{aligned}
y_t-\rho_1y_{t-1}...-\rho_py_{t-p}&=\beta_0(1-\rho_1-...-\rho_p)+\beta_1(x_{t1}-\rho_1x_{t-1,1}-...-\rho_px_{t-p,1})+...\\& \ \ \ \ +\beta_k(x_{tk}-\rho_1x_{t-1,k}-...-\rho_px_{t-p,k})+\varepsilon_t \ .
\end{aligned}
\]
差分後的模型不存在序列相關問題，可以進行 OLS 估計。
可行的廣義最小二乘法 FGLS
適用於 \(\boldsymbol\Omega\) 未知時的情況。如果我們認為隨機誤差項存在一階自相關問題，我們只需要計算出 \(\hat\rho\) 就可以求出 \(\boldsymbol\Omega\) 。主要有兩種方式對 \(\rho\) 進行估計：
\[\hat\rho=1-\frac{DW}{2} \ .
\]
\[e_t = \hat\rho e_{t-1}+\varepsilon_t \ ,
\]
但我們需要注意，以上兩種方法僅適用於 \({\rm AR}(1)\) ，是粗略的精度不高的估計。
杜賓兩步法
如果我們認為隨機誤差項存在高階自相關問題，我們可以先利用廣義差分，將被解釋變數的滯後項作為解釋變數進行 OLS 迴歸，估計出自相關係數，然後再反解出 OLS 估計量。這種方法被稱為杜賓兩步法。
我們還是以 \({\rm AR}(1)\) 為例，高階自相關同理，首先寫出廣義差分模型：
\[y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t \ ,
\]
將差分模型作移項變換：
\[y_t=\beta_0(1-\rho)+\rho y_{t-1}+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t \ ,
\]
利用 OLS 估計得到 \(\hat\rho\) 即為 \(y_{t-1}\) 的係數，代入原差分方程係數對應，即可解出相應的 OLS 估計。
\[y^*_t=\beta_0^*+\beta_1^*x^*_t+\varepsilon_t \ ,
\]
\[\hat{\beta}_0=\frac{\hat{\beta}_0^*}{1-\hat\rho}\ , \ \ \ \ \hat{\beta}_1=\hat{\beta}_1^* \ .
\]
科克倫-奧科特迭代法
一般的統計軟體會帶有 Cochrane & Orcutt 迭代法的工具包。同樣以 \({\rm AR}(1)\) 為例，
step.1 使用 OLS 估計獲得殘差 \(e_t^{(1)}\) ：
\[y_t=\beta_0+\beta_1x_t+u_t \ ,
\]
step.2 利用 \(e_t^{(1)}\) 做如下回歸併獲得 \(\hat\rho^{(1)}\) ：
\[e_t^{(1)}=\rho e_{t-1}^{(1)}+\varepsilon_t \ ,
\]
step.3 利用 \(\hat\rho^{(1)}\) 對模型進行差分：
\[y_t-\hat\rho^{(1)} y_{t-1}=\beta_0(1-\hat\rho^{(1)})+\beta_1(x_t-\hat\rho^{(1)} x_{t-1})+\varepsilon_t \ ,
\]
對差分模型進行 OLS 估計得到 \(\hat{\beta}_0^*\) 和 \(\hat{\beta}_1^*\) 。
step.4 由前一步估計的結果有：
\[\hat{\beta}_0=\frac{\hat{\beta}_0^*}{1-\hat\rho}\ , \ \ \ \ \hat{\beta}_1=\hat{\beta}_1^* \ ,
\]
代入原迴歸方程得到新的殘差 \(e_t^{(2)}\) ：
\[e_t^{(2)}=y_t-\hat{\beta_0}-\hat{\beta_1}x_t \ .
\]
step 5. 利用 \(e_t^{(2)}\) 做如下回歸併獲得 \(\hat\rho^{(2)}\)，即為 \(\rho\) 的第二輪估計值：
\[e_t^{(2)}=\rho e_{t-1}^{(2)}+\varepsilon_t \ .
\]
依次迭代，當估計的 \(\hat\rho^{(k)}\) 與 \(\hat\rho^{(k+1)}\) 相差很小時，就找到了 \(\rho\) 的最佳估計值。
可以設定一個停止條件，比如看 \({\rm DW}\) 值。也可以事先設定一個精度，當相鄰兩次迭代的估計值之差小於這一精度時迭代終止。