【Econometrics】06. 自相關

lixddddd發表於2020-10-31

Contents

自相關

含義

自相關（auto correlation），又稱為序列相關（serial correlation），和異方差一樣違背了 MLR.5。
V a r ( u ) = E ( u u ′ ) = [ σ 2 σ 12 . . . σ 1 T σ 21 σ 2 . . . σ 2 T ⋮ ⋮ ⋱ ⋮ σ T 1 σ T 2 . . . σ 2 ] = σ 2 [ 1 ρ 12 . . . ρ 1 T ρ 21 1 . . . ρ 2 T ⋮ ⋮ ⋱ ⋮ ρ T 1 ρ T 2 . . . 1 ] = σ 2 Ω Var(\boldsymbol{u})=E(\boldsymbol{uu'})=\left[ \begin{array}{cccc} \sigma^2 & \sigma_{12} & ... & \sigma_{1T} \\ \sigma_{21} & \sigma^2 & ... & \sigma_{2T} \\ \vdots & \vdots & \ddots & \vdots\\ \sigma_{T1} & \sigma_{T2} & ...& \sigma^2 \\ \end{array} \right] = \sigma^2 \left[ \begin{array}{cccc} 1 & \rho_{12} & ... & \rho_{1T} \\ \rho_{21} & 1 & ... & \rho_{2T} \\ \vdots & \vdots & \ddots & \vdots\\ \rho_{T1} & \rho_{T2} & ...& 1 \\ \end{array} \right] = \sigma^2\boldsymbol\Omega Var(u)=E(uu′)=⎣⎢⎢⎢⎡​σ2σ21​⋮σT1​​σ12​σ2⋮σT2​​......⋱...​σ1T​σ2T​⋮σ2​⎦⎥⎥⎥⎤​=σ2⎣⎢⎢⎢⎡​1ρ21​⋮ρT1​​ρ12​1⋮ρT2​​......⋱...​ρ1T​ρ2T​⋮1​⎦⎥⎥⎥⎤​=σ2Ω

產生原因

  • 經濟系統的慣性與滯後
  • 資料“編造”造成的相關
  • 模型設定偏誤

後果

(同異方差)

  • 引數估計量非有效
  • t t t 值被高估，相應的 F 檢驗與可決係數檢驗也變得不可靠
  • 模型的預測失效

檢驗方法

圖示法

  • 繪製 e t e_t et​ - e t − 1 e_{t-1} et−1​ 散點圖
  • 繪製 e t e_t et​ - t t t 散點圖

迴歸檢驗法
e t = ρ e t − 1 + ϵ t e_t = \rho e_{t-1} + \epsilon_t et​=ρet−1​+ϵt​

e t = ρ 1 e t − 1 + ρ 2 e t − 2 + ϵ t e_t = \rho_1 e_{t-1} + \rho_2e_{t-2} + \epsilon_t et​=ρ1​et−1​+ρ2​et−2​+ϵt​

如果存在某一種函式形式，使得方程顯著成立，則說明原模型存在自相關。

DW 檢驗法

  • 假定條件
    • 解釋變數非隨機
    • 隨機誤差項為 AR(1) 形式： u t = ρ u t − 1 + ϵ t u_t=\rho u_{t-1}+\epsilon_t ut​=ρut−1​+ϵt​
    • 含有截距項且不含有滯後因變數
  • 計算 D W DW DW 值

D W = ∑ t = 2 T ( e t − e t − 1 ) 2 ∑ t = 1 T e t 2 ≈ 2 ( 1 − ρ ) DW=\frac{\sum_{t=2}^T(e_t-e_{t-1})^2}{\sum_{t=1}^Te_t^2}\approx 2(1-\rho) DW=∑t=1T​et2​∑t=2T​(et​−et−1​)2​≈2(1−ρ)

  • 給定 α \alpha α 和樣本容量 T T T 和解釋變數個數 k k k，查 DW 分佈表，得臨界值 d L d_L dL​ 和 d U d_U dU​
DW 取值範圍檢驗決策規則
0 < D W < d L 0<DW<d_L 0<DW<dL​正自相關
d L < D W < d U d_L<DW<d_U dL​<DW<dU​不能確定
d U < D W < 4 − d U d_U<DW<4-d_U dU​<DW<4−dU​無自相關
4 − d U < D W < 4 − d L 4-d_U<DW<4-d_L 4−dU​<DW<4−dL​不能確定
4 − d L < D W < 4 4-d_L<DW<4 4−dL​<DW<4負自相關

拉格朗日乘數檢驗（LM 檢驗，BG 檢驗）

適合於高階序列相關及模型中存在滯後被解釋變數的情形。

根據 OLS 估計得到殘差 e t e_t et​

檢驗是否存在 AR§
u t = ρ 1 u t − 1 + ρ 2 u t − 2 + + . . . + ρ p u t − p + ϵ t u_t = \rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\epsilon_t ut​=ρ1​ut−1​+ρ2​ut−2​++...+ρp​ut−p​+ϵt​

受約束迴歸方程
y t = β 0 + β 1 x t 1 + . . . + β 1 x t k + ρ 1 u t − 1 + ρ 2 u t − 2 + + . . . + ρ p u t − p + ϵ t y_t = \beta_0+\beta_1x_{t1}+...+\beta_1x_{tk}+\rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\epsilon_t yt​=β0​+β1​xt1​+...+β1​xtk​+ρ1​ut−1​+ρ2​ut−2​++...+ρp​ut−p​+ϵt​

H 0 : ρ 1 = ρ 2 = . . . = ρ p = 0 H_0:\rho_1=\rho_2=...=\rho_p=0 H0​:ρ1​=ρ2​=...=ρp​=0

構造輔助迴歸得到可決係數 R 2 R^2 R2
e t = β 0 + β 1 x t 1 + . . . + β 1 x t k + ρ 1 e t − 1 + ρ 2 e t − 2 + + . . . + ρ p e t − p + ϵ t e_t=\beta_0+\beta_1x_{t1}+...+\beta_1x_{tk}+\rho_1e_{t-1}+\rho_2e_{t-2}++...+\rho_pe_{t-p}+\epsilon_t et​=β0​+β1​xt1​+...+β1​xtk​+ρ1​et−1​+ρ2​et−2​++...+ρp​et−p​+ϵt​
構造 L M LM LM 統計量
L M = ( T − p ) R 2 ∼ χ 2 ( p ) LM=(T-p)R^2\sim\chi^2(p) LM=(T−p)R2∼χ2(p)
如何確定 p —— 自相關圖

Ljung-Box 檢驗（Q 檢驗）

根據 OLS 估計得到殘差 e t e_t et​

檢驗是否存在 AR(m)，提出原假設
H 0 : ρ 1 = ρ 2 = . . . = ρ m = 0 H_0:\rho_1=\rho_2=...=\rho_m=0 H0​:ρ1​=ρ2​=...=ρm​=0
構造 Q 統計量
Q ( m ) = T ( T + 2 ) ∑ j = 1 m ρ j ^ 2 T − j ∼ χ 2 ( m ) Q(m)=T(T+2)\sum_{j=1}^m\frac{\hat{\rho_j}^2}{T-j}\sim\chi^2(m) Q(m)=T(T+2)j=1∑m​T−jρj​^​2​∼χ2(m)
其中 ρ j ^ \hat{\rho_j} ρj​^​ 為 j j j 階滯後的自相關係數
ρ j ^ = γ ^ ( j ) γ ^ ( 0 ) = ∑ i = j + 1 t e i e i − j ∑ i = 1 t e i 2 \hat{\rho_j}=\frac{\hat\gamma(j)}{\hat\gamma(0)}=\frac{\sum_{i=j+1}^te_ie_{i-j}}{\sum_{i=1}^t e_i^2} ρj​^​=γ^​(0)γ^​(j)​=∑i=1t​ei2​∑i=j+1t​ei​ei−j​​

γ ^ ( j ) = ∑ i = j + 1 t e i e i − j \hat\gamma(j) = \sum_{i=j+1}^te_ie_{i-j} γ^​(j)=i=j+1∑t​ei​ei−j​

m m m 的選擇會影響檢驗的效果，simulation 發現取 m = l n ( T ) m=ln(T) m=ln(T) 較好

修正措施

廣義最小二乘法 GLS

要求 Ω \boldsymbol\Omega Ω 已知，如果存在自相關，同時存在異方差
V a r ( u ) = E ( u u ′ ) = [ σ 1 2 σ 12 . . . σ 1 T σ 21 σ 2 2 . . . σ 2 T ⋮ ⋮ ⋱ ⋮ σ T 1 σ T 2 . . . σ T 2 ] = σ 2 Ω Var(\boldsymbol{u})=E(\boldsymbol{uu'})=\left[ \begin{array}{cccc} \sigma_1^2 & \sigma_{12} & ... & \sigma_{1T} \\ \sigma_{21} & \sigma_2^2 & ... & \sigma_{2T} \\ \vdots & \vdots & \ddots & \vdots\\ \sigma_{T1} & \sigma_{T2} & ...& \sigma_T^2 \\ \end{array} \right] = \sigma^2\boldsymbol\Omega Var(u)=E(uu′)=⎣⎢⎢⎢⎡​σ12​σ21​⋮σT1​​σ12​σ22​⋮σT2​​......⋱...​σ1T​σ2T​⋮σT2​​⎦⎥⎥⎥⎤​=σ2Ω
類似於修正異方差的 WLS， Ω \boldsymbol\Omega Ω 是一對稱正定矩陣
β ~ = ( x ′ Ω − 1 x ) − 1 x ′ Ω − 1 y \tilde{\boldsymbol\beta} =(\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{x})^{-1}\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{y} β~​=(x′Ω−1x)−1x′Ω−1y
即為原模型的 GLS 估計量， 是無偏、有效的估計量。

如何獲取 AR(1) 模型的 Ω \boldsymbol\Omega Ω
u t = ρ u t − 1 + ϵ t u_t=\rho u_{t-1}+\epsilon_t ut​=ρut−1​+ϵt​
可以證明
V a r ( u ) = σ ϵ 2 1 − ρ 2 [ 1 ρ . . . ρ T − 1 ρ 1 . . . ρ T − 2 ⋮ ⋮ ⋱ ⋮ ρ T − 1 ρ T − 2 . . . 1 ] = σ 2 Ω Var(\boldsymbol{u})=\frac{\sigma_{\epsilon}^2}{1-\rho^2} \left[ \begin{array}{cccc} 1 & \rho & ... & \rho^{T-1} \\ \rho & 1 & ... & \rho^{T-2} \\ \vdots & \vdots & \ddots & \vdots\\ \rho^{T-1} & \rho^{T-2} & ...& 1 \\ \end{array} \right] = \sigma^2\boldsymbol\Omega Var(u)=1−ρ2σϵ2​​⎣⎢⎢⎢⎡​1ρ⋮ρT−1​ρ1⋮ρT−2​......⋱...​ρT−1ρT−2⋮1​⎦⎥⎥⎥⎤​=σ2Ω
從而
Ω − 1 = 1 1 − ρ 2 [ 1 − ρ 0 . . . 0 0 0 − ρ 1 + ρ 2 − ρ . . . 0 0 0 0 − ρ 1 + ρ 2 . . . 0 0 0 ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ ⋮ 0 0 0 . . . 1 + ρ 2 − ρ 0 0 0 0 . . . − ρ 1 + ρ 2 − ρ 0 0 0 . . . 0 − ρ 1 ] \boldsymbol\Omega^{-1}=\frac{1}{1-\rho^2} \left[ \begin{array}{ccccccc} 1 & -\rho & 0 &... & 0 & 0 & 0 \\ -\rho & 1+\rho^2 & -\rho &... & 0 & 0 & 0 \\ 0 & -\rho & 1+\rho^2 &... & 0 & 0 & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots\\ 0 & 0 & 0 &... & 1+\rho^2 & -\rho & 0 \\ 0 & 0 & 0 &... & -\rho & 1+\rho^2 & -\rho \\ 0 & 0 & 0 &... & 0 & -\rho & 1 \\ \end{array} \right] Ω−1=1−ρ21​⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​1−ρ0⋮000​−ρ1+ρ2−ρ⋮000​0−ρ1+ρ2⋮000​.........⋱.........​000⋮1+ρ2−ρ0​000⋮−ρ1+ρ2−ρ​000⋮0−ρ1​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

廣義差分法 GD

要求 ρ \rho ρ 已知，考慮 AR(1) 的一元線性迴歸模型（多元同理）

y t = β 0 + β 1 x t + u t y_t=\beta_0+\beta_1x_t+u_t yt​=β0​+β1​xt​+ut​

u t = ρ u t − 1 + ϵ t u_t=\rho u_{t-1}+\epsilon_t ut​=ρut−1​+ϵt​

滯後一期
y t − 1 = β 0 + β 1 x t − 1 + u t − 1 y_{t-1}=\beta_0+\beta_1x_{t-1}+u_{t-1} yt−1​=β0​+β1​xt−1​+ut−1​
廣義差分
y t − ρ y t − 1 = β 0 ( 1 − ρ ) + β 1 ( x t − ρ x t − 1 ) + ϵ t y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\epsilon_t yt​−ρyt−1​=β0​(1−ρ)+β1​(xt​−ρxt−1​)+ϵt​

y t ∗ = β 0 ( 1 − ρ ) + β 1 x t ∗ + ϵ t y^*_t=\beta_0(1-\rho)+\beta_1x^*_t+\epsilon_t yt∗​=β0​(1−ρ)+β1​xt∗​+ϵt​

其中 ϵ t \epsilon_t ϵt​ 滿足 CLM1 - CLM5，可以進行 OLS 估計得到 BLUE 的估計量

但第一個觀測值由於差分而丟失，需要通過普萊斯-溫斯特（Praise and Winsten）變換補齊
y 1 ∗ = 1 − ρ 2 y 1 ,    x 1 ∗ = 1 − ρ 2 x 1 y_1^*=\sqrt{1-\rho^2}y_1, \ \ x_1^*=\sqrt{1-\rho^2}x_1 y1∗​=1−ρ2 ​y1​,  x1∗​=1−ρ2 ​x1​
若存在高階序列相關
u t = ρ 1 u t − 1 + ρ 2 u t − 2 + + . . . + ρ p u t − p + ϵ t u_t = \rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\epsilon_t ut​=ρ1​ut−1​+ρ2​ut−2​++...+ρp​ut−p​+ϵt​
則廣義差分模型為
y t − ρ 1 y t − 1 . . . − ρ p y t − p = β 0 ( 1 − ρ 1 − . . . − ρ p ) + β 1 ( x t 1 − ρ 1 x t − 1 , 1 − . . . − ρ p x t − p , 1 ) + . . . + β k ( x t k − ρ 1 x t − 1 , k − . . . − ρ p x t − p , k ) + ϵ t y_t-\rho_1y_{t-1}...-\rho_py_{t-p}=\beta_0(1-\rho_1-...-\rho_p)+\beta_1(x_{t1}-\rho_1x_{t-1,1}-...-\rho_px_{t-p,1})+...+\beta_k(x_{tk}-\rho_1x_{t-1,k}-...-\rho_px_{t-p,k})+\epsilon_t yt​−ρ1​yt−1​...−ρp​yt−p​=β0​(1−ρ1​−...−ρp​)+β1​(xt1​−ρ1​xt−1,1​−...−ρp​xt−p,1​)+...+βk​(xtk​−ρ1​xt−1,k​−...−ρp​xt−p,k​)+ϵt​

Ω \boldsymbol\Omega Ω 未知時的 FGLS

DW 推算
ρ ^ = 1 − D W 2 \hat\rho=1-\frac{DW}{2} ρ^​=1−2DW​
OLS 估計
e t = ρ ^ e t − 1 + ϵ t e_t = \hat\rho e_{t-1}+\epsilon_t et​=ρ^​et−1​+ϵt​
以上兩種方法僅適用於 AR(1) ，粗略的精度不高的估計

杜賓兩步法

以 AR(1) 為例，高階自相關同理
y t − ρ y t − 1 = β 0 ( 1 − ρ ) + β 1 ( x t − ρ x t − 1 ) + ϵ t y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\epsilon_t yt​−ρyt−1​=β0​(1−ρ)+β1​(xt​−ρxt−1​)+ϵt​
將差分模型變換為
y t = β 0 ( 1 − ρ ) + ρ y t − 1 + β 1 ( x t − ρ x t − 1 ) + ϵ t y_t=\beta_0(1-\rho)+\rho y_{t-1}+\beta_1(x_t-\rho x_{t-1})+\epsilon_t yt​=β0​(1−ρ)+ρyt−1​+β1​(xt​−ρxt−1​)+ϵt​
利用 OLS 估計得到 ρ ^ \hat\rho ρ^​ ，代入原差分方程進行新的滿足古典假定的迴歸
y t ∗ = β 0 ∗ + β 1 ∗ x t ∗ + ϵ t y^*_t=\beta_0^*+\beta_1^*x^*_t+\epsilon_t yt∗​=β0∗​+β1∗​xt∗​+ϵt​

β 0 ^ = β 0 ∗ ^ 1 − ρ ^ ,    β 1 ^ = β 1 ∗ ^ \hat{\beta_0}=\frac{\hat{\beta_0^*}}{1-\hat\rho}, \ \ \hat{\beta_1}=\hat{\beta_1^*} β0​^​=1−ρ^​β0∗​^​​,  β1​^​=β1∗​^​

科克倫-奧科特（Cochrane - Orcutt）迭代法

同樣以 AR(1) 為例

step 1. 使用 OLS 估計獲得殘差 e t ( 1 ) e_t^{(1)} et(1)​
y t = β 0 + β 1 x t + u t y_t=\beta_0+\beta_1x_t+u_t yt​=β0​+β1​xt​+ut​
step 2. 利用 e t ( 1 ) e_t^{(1)} et(1)​ 做如下回歸併獲得 ρ ^ ( 1 ) \hat\rho^{(1)} ρ^​(1)
e t ( 1 ) = ρ e t − 1 ( 1 ) + ϵ t e_t^{(1)}=\rho e_{t-1}^{(1)}+\epsilon_t et(1)​=ρet−1(1)​+ϵt​
step 3. 利用 ρ ^ ( 1 ) \hat\rho^{(1)} ρ^​(1) 對模型進行差分
y t − ρ ^ ( 1 ) y t − 1 = β 0 ( 1 − ρ ^ ( 1 ) ) + β 1 ( x t − ρ ^ ( 1 ) x t − 1 ) + ϵ t y_t-\hat\rho^{(1)} y_{t-1}=\beta_0(1-\hat\rho^{(1)})+\beta_1(x_t-\hat\rho^{(1)} x_{t-1})+\epsilon_t yt​−ρ^​(1)yt−1​=β0​(1−ρ^​(1))+β1​(xt​−ρ^​(1)xt−1​)+ϵt​
對差分模型進行 OLS 估計得到 β 0 ∗ ^ \hat{\beta_0^*} β0∗​^​ 和 β 1 ∗ ^ \hat{\beta_1^*} β1∗​^​

step 4. 由前一步估計的結果有
β 0 ^ = β 0 ∗ ^ 1 − ρ ^ ,    β 1 ^ = β 1 ∗ ^ \hat{\beta_0}=\frac{\hat{\beta_0^*}}{1-\hat\rho}, \ \ \hat{\beta_1}=\hat{\beta_1^*} β0​^​=1−ρ^​β0∗​^​​,  β1​^​=β1∗​^​
代入原迴歸方程得到新的殘差 e t ( 2 ) e_t^{(2)} et(2)​
e t ( 2 ) = y t − β 0 ^ − β 1 ^ x t e_t^{(2)}=y_t-\hat{\beta_0}-\hat{\beta_1}x_t et(2)​=yt​−β0​^​−β1​^​xt​
step 5. 利用 e t ( 2 ) e_t^{(2)} et(2)​ 做如下回歸併獲得 ρ ^ ( 2 ) \hat\rho^{(2)} ρ^​(2)，即為 ρ \rho ρ 的第二輪估計值
e t ( 2 ) = ρ e t − 1 ( 2 ) + ϵ t e_t^{(2)}=\rho e_{t-1}^{(2)}+\epsilon_t et(2)​=ρet−1(2)​+ϵt​
依次迭代，當估計的 ρ ^ ( k ) \hat\rho^{(k)} ρ^​(k) 與 ρ ^ ( k + 1 ) \hat\rho^{(k+1)} ρ^​(k+1) 相差很小時，就找到了 ρ \rho ρ 的最佳估計值。

（可以設定一個停止條件，比如看DW值）

相關文章