第7章 異方差
7.1 異方差的後果
定義 條件異方差
簡稱異方差，違背[[05_多元線性迴歸#^2b980b|球形擾動項]]假設的一種情況，即條件方差依賴於\(i\)，而不是常數\(\sigma^2\)。
條件異方差的後果：
- OLS估計量依然是無偏的、一致的、漸近正態的
- OLS估計量的方差\(Var(\hat\beta|X)\)的表示式不再是\(\sigma^2(X'X)^{-1}\)
- 普通標準誤的t檢驗、F檢驗失敗
- 高斯-馬爾可夫定理不再成立，OLS不再是BLUE。
- 異方差下，加權最小二乘法才是BLUE
7.2 異方差的例子
- 消費函式
- 企業規模
- 組間異方差
- 組平均數
7.3 異方差的檢驗
1.畫殘差圖
最直觀，不嚴格
- 看殘差 \(e_i\) 與擬合值 \(\hat y_i\) 的散點圖
- 看殘差 \(e_i\) 與某個解釋變數 \(x_{ik}\) 的散點圖
2.BP檢驗
Breusch & Pagan (1979)
- 對於迴歸模型：\(y_i = \beta_1+\beta_2 x_{i2}+\cdots+\beta_K x_{iK}+\epsilon\)
- 樣本資料為iid，則有\(Var(\epsilon_i|X)=Var(\epsilon_i|\mathbf x_i)\)
- 原假設：\(H_0:Var(\epsilon_i | x_i) = \sigma^2\)
- 可轉化為：\(H_0:E(\epsilon_i^2 | x_i) = \sigma^2\)
- 假設條件方差函式是線性函式：\(\epsilon_i^2=\delta_1+\delta_2x_{i2}+\cdots+\delta_K x_{iK}+\mu_i\)
- 可轉化為：\(H_0:\delta_2=\cdots=\delta_k=0\)
- 對於輔助迴歸：\(e_i^2 = \delta_1+\delta_2x_{i2}+\cdots+\delta_K x_{iK}+error_i\)
- 顯然擬合優度 \(R^2\) 越高，迴歸方程接越顯著，則更可以拒絕原假設。
- BP使用的是LM統計量進行的LM檢驗:$$LM = nR^2 \xrightarrow{d}\chi^2(K-1)$$
3.懷特檢驗
White(1980)
在輔助迴歸中加入了二次項和交叉項：
- 優點：可檢驗任何形式的異方差
- 缺點：如果解釋變數較多的畫，損失較多有效樣本容量和自由度
7.4 異方差的處理
1.使用“OLS+穩健標準誤”
只要樣本容量足夠大，此方法可行。
2.加權最小二乘法（WLS）
基本思想：透過變數轉換，使變換後的模型滿足球形擾動項的假定（同方差），然後進行OLS。
- 假設：\(Var(\epsilon_i|x_i) \equiv \sigma_i^2 = \sigma^2 v_i\)，且異方差因子 \(v_i\) 已知。
- 迴歸函式同時乘於權重 \(1/\sqrt v_i\)
- 新擾動項：\(Var(\epsilon/\sqrt v_i) = \sigma^2\) 變成同方差
WLS的\(R^2\)失去意義。因為解釋變數和被解釋變數都變了
3.可行加權最小二乘法（Feasible WLS）
WLS雖然是BLUE，但前提是，必須確切的知道每個個體的方差。在實踐中，這是不可能的，所以WLS不可行。
FWLS：解決方法是先透過樣本資料估計出\(\lbrace \sigma_i^2 \rbrace_{i=1}^n\)，然後再使用WLS。
步驟：
- 為確保方差為正，輔助迴歸函式約定為：$$\ln e_i^2=\delta_1+\delta_2x_{i2}+\cdots+\delta_K x_{iK}+error_i$$
- 進行OLS後，可得\(\ln \hat\sigma^2 \equiv \ln e_i^2\)
- 計算：\(\hat\sigma_i^2 = exp(\ln \hat\sigma_i^2)\)
- 權重：\(1/\hat\sigma_i^2\)
- 再進行WLS
4.“OLS+穩健標準誤”還是FWLS
"OLS+穩健標準誤" 適用於大多數情況，
FWLS：在大樣本中可能更有效
7.5 處理異方差的python命令及例項
[[Chapter_07.ipynb]]
statsmodel 的bptest和whitetest好像都是對所有解釋變數做的檢驗，還沒有找到對y或者單獨某個解釋變數進行檢驗的方法。