迴歸模型-評估指標

一、多元線性迴歸

多元線性迴歸示例：

房價預測案例：
多重共線性（Multicollinearty）:
    是指線性迴歸模型中的 解釋變數（X）之間
    由於存在高度相關關係而使模型估計失真或難以估計準確
多重共線性的影響:
    上述模型引數（$a_1,a_2...$）估值不準，有時候會導致出現相關性反轉。

如何發現多重共線性
    對X變數探索兩兩之間的相關性（相關矩陣）

逐步迴歸概念是一種多元迴歸模型進行變數篩選的方法，篩選最少的變數來獲取最大化預測能力
三種方法：
    向前選擇法
    向後剔除法
    逐步迴歸法

二、正則化防止過擬合

L2正則化–嶺迴歸 Ridge Regression

min∑i=1n(Yi−Yi^)=min∑i=1nε^2i$$min\sum _{i=1}^n\left(Y_i-\widehat{Y_i}\right)=min\sum _{i=1}^n{\hat{\epsilon }}_i^2$$

在最小化殘差平方和的基礎上，增加L2範數的懲罰項：

∑i=1n(yi−β0−∑j=1pβjxij)2+λ∑j=1pβ2j=RSS+λ∑j=1pβ2j$$\sum _{i=1}^n{\left(y_i-{\beta }_0-\sum _{j=1}^p{\beta }_j{x}_{ij}\right)}^2+\lambda \sum _{j=1}^p{\beta }_j^2=RSS+\lambda \sum _{j=1}^p{\beta }_j^2$$

\sum_{i=1}^{n}\left ( y_i-\beta_0-\sum_{j=1}^{p}\beta _jx_{ij} \right )^2+\lambda\sum_{j=1}^{p}\beta_j^2=RSS +\lambda\sum_{j=1}^{p}\beta_j^2

L1正則化–lasso迴歸

min∑i=1n(Yi−Yi^)=min∑i=1nε^2i$$min\sum _{i=1}^n\left(Y_i-\widehat{Y_i}\right)=min\sum _{i=1}^n{\hat{\epsilon }}_i^2$$

在最小化殘差平方和的基礎上，增加L1範數的懲罰項：

∑i=1n(yi−β0−∑j=1pβjxij)2+λ∑j=1p|βj|=RSS+λ∑j=1p|βj|$$\sum _{i=1}^n{\left(y_i-{\beta }_0-\sum _{j=1}^p{\beta }_j{x}_{ij}\right)}^2+\lambda \sum _{j=1}^p|{\beta }_j|=RSS+\lambda \sum _{j=1}^p|{\beta }_j|$$

\sum_{i=1}^{n}\left( y_i-\beta_0-\sum_{j=1}^{p}\beta _jx_{ij} \right )^2+\lambda\sum_{j=1}^{p}|\beta_j|=RSS +\lambda\sum_{j=1}^{p}|\beta_j|

三、非線性迴歸：多項式迴歸

方法：

非線性迴歸的轉換——取對數

多項式迴歸程式碼實現：
sklearn.preprocession.PolynomialFeatures(
                degree = 2,              #階數
                interaction_only = False,
                include_bias = True
               ) 

sklearn.linear_model.LinearRegression(
                fit_intercept = True,
                noemalize = False,
                copy_X = True
                )

3.1 迴歸模型評估指標

解釋方差（Explianed variance score）：

Explianed_variance(y,y^)=1−Var{y−y^}Var{y}$$Explianed\mathrm{\_}variance(y,\hat{y})=1-\frac{Var\left\{y-\hat{y}\right\}}{Var\left\{y\right\}}$$

絕對平均誤差（Mean absolute error）：

MAE(y,y^)=1nsamplies∑i=0nsamplies−1|yi−y^|$$MAE(y,\hat{y})=\frac{1}{n_{samplies}}\sum _{i=0}^{n_{samplies}-1}|y_i-\hat{y}|$$

MAE(y,\hat{y}) = \frac{1}{n_{samplies}}\sum_{i=0}^{n_{samplies}-1}|y_i-\hat{y}|

均方誤差（Mean squared error）：

MSE(y,y^)=1nsamplies∑i=0nsamplies−1(yi−y^)2$$MSE(y,\hat{y})=\frac{1}{n_{samplies}}\sum _{i=0}^{n_{samplies}-1}(y_i-\hat{y}{)}^2$$

MSE(y,\hat{y}) = \frac{1}{n_{samplies}}\sum_{i=0}^{n_{samplies}-1}(y_i-\hat{y})^2

決定係數（R2$R^2$

R^2

score）

R2(y,y^)=1−∑nsamplies−1i=0(yi−yi^)2∑nsamplies−1i=0(yi−y¯)2$$R^2(y,\hat{y})=1-\frac{\sum _{i=0}^{{n_{samplies}}^{-1}}(y_i-\widehat{y_i}{)}^2}{\sum _{i=0}^{{n_{samplies}}^{-1}}(y_i-\overline{y}{)}^2}$$

R^2(y,\hat{y}) =1-\frac{\sum_{i=0}^{{n_{samplies}}^{-1}}(y_i-\hat{y_i})^2}{\sum_{i=0}^{{n_{samplies}}^{-1}}(y_i-\bar{y})^2}

程式碼：
sklearn.metrics
from sklearn.metrics import explained_variance_score
explained_variance_score(y_true,y_pred)

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_true,y_pred)

from sklearn.metrics import mean_squared_error
mean_squared_error(y_true,y_pred)

from sklearn.metrics import r2_score
r2_score(y_true,y_pred)

四、決策樹（分類迴歸樹）分類標準

>
Gain(A) = Variance(父) - Variance(子) #Gain(A)資訊增益

五、相關和迴歸

5.1 相關和迴歸的關係

    都是研究變數相互關係的分析方法
    相關分析是迴歸分析基礎和前提，迴歸分析是變數之間相關程度的具體形式
    相關分析：正相關,負相關
    相關形式: 線性, 非線性

>

5.2 線性相關性度量：皮爾遜相關係數

六、一元線性迴歸

6.1 一元線性迴歸模型

尋找最佳擬合直線：最小二乘法

該方法是尋找最佳擬合直線的引數（斜率和截距）

min∑i=1n(Yi−Yi^)2=min∑i=1nεi^2$$min\sum _{i=1}^n{\left(Y_i-\widehat{Y_i}\right)}^2=min\sum _{i=1}^n{\widehat{{\epsilon }_i}}^2$$

引數估計迴歸表示式：Yi^=β0^+β1^xi$\widehat{Y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$

\hat{Y_i} = \hat{β_0}+\hat{β_1}x_i

斜率:      β1^=SSxySSxx=∑(xi−x¯)yi−y¯)∑(xi−x¯)2$$斜率:\widehat{{\beta }_1}=\frac{S{S}_{xy}}{S{S}_{xx}}=\frac{\sum (x_i-\overline{x})y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}$$

斜率:~~~~~~\hat{\beta_1}=\frac{SS_{xy}}{SS_{xx}} = \frac{\sum(x_i-\bar{x})y_i-\bar{y})}{\sum(x_i-\bar{x})^2}

截距:        β0^=y¯−β1^x¯                                 $$截距:\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}$$

截 距:~~~~~~~~ \hat{β_0} = \bar{y}-\hat{β_1}\bar{x}~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~~~~~

七、課程總結

分類與迴歸 區別與聯絡
相似之處：
    都是有監督學習
    最重要的兩種預測模型
    決策樹既可以分類 也可以做迴歸
    二元分類模型的經典演算法邏輯迴歸演算法，本質上也是一種迴歸演算法

區別：
    迴歸目標變數是連續型變數
    分類目標變數是類別型變數

常見的餓迴歸演算法和模型
    1 基於最小二乘法的一元/多元線性迴歸
    2 多項式迴歸（非線性）
    3 Ridge 迴歸（L2正則化迴歸），嶺迴歸
    4 Lasso 迴歸（L1正則化迴歸），套索迴歸
    5 決策樹（CART，分類迴歸樹）
    6 邏輯迴歸