機器學習5-線性迴歸

清風紫雪發表於2021-01-20

線性迴歸

什麼是線性迴歸

定義與公式

線性迴歸(Linear regression)是利用迴歸方程(函式)對一個或多個自變數(特徵值)和因變數(目標值)之間關係進行建模的一種分析方式。

  • 特點:只有一個自變數的情況稱為單變數回歸,大於一個自變數情況的叫做多元迴歸

 

 

 

線性迴歸的特徵與目標的關係分析

線性迴歸當中的關係有兩種,一種是線性關係,另一種是非線性關係。在這裡我們只能畫一個平面更好去理解,所以都用單個特徵舉例子。

  • 線性關係

 

 

 

 如果在單特徵與目標值的關係呈直線關係,或者兩個特徵與目標值呈現平面的關係

  • 非線性關係

 

 

線性迴歸的損失和優化原理

假設剛才的房子例子,真實的資料之間存在這樣的關係

真實關係:真實房子價格 = 0.02×中心區域的距離 + 0.04×城市一氧化氮濃度 + (-0.12×自住房平均房價) + 0.254×城鎮犯罪率

那麼現在呢,我們隨意指定一個關係(猜測)

隨機指定關係:預測房子價格 = 0.25×中心區域的距離 + 0.14×城市一氧化氮濃度 + 0.42×自住房平均房價 + 0.34×城鎮犯罪率

請問這樣的話,會發生什麼?真實結果與我們預測的結果之間是不是存在一定的誤差呢?類似這樣樣子

 

 那麼存在這個誤差,我們將這個誤差給衡量出來

損失函式

總損失定義為:

 

 

 

  • y_i為第i個訓練樣本的真實值
  • h(x_i)為第i個訓練樣本特徵值組合預測函式
  • 又稱最小二乘法

如何去減少這個損失,使我們預測的更加準確些?既然存在了這個損失,我們一直說機器學習有自動學習的功能,線上性迴歸這裡更是能夠體現。這裡可以通過一些優化方法去優化(其實是數學當中的求導功能)迴歸的總損失!!!

優化演算法

正規方程

 

 

理解:X為特徵值矩陣,y為目標值矩陣。直接求到最好的結果

缺點:當特徵過多過複雜時,求解速度太慢並且得不到結果

 

梯度下降

 

 

理解:α為學習速率,需要手動指定(超引數),α旁邊的整體表示方向

沿著這個函式下降的方向找,最後就能找到山谷的最低點,然後更新W值

使用:面對訓練資料規模十分龐大的任務 ,能夠找到較好的結果

我們通過兩個圖更好理解梯度下降的過程

 

 

 

 所以有了梯度下降這樣一個優化演算法,迴歸就有了"自動學習"的能力

優化動態圖演示

 

 

線性迴歸API

  • sklearn.linear_model.LinearRegression(fit_intercept=True)
    • 通過正規方程優化
    • fit_intercept:是否計算偏置
    • LinearRegression.coef_:迴歸係數
    • LinearRegression.intercept_:偏置
  • sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)
    • SGDRegressor類實現了隨機梯度下降學習,它支援不同的loss函式和正則化懲罰項來擬合線性迴歸模型。
    • loss:損失型別
      • loss=”squared_loss”: 普通最小二乘法
    • fit_intercept:是否計算偏置
    • learning_rate : string, optional
      • 學習率填充
      • 'constant': eta = eta0
      • 'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
      • 'invscaling': eta = eta0 / pow(t, power_t)
        • power_t=0.25:存在父類當中
      • 對於一個常數值的學習率來說,可以使用learning_rate=’constant’ ,並使用eta0來指定學習率。
    • SGDRegressor.coef_:迴歸係數
    • SGDRegressor.intercept_:偏置

 

 案例-波士頓房價

資料介紹

 

 

分析

迴歸當中的資料大小不一致,是否會導致結果影響較大。所以需要做標準化處理。同時我們對目標值也需要做標準化處理。

  • 資料分割與標準化處理
  • 迴歸預測
  • 線性迴歸的演算法效果評估

迴歸效能評估

均方誤差(Mean Squared Error)MSE)評價機制:

 

 

 y^i為預測值,¯y為真實值

sklearn.metrics.mean_squared_error(y_true, y_pred)

  • 均方誤差迴歸損失
  • y_true:真實值
  • y_pred:預測值
  • return:浮點數結果
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression,SGDRegressor
from sklearn.metrics import mean_squared_error

def linear1():
    """
    正規方程的優化方法對波士頓房價預測
    """
    #獲取資料
    boston=load_boston()
    print("特徵個數:\n",boston.data.shape)
    #劃分資料集
    x_train,x_test,y_train,y_test=train_test_split(boston.data,boston.target,random_state=22)
    #標準化
    transfer=StandardScaler()
    x_train=transfer.fit_transform(x_train)
    x_test=transfer.transform(x_test)
    #預估器
    estimator=LinearRegression()
    estimator.fit(x_train,y_train)
    #得出模型
    print("正規方程-權重係數為:\n",estimator.coef_)
    print("正規方程-偏置為:\n",estimator.intercept_ )

    #模型評估
    y_predict=estimator.predict(x_test)
    print("預測房價:\n",y_predict)
    error=mean_squared_error(y_test,y_predict)
    print("正規方程-均方差誤差:\n",error)

    return None

def linear2():
    """
    梯度下降的優化方法對波士頓房價預測
    """
    #獲取資料
    boston=load_boston()
    #劃分資料集
    x_train,x_test,y_train,y_test=train_test_split(boston.data,boston.target,random_state=22)
    #標準化
    transfer=StandardScaler()
    x_train=transfer.fit_transform(x_train)
    x_test=transfer.transform(x_test)
    #預估器
    estimator=SGDRegressor()
    estimator.fit(x_train,y_train)
    #得出模型
    print("梯度下降-權重係數為:\n",estimator.coef_)
    print("梯度下降-偏置為:\n",estimator.intercept_ )

    #模型評估
    y_predict = estimator.predict(x_test)
    print("預測房價:\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("梯度下降-均方差誤差:\n", error)
    return None


if __name__ == '__main__':
    linear1()
    linear2()

結果為:

 

 

 

 

正規方程和梯度下降對比

總結

  • 線性迴歸的損失函式-均方誤差
  • 線性迴歸的優化方法線性迴歸的效能衡量方法-均方誤差
    • 正規方程
    • 梯度下降
  • sklearn的SGDRegressor API 引數

相關文章