什麼是機器學習迴歸演算法？【線性迴歸、正規方程、梯度下降、正則化、欠擬合和過擬合、嶺迴歸】

靠譜楊發表於2022-04-06
機器學習演算法梯度

1 、線性迴歸

1.1 線性迴歸應用場景

  • 房價預測
  • 銷售額度預測
  • 金融：貸款額度預測、利用線性迴歸以及係數分析因子

1.2 什麼是線性迴歸

1.2.1定義與公式

線性迴歸(Linear regression)是利用迴歸方程(函式)對一個或多個自變數(特徵值)和因變數(目標值)之間關係進行建模的一種分析方式。

  • 特點：只有一個自變數的情況稱為單變數回歸，大於一個自變數情況的叫做多元迴歸

那麼怎麼理解呢？我們來看幾個例子

  • 期末成績：0.7×考試成績+0.3×平時成績
  • 房子價格 = 0.02×中心區域的距離 + 0.04×城市一氧化氮濃度 + (-0.12×自住房平均房價) + 0.254×城鎮犯罪率

上面兩個例子，我們看到特徵值與目標值之間建立的一個關係，這個可以理解為迴歸方程。

1.3 線性迴歸的損失和優化原理

假設剛才的房子例子，真實的資料之間存在這樣的關係

真實關係：真實房子價格 = 0.02×中心區域的距離 + 0.04×城市一氧化氮濃度 + (-0.12×自住房平均房價) + 0.254×城鎮犯罪率

那麼現在呢，我們隨意指定一個關係（猜測）

隨機指定關係：預測房子價格 = 0.25×中心區域的距離 + 0.14×城市一氧化氮濃度 + 0.42×自住房平均房價 + 0.34×城鎮犯罪率

這兩個關係肯定是存在誤差的，那麼我們怎麼表示這個誤差並且衡量優化呢？

1.3.1 損失函式

最小二乘法

  • y_i為第i個訓練樣本的真實值
  • h(x_i)為第i個訓練樣本特徵值組合預測函式

如何去減少這個損失，使我們預測的更加準確些？既然存在了這個損失，我們一直說機器學習有自動學習的功能，線上性迴歸這裡更是能夠體現。這裡可以通過一些優化方法去優化（其實是數學當中的求導功能）迴歸的總損失！！！

1.3.2 優化演算法---正規方程

如何去求模型當中的W，使得損失最小？（目的是找到最小損失對應的W值）

理解：X為特徵值矩陣，y為目標值矩陣。直接求到最好的結果

缺點：當特徵過多過複雜時，求解速度太慢並且得不到結果

1.3.2 優化演算法---梯度下降

理解：α為學習速率，需要手動指定（超引數），α旁邊的整體表示方向

沿著這個函式下降的方向找，最後就能找到山谷的最低點，然後更新W值

使用：面對訓練資料規模十分龐大的任務 ，能夠找到較好的結果

1.4 線性迴歸API

  • sklearn.linear_model.LinearRegression(fit_intercept=True)
    • 通過正規方程優化
    • fit_intercept：是否計算偏置
    • LinearRegression.coef_：迴歸係數
    • LinearRegression.intercept_：偏置
  • sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)
    • SGDRegressor類實現了隨機梯度下降學習，它支援不同的loss函式和正則化懲罰項來擬合線性迴歸模型。
    • loss:損失型別
      • loss=”squared_loss”: 普通最小二乘法
    • fit_intercept：是否計算偏置
    • learning_rate : string, optional
      • 學習率填充
      • 'constant': eta = eta0
      • 'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
      • 'invscaling': eta = eta0 / pow(t, power_t)
        • power_t=0.25:存在父類當中
      • 對於一個常數值的學習率來說，可以使用learning_rate=’constant’ ，並使用eta0來指定學習率。
    • SGDRegressor.coef_：迴歸係數
    • SGDRegressor.intercept_：偏置

1.5 迴歸效能評估

均方誤差(Mean Squared Error)MSE)評價機制：

注：y^i為預測值，¯y為真實值

  • sklearn.metrics.mean_squared_error(y_true, y_pred)
    • 均方誤差迴歸損失
    • y_true:真實值
    • y_pred:預測值
    • return:浮點數結果

1.6 案例（正規方程的優化方法對波士頓房價進行預測）

def linear1():
    """
    正規方程的優化方法對波士頓房價進行預測
    :return:
    """
    # 1）獲取資料
    boston = load_boston()

    # 2）劃分資料集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 3）標準化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4）預估器
    """
    通過正規方程優化
    fit_intercept：是否計算偏置
    LinearRegression.coef_：迴歸係數
    LinearRegression.intercept_：偏置
    """
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)

    # 5）得出模型
    print("正規方程-權重係數為：\n", estimator.coef_)
    print("正規方程-偏置為：\n", estimator.intercept_)

    # 6）模型評估
    y_predict = estimator.predict(x_test)
    print("預測房價：\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("正規方程-均方誤差為：\n", error)

    return None

1.7 案例（梯度下降的優化方法對波士頓房價進行預測）

def linear2():
    """
    梯度下降的優化方法對波士頓房價進行預測
    :return:
    """
    # 1）獲取資料
    boston = load_boston()
    print("特徵數量：\n", boston.data.shape)

    # 2）劃分資料集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 3）標準化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4）預估器
    """
    sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)
    學習率填充
    'constant': eta = eta0
    'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
    'invscaling': eta = eta0 / pow(t, power_t)
    power_t=0.25:存在父類當中
    對於一個常數值的學習率來說，可以使用learning_rate=’constant’ ，並使用eta0來指定學習率。
    """
    estimator = SGDRegressor(learning_rate="constant", eta0=0.01, max_iter=10000, penalty="l1")
    estimator.fit(x_train, y_train)

    # 5）得出模型
    print("梯度下降-權重係數為：\n", estimator.coef_)
    print("梯度下降-偏置為：\n", estimator.intercept_)

    # 6）模型評估
    y_predict = estimator.predict(x_test)
    print("預測房價：\n", y_predict)
    error = mean_squared_error(y_test, y_predict)
    print("梯度下降-均方誤差為：\n", error)

    return None

2、欠擬合與過擬合

2.1 什麼是過擬合與欠擬合

  • 分析
    • 第一種情況：因為機器學習到的天鵝特徵太少了，導致區分標準太粗糙，不能準確識別出天鵝。
    • 第二種情況：機器已經基本能區別天鵝和其他動物了。然後，很不巧已有的天鵝圖片全是白天鵝的，於是機器經過學習後，會認為天鵝的羽毛都是白的，以後看到羽毛是黑的天鵝就會認為那不是天鵝。

2.1.1 定義

  • 過擬合：一個假設在訓練資料上能夠獲得比其他假設更好的擬合， 但是在測試資料集上卻不能很好地擬合資料，此時認為這個假設出現了過擬合的現象。(模型過於複雜)
  • 欠擬合：一個假設在訓練資料上不能獲得更好的擬合，並且在測試資料集上也不能很好地擬合資料，此時認為這個假設出現了欠擬合的現象。(模型過於簡單)

2.1.2 原因和解決辦法

  • 欠擬合原因以及解決辦法
    • 原因：學習到資料的特徵過少
    • 解決辦法：增加資料的特徵數量
  • 過擬合原因以及解決辦法
    • 原因：原始特徵過多，存在一些嘈雜特徵， 模型過於複雜是因為模型嘗試去兼顧各個測試資料點
    • 解決辦法：
      • 正則化

2.2 正則化類別

  • L2正則化
    • 作用：可以使得其中一些W的都很小，都接近於0，削弱某個特徵的影響
    • 優點：越小的引數說明模型越簡單，越簡單的模型則越不容易產生過擬合現象
    • Ridge迴歸
  • L1正則化
    • 作用：可以使得其中一些W的值直接為0，刪除這個特徵的影響
    • LASSO迴歸

3、帶有L2正則化的線性迴歸-嶺迴歸

3.1 嶺迴歸API

  • sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", normalize=False)
    • 具有L2正則化的線性迴歸
    • alpha:正則化力度，也叫 λ
      • λ取值：0~1 1~10
    • solver:會根據資料自動選擇優化方法
      • sag:如果資料集、特徵都比較大，選擇該隨機梯度下降優化
    • normalize:資料是否進行標準化
      • normalize=False:可以在fit之前呼叫preprocessing.StandardScaler標準化資料
    • Ridge.coef_:迴歸權重
    • Ridge.intercept_:迴歸偏置

Ridge方法相當於SGDRegressor(penalty='l2', loss="squared_loss")

只不過SGDRegressor實現了一個普通的隨機梯度下降學習，推薦使用Ridge(實現了SAG隨機梯度下降)

  • sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
    • 具有l2正則化的線性迴歸，可以進行交叉驗證
    • coef_:迴歸係數

  • 正則化力度越大，權重係數會越小
  • 正則化力度越小，權重係數會越大

注：參考了黑馬程式設計師相關資料。

相關文章