全文共 1534 字，預計學習時長 3 分鐘

在機器學習和統計領域，線性迴歸模型是最簡單的模型之一。這意味著，人們經常認為對線性迴歸的線性假設不夠準確。

例如，下列2個模型都是線性迴歸模型，即便右圖中的線看起來並不像直線。

若對此表示驚訝，那麼本文值得你讀一讀。本文試圖解釋對線性迴歸模型的線性假設，以及此類線性假設的重要性。

回答上述問題，需要了解以下兩個簡單例子中線性迴歸逐步執行的方式。

例1：最簡單的模型

從最簡單的例子開始。給定3對（x，y）訓練資料：（2,4）、（5,1）、（8,9）進行函式建模，發現目標變數y和輸入變數x之間的關係。

這一模型最為簡單，如下所示：

透過運用該簡單的線性函式，可模擬x和y之間的關係。關鍵在於該函式不僅與輸入變數x成線性關係，而且與引數a、b成線性關係。

當前目標是確定最符合訓練資料的引數a和b的值。

這可透過測量每個輸入x的實際目標值y和模型f（x）之間的失配來實現，並將失配最小化。這種失配（=最小值）被稱為誤差函式。

有多種誤差函式可供選擇，但其中最簡單的要數RSS，即每個資料點x對應的模型f（x）與目標值y的誤差平方和。

利用誤差函式的概念，可將“確定最符合訓練資料的引數a、b”改為“確定引數a、b，使誤差函式最小化”。

計算一下訓練資料的誤差函式。

上面的等式就是要求最小值的誤差函式。但是，怎樣才能找到引數a、b，得到此函式的最小值呢？為啟發思維，需要將該函式視覺化。

從上方的3D圖來看，人們會本能地猜測該函式為凸函式。凸函式的最佳化（找到最小值）比一般數學最佳化簡單得多，因為任何區域性最小值都是整個凸函式的最小值。（簡單來講，就是凸函式只有一個最小點，例如“U”的形狀）由於凸函式的這種特性，透過簡單求解如下的偏微分方程，便可得到使函式最小化的引數。

下面解下之前的例子吧。

透過求解上面的等式，得到a = 5/6、b = 1/2。因此，第一個模型（最小化RSS）如下所示：

示例2：簡單的彎曲模型

現在，對於相同的資料點，可考慮如下的另一模型：

如上所示，該模型不再是輸入變數x的線性函式，但仍是引數a、b的線性函式。

下面看下這一變化對模型擬合過程的影響。我們將使用與前一示例相同的誤差函式——RSS。

如上所示，等式看起來與前一個非常相似。（係數的值不同，但方程的形式相同。）該模型的視覺化影像如下：

兩個模型的形狀看起來也很相似，仍然是凸函式。但秘密在於，當使用訓練資料計算誤差時，輸入變數作為具體值給出（例如，x²的值在資料集中給定為22、52和8²，即（2,4）、（5,1）、（8,9））。因此，無論輸入變數的形式多複雜（例如x、x²、sin（x）、log（x）等......），給定的值在誤差函式中僅為常數。

誤差函式的第二個模型也是凸函式，因此可透過與前一示例完全相同的過程找到最佳引數。

透過求解上面的等式，得到a = 61/618、b = 331/206。所以，第二個模型如下所示：

結論：線性迴歸模型的線性假設

上述2個例子的求解過程完全相同（且非常簡單），即使一個為輸入變數x的線性函式，一個為x的非線性函式。兩個模型的共同特徵是兩個函式都與引數a、b成線性關係。這是對線性迴歸模型的線性假設，也是線性迴歸模型數學單性的關鍵。

上面2個模型非常簡單，但一般而言，模型與其引數的線性假設，可保證RSS始終為凸函式。透過求解簡單偏微分方程，得到最優引數，這就是線性假設至關重要的原因。