選自Medium
作者：Tirthajyoti Sarkar
機器之心編譯
參與：晏奇、劉曉坤
本文中，作者討論了 8 種在 Python 環境下進行簡單線性迴歸計算的演算法，不過沒有討論其效能的好壞，而是對比了其相對計算複雜度的度量。
GitHub 地址：github.com/tirthajyoti…
對於大多數資料科學家而言，線性迴歸方法是他們進行統計學建模和預測分析任務的起點。但我們不可誇大線性模型（快速且準確地）擬合大型資料集的重要性。如本文所示，線上性迴歸模型中，「線性」一詞指的是迴歸係數，而不是特徵的 degree。
特徵（或稱獨立變數）可以是任何的 degree，甚至是超越函式（transcendental function），比如指數函式、對數函式、正弦函式。因此，很多自然現象可以通過這些變換和線性模型來近似模擬，即使當輸出與特徵的函式關係是高度非線性的也沒問題。
另一方面，由於 Python 正在快速發展為資料科學家的首選程式語言，所以能夠意識到存在很多方法用線性模型擬合大型資料集，就顯得尤為重要。同樣重要的一點是，資料科學家需要從模型得到的結果中來評估與每個特徵相關的重要性。
然而，在 Python 中是否只有一種方法來執行線性迴歸分析呢？如果有多種方法，那我們應該如何選擇最有效的那個呢？
由於在機器學習中，Scikit-learn 是一個十分流行的 Python 庫，因此，人們經常會從這個庫呼叫線性模型來擬合資料。除此之外，我們還可以使用該庫的 pipeline 與 FeatureUnion 功能（如：資料歸一化、模型迴歸係數正則化、將線性模型傳遞給下游模型），但是一般來看，如果一個資料分析師僅需要一個又快又簡單的方法來確定迴歸係數（或是一些相關的統計學基本結果），那麼這並不是最快或最簡潔的方法。
雖然還存在其他更快更簡潔的方法，但是它們都不能提供同樣的資訊量與模型靈活性。
請繼續閱讀。
有關各種線性迴歸方法的程式碼可以參閱筆者的 GitHub。其中大部分都基於 SciPy 包
SciPy 基於 Numpy 建立，集合了數學演算法與方便易用的函式。通過為使用者提供高階命令，以及用於操作和視覺化資料的類，SciPy 顯著增強了 Python 的互動式會話。
以下對各種方法進行簡要討論。
方法 1：Scipy.polyfit( ) 或 numpy.polyfit( )
這是一個非常一般的最小二乘多項式擬合函式，它適用於任何 degree 的資料集與多項式函式（具體由使用者來指定），其返回值是一個（最小化方差）迴歸係數的陣列。
對於簡單的線性迴歸而言，你可以把 degree 設為 1。如果你想擬合一個 degree 更高的模型，你也可以通過從線性特徵資料中建立多項式特徵來完成。
詳細描述參考：docs.scipy.org/doc/numpy-1…。
方法 2：stats.linregress( )
這是 Scipy 中的統計模組中的一個高度專門化的線性迴歸函式。其靈活性相當受限，因為它只對計算兩組測量值的最小二乘迴歸進行優化。因此，你不能用它擬合一般的線性模型，或者是用它來進行多變數回歸分析。但是，由於該函式的目的是為了執行專門的任務，所以當我們遇到簡單的線性迴歸分析時，這是最快速的方法之一。除了已擬合的係數和截距項（intercept term）外，它還會返回基本的統計學值如 R² 係數與標準差。
詳細描述參考：blog.minitab.com/blog/advent…
方法 3：optimize.curve_fit( )
這個方法與 Polyfit 方法類似，但是從根本來講更為普遍。通過進行最小二乘極小化，這個來自 scipy.optimize 模組的強大函式可以通過最小二乘方法將使用者定義的任何函式擬合到資料集上。
對於簡單的線性迴歸任務，我們可以寫一個線性函式：mx+c，我們將它稱為估計器。它也適用於多變數回歸。它會返回一個由函式引數組成的數列，這些引數是使最小二乘值最小化的引數，以及相關協方差矩陣的引數。
詳細描述參考：docs.scipy.org/doc/scipy/r…
方法 4：numpy.linalg.lstsq
這是用矩陣因式分解來計算線性方程組的最小二乘解的根本方法。它來自 numpy 包中的線性代數模組。通過求解一個 x 向量（它將|| b—a x ||²的歐幾里得 2-範數最小化），它可以解方程 ax=b。
該方程可能會欠定、確定或超定（即，a 中線性獨立的行少於、等於或大於其線性獨立的列數）。如果 a 是既是一個方陣也是一個滿秩矩陣，那麼向量 x（如果沒有舍入誤差）正是方程的解。
藉助這個方法，你既可以進行簡單變數回歸又可以進行多變數回歸。你可以返回計算的係數與殘差。一個小竅門是，在呼叫這個函式之前，你必須要在 x 資料上附加一列 1，才能計算截距項。結果顯示，這是處理線性迴歸問題最快速的方法之一。
詳細描述參考：docs.scipy.org/doc/numpy-1…
方法 5： Statsmodels.OLS ( )
statsmodel 是一個很不錯的 Python 包，它為人們提供了各種類與函式，用於進行很多不同統計模型的估計、統計試驗，以及統計資料研究。每個估計器會有一個收集了大量統計資料結果的列表。其中會對結果用已有的統計包進行對比試驗，以保證準確性。
對於線性迴歸，人們可以從這個包呼叫 OLS 或者是 Ordinary least squares 函式來得出估計過程的最終統計資料。
需要記住的一個小竅門是，你必須要手動為資料 x 新增一個常數，以用於計算截距。否則，只會預設輸出迴歸係數。下方表格彙總了 OLS 模型全部的結果。它和任何函式統計語言（如 R 和 Julia）一樣豐富。
詳細描述參考：www.statsmodels.org/dev/index.h…
方法 6、7：使用矩陣求逆方法的解析解
對於一個良態（well-conditioned）線性迴歸問題（至少是對於資料點、特徵），迴歸係數的計算存在一個封閉型的矩陣解（它保證了最小二乘的最小化）。它由下面方程給出：
在這裡，我們有兩個選擇：
方法 6：使用簡單矩陣求逆乘法。
方法 7：首先計算資料 x 的廣義 Moore-Penrose 偽逆矩陣，然後將結果與 y 進行點積。由於這裡第二個步驟涉及到奇異值分解（SVD），所以它在處理非良態資料集的時候雖然速度慢，但是結果不錯。（參考：開發者必讀：電腦科學中的線性代數）
詳細描述參考：en.wikipedia.org/wiki/Linear…
方法 8： sklearn.linear_model.LinearRegression( )
這個方法經常被大部分機器學習工程師與資料科學家使用。然而，對於真實世界的問題，它的使用範圍可能沒那麼廣，我們可以用交叉驗證與正則化演算法比如 Lasso 迴歸和 Ridge 迴歸來代替它。但是要知道，那些高階函式的本質核心還是從屬於這個模型。
詳細描述參考：scikit-learn.org/stable/modu…
以上方法的速度與時間複雜度測量
作為一個資料科學家，他的工作經常要求他又快又精確地完成資料建模。如果使用的方法本來就很慢，那麼在面對大型資料集的時候便會出現執行的瓶頸問題。
一個判斷演算法能力可擴充套件性的好辦法，是用不斷擴大的資料集來測試資料，然後提取所有試驗的執行時間，畫出趨勢圖。
可以在 GitHub 檢視這個方法的程式碼。下方給出了最終的結果。由於模型的簡單性，stats.linregress 和簡單矩陣求逆乘法的速度最快，甚至達到了 1 千萬個資料點。
總結
作為一個資料科學家，你必須要經常進行研究，去發現多種處理相同的分析或建模任務的方法，然後針對不同問題對症下藥。
在本文中，我們討論了 8 種進行簡單線性迴歸的方法。其中大部分方法都可以延伸到更一般的多變數和多項式迴歸問題上。我們沒有列出這些方法的 R² 係數擬合，因為它們都非常接近 1。
對於（有百萬人工生成的資料點的）單變數回歸，迴歸係數的估計結果非常不錯。
這篇文章首要目標是討論上述 8 種方法相關的速度/計算複雜度。我們通過在一個合成的規模逐漸增大的資料集（最大到 1 千萬個樣本）上進行實驗，我們測出了每種方法的計算複雜度。令人驚訝的是，簡單矩陣求逆乘法的解析解竟然比常用的 scikit-learn 線性模型要快得多。
原文連結：medium.freecodecamp.org/data-scienc…