機器之心整理
參與：機器之心編輯部
機器學習日益廣為人知，越來越多的電腦科學家和工程師投身其中。不幸的是，理論、演算法、應用、論文、書籍、視訊等資訊如此之多，很容易讓初學者迷失其中，不清楚如何才能提升技能。本文作者依據自身經驗給出了一套快速上手的可行方法及學習資源的分類彙總，機器之心在其基礎上做了增益，希望對讀者有所幫助。
先決條件
機器學習的基礎是數學。數學並非是一個可選可不選的理論方法，而是不可或缺的支柱。如果你是一名計算機工程師，每天使用 UML、ORM、設計模式及其他軟體工程工具／技術，那麼請閉眼一秒鐘，忘掉一切。這並不是說這些概念不重要，絕不是！但是機器學習需要一種不同的方法。如今 Python 如此流行的原因之一是其「原型設計速度」。在機器學習中，一種使用幾行程式碼即可建模演算法的語言絕對是必要的。
微積分、線性代數、概率論在機器學習幾乎所有演算法中不可或缺。如果你的數學背景很紮實，請跳過這一章節。如若不然，那麼重新溫習一下這些重要概念也不錯。考慮到理論的數量，我並不建議大家從大部頭開始。儘管一開始可以用它查詢具體概念，但是初學者先關注簡單的話題比較好。網上有很多好的線上資源（比如 Coursera、可汗學院或優達學城），實用且適合各種背景的人群。但是我建議從提綱之類的簡明書籍上手，其中所有核心概念均被涉及，次要概念可在需要的時候自行查詢。這種方法雖然不夠系統，但卻避免了這樣的缺陷：大量晦澀概念使得沒有紮實理論背景的人望而卻步。
初學者最好先學習下列內容：
概率論
離散型和連續型隨機變數
主要分佈（伯努利分佈、二項式分佈、正態分佈、 指數分佈、 泊松分佈、Beta 和 Gamma 分佈）
矩估計和最大似然估計
貝葉斯統計
相關性係數和協方差（Correlation and Covariance）
線性代數
向量和矩陣
矩陣的行列式
特徵向量和特徵值
矩陣分解（如 SVD）
微積分
極限與導數
微分和積分
數值計算與最優化方法
網上有很多免費資源，比如
《概率論入門》，Grinstead、Snell 著（https://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/amsbook.mac.pdf）
《線性代數入門》，Wise、Gallagher 著（http://www.stat.columbia.edu/~liam/teaching/4315-spr06/LinAlg.pdf）
《微積分入門》，Heinbockel 著（http://www.math.odu.edu/~jhh/Volume-1.PDF）
維基百科上也有很多好資源，對方程、定理等進行了清晰易懂的解釋。
機器之心也介紹過許多數學基礎與概念：
機器學習主要需要的數學基礎就是微積分、線性代數、概率論，我們感覺只需要掌握大學中常見的高數、線性代數、概率論與數理統計三門課程，基本上概念的理解就沒什麼問題了。如果再學一點數值計算和最優化等，我們基本上就能理解機器學習的學習過程推導。
機器學習方法建議（面向初學者）
特徵工程
開始機器學習的第一步是理解如何評估和改進資料集的質量。管理特徵的類別和缺失、歸一化和降維（PCA、ICA、NMF）是大幅提高演算法效能的基本技術，而且還有助於研究如何將資料集分割成訓練集和測試集、如何採取交叉驗證來取代傳統的測試方法。
機器之心也曾詳解過特徵工程如 PCA 降維演算法的詳細理論與推導，當然我們還介紹了其它有關特徵的概念：
Numpy：Python 數值計算之王！
使用 Python 時，Numpy 不僅僅是一個庫。它是幾乎所有機器學習實現的基礎，因此瞭解它的工作原理、關注向量化和廣播（broadcasting）是非常必要的。這些技術可以幫助加速大多數演算法的學習過程，利用多執行緒和 SIMD、MIMD 架構的力量。
官方文件已經很完整了，不過，我還建議大家看一下以下資源：
《Python 資料科學手冊：資料使用的核心工具》，VanderPlas J. 著
《Python 科學程式設計入門書》，LangTangen P. H. 著
資料視覺化
Matplotlib 即使不是純粹的機器學習話題，瞭解如何視覺化資料集也很重要。Matplotlib 可能是最廣泛使用的解決方案：Matplotlib 易用，允許繪製不同種類的圖表。Bokeh 和 Seaborne 提供了有趣的替代方案。不必要徹底瞭解所有包，但是瞭解每一個包的優點和弱點還是很有用的，可以幫助你選擇合適的包。
瞭解 Matplotlib 細節的資源：《掌握 Matplotlib》，McGreggor D. 著
線性迴歸
線性迴歸是最簡單的模型之一，可以把它作為一個優化問題來研究，該問題可通過最小化均方誤差而得到求解。該方法雖然有效，但是限制了可利用的可能性。我建議還可以把它當作貝葉斯問題，使用之前的可能性展示引數（比如，高斯分佈），優化變成了最大似然估計（Maximum Likelihood Estimation，MLE）。即使這看起來更加複雜，但該方法提供了一個可供幾十個其他複雜模型共享的新方法。
Coursera 上介紹貝葉斯統計的課程：
《貝葉斯統計：從概念到資料分析》（https://www.coursera.org/learn/bayesian-statistics/）
《貝葉斯統計：技術與模型》（https://www.coursera.org/learn/mcmc-bayesian-statistics）
以及這兩本書：
《思考貝葉斯》，Downey B. A. 著
《黑客的貝葉斯方法》Davidson-Pilon C. 著
包括線性迴歸在內，機器之心曾介紹了一些解決迴歸問題的方法（後文提供了 CART 演算法進行迴歸分析）：
線性分類
通常情況下，Logistic 迴歸是最佳起始點，也是研究資訊理論進而瞭解資訊熵、交叉熵和互資訊的好機會。類別交叉熵（Categorical cross-entropy）是深度學習分類中最穩定、使用最廣泛的代價函式，一個簡單的 logistic 迴歸可以展示它是如何加速學習過程的（與均方差相比）。另一個重要的話題是正則化（Ridge、Lasso 和 ElasticNet）。很多情況下，人們認為它是一種提高模型準確率的深奧方式，但是它的真實意義是更準確，在具體例項的幫助下變得易於理解。我還建議剛開始的時候，把 logistic 迴歸當作一個簡單的神經網路，視覺化（以 2D 例項為例）權重向量在學習過程中的移動軌跡。
我還建議本節應包括超引數網格搜尋。網格搜尋不在沒有完整了解的情況下嘗試不同的值，而是評估不同的超引數集的效能。因此，工程師可以將注意力集中在可達到最高準確率的組合上。當然還有更加強大的貝葉斯優化方法，即利用先驗知識逼近未知目標函式的後驗分佈從而調節超引數的方法。
支援向量機（SVM）
支援向量機提供了不同的分類方法（包括線性和非線性方法）。該演算法非常簡單，具備基礎幾何知識的人也可以學會。不過，瞭解核支援向量機的工作原理非常有用，因為它會線上性方法失敗的時候展示出其真正實力。
一些有用的免費資源：
《支援向量機簡明教程》，Law 著
核函式方法，維基百科詞條
決策樹
決策樹提供了另一種分類和迴歸的方法。通常，它們不是解決複雜問題的首選，但它們提供了完全不同的方法，即使是非技術人員也可以很容易理解，該方法還可以在會議或演示中視覺化。
整合學習一覽
在理解了決策樹的動態特性以後，研究整合訓練樹的集（整合）來提高整體準確率的方法很有用。隨機森林、梯度樹提升和 AdaBoost 都是強大的演算法，且複雜度較低。對比簡單的樹和提升方法與 bagging 方法採用的樹的學習過程挺有趣的。Scikit-Learn 提供了最常見的實現方法，但是如果你想更好地駕馭這些方法，我還是建議你在 XGBoost 上多花些時間，XGBoost 是一個既適用於 CPU 又適用於 GPU 的分散式框架，即使在較大的資料集上也能加速學習過程。
聚類
當開始聚類方法的學習時，我的建議是從高斯混合演算法（基於期望最大化/EM）學起。雖然 K-均值聚類要更加簡單易懂（也是必須要學習的），但是高斯混合演算法為我們提供了純粹的貝葉斯方法，在其他類似任務中也十分實用。其它必學的演算法還有層次聚類（Hierarchical Clustering）、譜聚類（Spectral Clustering）和 DBSCAN。這對你瞭解基於例項的學習或研究 K-近鄰演算法（既適用於有監督又適用於無監督任務）也是有幫助的。譜聚類的一個有用的免費資源是：
《譜聚類教程》，Von Luxburg U 著
聚類演算法是無監督學習中的代表，機器之心也曾詳細地介紹過各種聚類方法與實現：
神經網路入門
神經網路是深度學習的基礎，你可以在單獨的課程中學習神經網路。但是，我認為理解感知機、多層感知機以及反向傳播演算法的概念也很有幫助。Scikit-Learn 提供了一個實現神經網路的簡單方法，但是，開始探索 Keras 也是一個好主意，Keras 是一個基於 Tensorflow、Theano 或 CNTK 的高階架構，允許使用最少的努力對神經網路進行建模和訓練。開始神經網路學習的一些好資源：
《人工神經網路基礎》Hassoun M 著
《Keras 深度學習》Gulli A.、 Pal S. 著
目前最好的深度學習書籍可能就是：
《深度學習》，Goodfellow I.、 Bengio Y.、Courville A. 著
最後，我們將介紹部分機器之心曾發過的綜述性技術文章或論文，並希望這些文章能對大家全面理解各種方法有所幫助：