統計學和機器學習之間的界定一直很模糊。
無論是業界還是學界一直認為機器學習只是統計學批了一層光鮮的外衣。
而機器學習支撐的人工智慧也被稱為“統計學的外延”
例如，諾獎得主托馬斯·薩金特曾經說過人工智慧其實就是統計學，只不過用了一個很華麗的辭藻。
薩金特在世界科技創新論壇上表示，人工智慧其實就是統計學
當然也有一些不同的聲音。但是這一觀點的正反雙方在爭吵中充斥著一堆看似高深實則含糊的論述，著實讓人摸不著頭腦。
一位名叫Matthew Stewart的哈佛大學博士生從統計與機器學習的不同；統計模型與機器學習的不同，這兩個角度論證了機器學習和統計學並不是互為代名詞。
機器學習和統計的主要區別在於它們的目的
與大部分人所想的正相反，機器學習其實已經存在幾十年了。當初只是因為那時的計算能力無法滿足它對大量計算的需求，而漸漸被人遺棄。然而，近年來，由於資訊爆炸所帶來的資料和算力優勢，機器學習正快速復甦。
言歸正傳，如果說機器學習和統計學是互為代名詞，那為什麼我們沒有看到每所大學的統計學系都關門大吉而轉投'機器學習'系呢？因為它們是不一樣的!
我經常聽到一些關於這個話題的含糊論述，最常見的是這樣的說法:
"機器學習和統計的主要區別在於它們的目的。機器學習模型旨在使最準確的預測成為可能。統計模型是為推斷變數之間的關係而設計的。
雖然技術上來說這是正確的，但這樣的論述並沒有給出特別清晰和令人滿意的答案。機器學習和統計之間的一個主要區別確實是它們的目的。
然而，說機器學習是關於準確的預測，而統計模型是為推理而設計，幾乎是毫無意義的說法，除非你真的精通這些概念。
首先，我們必須明白，統計和統計建模是不一樣的。統計是對資料的數學研究。除非有資料，否則無法進行統計。統計模型是資料的模型，主要用於推斷資料中不同內容的關係，或建立能夠預測未來值的模型。通常情況下，這兩者是相輔相成的。
因此，實際上我們需要從兩方面來論述：第一，統計與機器學習有何不同；第二，統計模型與機器學習有何不同？
說的更直白些就是，有很多統計模型可以做出預測，但預測效果比較差強人意。
而機器學習通常會犧牲可解釋性以獲得強大的預測能力。例如，從線性迴歸到神經網路，儘管解釋性變差，但是預測能力卻大幅提高。
從巨集觀角度來看，這是一個很好的答案。至少對大多數人來說已經足夠好。然而，在有些情況下，這種說法容易讓我們對機器學習和統計建模之間的差異產生誤解。讓我們看一下線性迴歸的例子。
統計模型與機器學習在線性迴歸上的差異
或許是因為統計建模和機器學習中使用方法的相似性，使人們認為它們是同一個東西。對這我可以理解，但事實上不是這樣。
最明顯的例子是線性迴歸，這可能是造成這種誤解的主要原因。線性迴歸是一種統計方法，通過這種方法我們既可以訓練一個線性迴歸器，又可以通過最小二乘法擬合一個統計迴歸模型。
可以看到，在這個案例中，前者做的事兒叫"訓練"模型，它只用到了資料的一個子集，而訓練得到的模型究竟表現如何需要通過資料的另一個子集測試集測試之後才能知道。在這個例子中，機器學習的最終目的是在測試集上獲得最佳效能。
對於後者，我們則事先假設資料是一個具有高斯噪聲的線性迴歸量，然後試圖找到一條線，最大限度地減少了所有資料的均方誤差。不需要訓練或測試集，在許多情況下，特別是在研究中(如下面的感測器示例)，建模的目的是描述資料與輸出變數之間的關係, 而不是對未來資料進行預測。我們稱此過程為統計推斷，而不是預測。儘管我們可以使用此模型進行預測，這也可能是你所想的，但評估模型的方法不再是測試集，而是評估模型引數的顯著性和健壯性。
機器學習（這裡特指有監督學習）的目的是獲得一個可反覆預測的模型。我們通常不關心模型是否可以解釋。機器學習只在乎結果。就好比對公司而言，你的價值只用你的表現來衡量。而統計建模更多的是為了尋找變數之間的關係和確定關係的顯著性，恰巧迎合了預測。
下面我舉一個自己的例子，來說明兩者的區別。我是一名環境科學家。工作的主要內容是和感測器資料打交道。如果我試圖證明感測器能夠對某種刺激(如氣體濃度)做出反應, 那麼我將使用統計模型來確定訊號響應是否具有統計顯著性。我會嘗試理解這種關係，並測試其可重複性，以便能夠準確地描述感測器的響應，並根據這些資料做出推斷。我還可能測試，響應是否是線性的？響應是否歸因於氣體濃度而不是感測器中的隨機噪聲？等等。
而同時，我也可以拿著從20個不同感測器得到的資料, 去嘗試預測一個可由他們表徵的感測器的響應。如果你對感測器瞭解不多，這可能會顯得有些奇怪，但目前這確實是環境科學的一個重要研究領域。
用一個包含20個不同變數的模型來表徵感測器的輸出顯然是一種預測，而且我也沒期待模型是可解釋的。要知道，由於化學動力學產生的非線性以及物理變數與氣體濃度之間的關係等等因素，可能會使這個模型非常深奧，就像神經網路那樣難以解釋。儘管我希望這個模型能讓人看懂, 但其實只要它能做出準確的預測，我就相當高興了。
如果我試圖證明資料變數之間的關係在某種程度上具有統計顯著性，以便我可以在科學論文中發表，我將使用統計模型而不是機器學習。這是因為我更關心變數之間的關係，而不是做出預測。做出預測可能仍然很重要，但是大多數機器學習演算法缺乏可解釋性，這使得很難證明資料中存在的關係。
很明顯，這兩種方法在目標上是不同的，儘管使用了相似的方法來達到目標。機器學習演算法的評估使用測試集來驗證其準確性。然而，對於統計模型，通過置信區間、顯著性檢驗和其他檢驗對迴歸引數進行分析，可以用來評估模型的合法性。因為這些方法產生相同的結果，所以很容易理解為什麼人們會假設它們是相同的。
統計與機器學習在線性迴歸上的差異
有一個誤解存在了10年：僅基於它們都利用相同的基本概率概念這一事實，來混淆這兩個術語是不合理的。
然而，僅僅基於這兩個術語都利用了概率裡相同的基本概念這一事實而將他們混為一談是不合理的。就好比，如果我們僅僅把機器學習當作皮了一層光鮮外衣的統計，我們也可以這樣說：
物理只是數學的一種更好聽的說法。
動物學只是郵票收藏的一種更好聽的說法。
建築學只是沙堡建築的一種更好聽的說法。
這些說法（尤其是最後一個）非常荒謬，完全混淆了兩個類似想法的術語。
實際上，物理是建立在數學基礎上的，理解現實中的物理現象是數學的應用。物理學還包括統計學的各個方面，而現代統計學通常是建立在Zermelo-Frankel集合論與測量理論相結合的框架中，以產生概率空間。它們有很多共同點，因為它們來自相似的起源，並運用相似的思想得出一個邏輯結論。同樣，建築學和沙堡建築可能有很多共同點，但即使我不是一個建築師，也不能給出一個清晰的解釋，但也看得出它們顯然不一樣。
在我們進一步討論之前，需要簡要澄清另外兩個與機器學習和統計有關的常見誤解。這就是人工智慧不同於機器學習，資料科學不同於統計學。這些都是沒有爭議的問題，所以很快就能說清楚。
資料科學本質上是應用於資料的計算和統計方法，包括小資料集或大資料集。它也包括諸如探索性資料分析之類的東西，例如對資料進行檢查和視覺化，以幫助科學家更好地理解資料，並從中做出推論。資料科學還包括諸如資料包裝和預處理之類的東西，因此涉及到一定程度的電腦科學，因為它涉及編碼和建立資料庫、Web伺服器之間的連線和流水線等等。
要進行統計，你並不一定得依靠電腦，但如果是資料科學缺了電腦就沒法操作了。這就再次說明了雖然資料科學藉助統計學，這兩者不是一個概念。
同理，機器學習也並非人工智慧；事實上，機器學習是人工智慧的一個分支。這一點挺明顯的，因為我們基於以往的資料“教”（訓練）機器對特定型別的資料進行概括性的預測。
機器學習是基於統計學
在我們討論統計學和機器學習之間的區別前，我們先來說說其相似性，其實文章的前半段已經對此有過一些探討了。
機器學習基於統計的框架，因為機器學習涉及資料，而資料必須基於統計學框架來進行描述，所以這點十分明顯。然而，擴充套件至針對大量粒子的熱力學的統計機制，同樣也建立在統計學框架之下。
壓力的概念其實是資料，溫度也是一種資料。你可能覺得這聽起來不合理，但這是真的。這就是為什麼你不能描述一個分子的溫度或壓力，這不合理。溫度是分子相撞產生的平均能量的顯示。而例如房屋或室外這種擁有大量分子的，我們能用溫度來描述也就合理了。
你會認為熱力學和統計學是一個東西嗎？當然不會，熱力學藉助統計學來幫助我們理解運動的相互作用以及轉移現象中產生的熱。
事實上，熱力學基於多種學科而非僅僅統計學。類似地，機器學習基於許多其他領域的內容，比如數學和電腦科學。舉例來說：
機器學習的理論來源於數學和統計學
機器學習演算法基於優化理論、矩陣代數和微積分
機器學習的實現來源於電腦科學和工程學概念，比如核對映、特徵雜湊等。
當一個人開始用Python開始程式設計，突然從Sklearn程式庫裡找出並使用這些演算法，許多上述的概念都比較抽象，因此很難看出其中的區別。這樣的情況下，這種抽象定義也就致使了對機器學習真正包含的內容一定程度上的無知。
統計學習理論——機器學習的統計學基礎
統計學和機器學習之間最主要的區別在於統計學完全基於概率空間。你可以從集合論中推匯出全部的統計學內容，集合論討論了我們如何將資料歸類（這些類被稱為“集”），然後對這個集進行某種測量保證其總和為1.我們將這種方法成為概率空間。
統計學除了對這些集合和測量有所定義之外沒有其他假設。這就是為什麼我們對概率空間的定義非常嚴謹的原因。一個概率空間，其數學符號寫作(Ω,F,P)，包含三部分：
一個樣本空間，Ω，也就是所有可能結果的集合。
一個事件集合，F，每個事件都包含0或者其它值。
對每個事件發生的可能性賦予概率，P，這是一個從事件到概率的函式。
機器學習基於統計學習理論，統計學習理論也依舊基於對概率空間的公理化語言。這個理論基於傳統的統計學理論，並發展於19世紀60年代。
機器學習分為多個類別，這篇文章我僅著眼於監督學習理論，因為它最容易解釋（雖然因其充斥數學概念依然顯得晦澀難懂）。
統計學習理論中的監督學習，給了我們一個資料集，我們將其標為S= {(xᵢ,yᵢ)}，也就是說我們有一個包含N個資料點的資料集，每個資料點由被稱為“特徵”的其它值描述，這些特徵用x描述，這些特徵通過特定函式來描繪以返回我們想要的y值。
已知這個資料集，問如何找到將x值對映到y值的函式。我們將所有可能的描述對映過程的函式集合稱為假設空間。
為了找到這個函式，我們需要給演算法一些方法來“學習”如何最好地著手處理這個問題，而這由一個被稱為“損失函式”的概念來提供。因此，對我們所有的每個假設（也即提議的函式），我們要通過比較所有資料下其預期風險的值來衡量這個函式的表現。
預期風險本質上就是損失函式之和乘以資料的概率分佈。如果我們知道這個對映的聯合概率分佈，找到最優函式就很簡單了。但是這個聯合概率分佈通常是未知的，因此我們最好的方式就是猜測一個最優函式，再實證驗證損失函式是否得到優化。我們將這種稱為實證風險。
之後，我們就可以比較不同函式，找出最小預期風險的那個假設，也就是所有函式中得出最小下確界值的那個假設。
然而，為了最小化損失函式，演算法有通過過度擬合來作弊的傾向。這也是為什麼要通過訓練集“學習”函式，之後在訓練集之外的資料集，測試集裡對函式進行驗證。
我們如何定義機器學習的本質引出了過度擬合的問題，也對需要區分訓練集和測試集作出瞭解釋。而我們在統計學中無需試圖最小化實證風險，過度擬合不是統計學的固有特徵。最小化統計學中無需檢視程向於一個從函式中選取最小化實證風險的學習演算法被稱為實證風險最小化
例證
以線性迴歸做一個簡單例子。在傳統概念中，我們試圖最小化資料中的誤差找到能夠描述資料的函式，這種情況下，我們通常使用均值方差。使用平方數是為了不讓正值和負值互相抵消。然後我們可以使用閉合表示式來求出迴歸係數。
如果我們將損失函式計為均值方差，並基於統計學習理論進行最小化實證風險，碰巧就能得到傳統線性迴歸分析同樣的結果。
這個巧合是因為兩個情況是相同的，對同樣的資料以相同的方式求解最大概率自然會得出相同的結果。最大化概率有不同的方法來實現同樣的目標，但沒人會去爭論說最大化概率與線性迴歸是一個東西。這個最簡單的例子顯然沒能區分開這些方法。
這裡要指出的第二點在於，傳統的統計方法中沒有訓練集和測試集的概念，但我們會使用不同的指標來幫助驗證模型。驗證過程雖然不同，但兩種方法都能夠給我們統計穩健的結果。
另外要指出的一點在於，傳統統計方法給了我們一個閉合形式下的最優解，它沒有對其它可能的函式進行測試來收斂出一個結果。相對的，機器學習方法嘗試了一批不同的模型，最後結合迴歸演算法的結果，收斂出一個最終的假設。
如果我們用一個不同的損失函式，結果可能並不收斂。例如，如果我們用了鉸鏈損失（使用標準梯度下降時不太好區分，因此需要使用類似近梯度下降等其它方法），那麼結果就不會相同了。
最後可以對模型偏差進行區分。你可以用機器學習演算法來測試線性模型以及多項式模型，指數模型等，來檢驗這些假設是否相對我們的先驗損失函式對資料集給出更好的擬合度。在傳統統計學概念中，我們選擇一個模型，評估其準確性，但無法自動從100個不同的模型中摘出最優的那個。顯然，由於最開始選擇的演算法不同，找出的模型總會存在一些偏誤。選擇演算法是非常必要的，因為為資料集找出最優的方程是一個NP-hard問題。
那麼哪個方法更優呢？
這個問題其實很蠢。沒有統計學，機器學習根本沒法存在，但由於當代資訊爆炸人類能接觸到的大量資料，機器學習是非常有用的。
對比機器學習和統計模型還要更難一些，你需要視乎你的目標而定究竟選擇哪種。如果你只是想要建立一個高度準確的預測房價的演算法，或者從資料中找出哪類人更容易得某種疾病，機器學習可能是更好的選擇。如果你希望找出變數之間的關係或從資料中得出推論，選擇統計模型會更好。
圖中文字：
這是你的機器學習系統？
對的，你從這頭把資料都倒進這一大堆或者線性代數裡，然後從那頭裡拿答案就好了。
答案錯了咋整？
那就攪攪，攪到看起來對了為止。
如果你統計學基礎不夠紮實，你依然可以學習機器學習並使用它——機器學習程式庫裡的抽象概念能夠讓你以業餘者的身份來輕鬆使用它們，但你還是得對統計概念有所瞭解，從而避免模型過度擬合或得出些貌似合理的推論。