各種機器學習演算法的應用場景分別是什麼？

各種機器學習演算法的應用場景分別是什麼？

http://blog.sina.com.cn/s/blog_cfa68e330102z8d5.html

 

關於這個問題我今天正好看到了這個文章。講的正是各個演算法的優劣分析，很中肯。

正好14年的時候有人做過一個實驗[1]，比較在不同資料集上（121個），不同的分類器（179個）的實際效果。

論文題為：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?

實驗時間有點早，我嘗試著結合我自己的理解、一些最近的實驗，來談一談吧。主要針對分類器(Classifier)。

沒有最好的分類器，只有最合適的分類器。

隨機森林平均來說最強，但也只在9.9%的資料集上拿到了第一，優點是鮮有短板。

SVM 的平均水平緊隨其後，在10.7%的資料集上拿到第一。

神經網路（13.2%）和boosting（~9%）表現不錯。

資料維度越高 ，隨機森林就比AdaBoost強越多，但是整體不及SVM[2]。

資料量越大 ，神經網路就越強。

近鄰 (Nearest Neighbor)

 

典型的例子是KNN，它的思路就是——對於待判斷的點，找到離它最近的幾個資料點，根據它們的型別決定待判斷點的型別。

它的特點是完全跟著資料走，沒有數學模型可言。

適用情景：

需要一個特別容易解釋的模型的時候。

比如需要向使用者解釋原因的推薦演算法。

貝葉斯 (Bayesian)

典型的例子是Naive Bayes，核心思路是根據條件機率計算待判斷點的型別。

是相對容易理解的一個模型，至今依然被垃圾郵件過濾器使用。

適用情景：

需要一個比較容易解釋，而且不同維度之間相關性較小的模型的時候。

可以高效處理高維資料，雖然結果可能不盡如人意。

決策樹 (Decision tree)

 

 

決策樹的特點是它總是在沿著特徵做切分。隨著層層遞進，這個劃分會越來越細。

雖然生成的樹不容易給使用者看，但是資料分析的時候，透過觀察樹的上層結構，能夠對分類器的核心思路有一個直觀的感受。

舉個簡單的例子，當我們預測一個孩子的身高的時候，決策樹的第一層可能是這個孩子的性別。男生走左邊的樹進行進一步預測，女生則走右邊的樹。這就說明性別對身高有很強的影響。

適用情景：

因為它能夠生成清晰的基於特徵(feature)選擇不同預測結果的樹狀結構，資料分析師希望更好的理解手上的資料的時候往往可以使用決策樹。

同時它也是相對容易被攻擊的分類器[3]。這裡的攻擊是指人為的改變一些特徵，使得分類器判斷錯誤。常見於垃圾郵件躲避檢測中。因為決策樹最終在底層判斷是基於單個條件的，攻擊者往往只需要改變很少的特徵就可以逃過監測。

受限於它的簡單性，決策樹更大的用處是作為一些更有用的演算法的基石。

隨機森林 (Random forest)

提到決策樹就不得不提隨機森林。顧名思義，森林就是很多樹。

嚴格來說，隨機森林其實算是一種整合演算法。它首先隨機選取不同的特徵(feature)和訓練樣本(training sample)，生成大量的決策樹，然後綜合這些決策樹的結果來進行最終的分類。

隨機森林在現實分析中被大量使用，它相對於決策樹，在準確性上有了很大的提升，同時一定程度上改善了決策樹容易被攻擊的特點。

適用情景：

資料維度相對低（幾十維），同時對準確性有較高要求時。

因為不需要很多引數調整就可以達到不錯的效果，基本上不知道用什麼方法的時候都可以先試一下隨機森林。

SVM (Support vector machine)

 

SVM 的核心思想就是找到不同類別之間的分介面，使得兩類樣本儘量落在面的兩邊，而且離分介面儘量遠。

最早的SVM是平面的，侷限很大。但是利用核函式(kernel function)，我們可以把平面投射(mapping)成曲面，進而大大提高SVM的適用範圍。

 

提高之後的SVM同樣被大量使用，在實際分類中展現了很優秀的正確率。

適用情景：

SVM 在很多資料集上都有優秀的表現。

相對來說，SVM儘量保持與樣本間距離的性質導致它抗攻擊的能力更強。

和隨機森林一樣，這也是一個拿到資料就可以先嚐試一下的演算法。

邏輯斯蒂迴歸 (Logistic regression)

邏輯斯蒂迴歸這個名字太詭異了，我就叫它LR吧，反正討論的是分類器，也沒有別的方法叫LR。顧名思義，它其實是迴歸類方法的一個變體。

迴歸方法的核心就是為函式找到最合適的引數，使得函式的值和樣本的值最接近。例如線性迴歸(Linear regression)就是對於函式f(x)=ax+b，找到最合適的a,b。

LR 擬合的就不是線性函式了，它擬合的是一個機率學中的函式，f(x)的值這時候就反映了樣本屬於這個類的機率。

適用情景：

LR 同樣是很多分類演算法的基礎元件，它的好處是輸出值自然地落在0到1之間，並且有機率意義。

因為它本質上是一個線性的分類器，所以處理不好特徵之間相關的情況。

雖然效果一般，卻勝在模型清晰，背後的機率學經得住推敲。它擬合出來的引數就代表了每一個特徵(feature)對結果的影響。也是一個理解資料的好工具。

判別分析 (Discriminant analysis)

判別分析主要是統計那邊在用，所以我也不是很熟悉，臨時找統計系的閨蜜補了補課。這裡就現學現賣了。

判別分析的典型例子是線性判別分析(Linear discriminant analysis)，簡稱LDA。

（這裡注意不要和隱含狄利克雷分佈(Latent Dirichlet allocation)弄混，雖然都叫LDA但說的不是一件事。）

LDA 的核心思想是把高維的樣本投射(project)到低維上，如果要分成兩類，就投射到一維。要分三類就投射到二維平面上。這樣的投射當然有很多種不同的方式，LDA投射的標準就是讓同類的樣本儘量靠近，而不同類的儘量分開。對於未來要預測的樣本，用同樣的方式投射之後就可以輕易地分辨類別了。

使用情景：

判別分析適用於高維資料需要降維的情況，自帶降維功能使得我們能方便地觀察樣本分佈。它的正確性有數學公式可以證明，所以同樣是很經得住推敲的方式。

但是它的分類準確率往往不是很高，所以不是統計系的人就把它作為降維工具用吧。

同時注意它是假定樣本成正態分佈的，所以那種同心圓形的資料就不要嘗試了。

神經網路 (Neural network)

神經網路現在是火得不行啊。它的核心思路是利用訓練樣本(training sample)來逐漸地完善引數。還是舉個例子預測身高的例子，如果輸入的特徵中有一個是性別（1:男；0:女），而輸出的特徵是身高（1:高；0:矮）。那麼當訓練樣本是一個個子高的男生的時候，在神經網路中，從“男”到“高”的路線就會被強化。同理，如果來了一個個子高的女生，那從“女”到“高”的路線就會被強化。

最終神經網路的哪些路線比較強，就由我們的樣本所決定。

神經網路的優勢在於，它可以有很多很多層。如果輸入輸出是直接連線的，那它和LR就沒有什麼區別。但是透過大量中間層的引入，它就能夠捕捉很多輸入特徵之間的關係。卷積神經網路有很經典的不同層的視覺化展示(visulization)，我這裡就不贅述了。

神經網路的提出其實很早了，但是它的準確率依賴於龐大的訓練集，原本受限於計算機的速度，分類效果一直不如隨機森林和SVM這種經典演算法。

使用情景：

資料量龐大，引數之間存在內在聯絡的時候。

當然現在神經網路不只是一個分類器，它還可以用來生成資料，用來做降維，這些就不在這裡討論了。

Rule-based methods

這個我是真不熟，都不知道中文翻譯是什麼。

它裡面典型的演算法是C5.0 Rules，一個基於決策樹的變體。因為決策樹畢竟是樹狀結構，理解上還是有一定難度。所以它把決策樹的結果提取出來，形成一個一個兩三個條件組成的小規則。

使用情景：

它的準確度比決策樹稍低，很少見人用。大概需要提供明確小規則來解釋決定的時候才會用吧。

提升演算法（Boosting）

接下來講的一系列模型，都屬於整合學習演算法(Ensemble Learning)，基於一個核心理念：三個臭皮匠，頂個諸葛亮。

翻譯過來就是：當我們把多個較弱的分類器結合起來的時候，它的結果會比一個強的分類器更

典型的例子是AdaBoost。

AdaBoost 的實現是一個漸進的過程，從一個最基礎的分類器開始，每次尋找一個最能解決當前錯誤樣本的分類器。用加權取和(weighted sum)的方式把這個新分類器結合進已有的分類器中。

它的好處是自帶了特徵選擇（feature selection），只使用在訓練集中發現有效的特徵(feature)。這樣就降低了分類時需要計算的特徵數量，也在一定程度上解決了高維資料難以理解的問題。

最經典的AdaBoost實現中，它的每一個弱分類器其實就是一個決策樹。這就是之前為什麼說決策樹是各種演算法的基石。

使用情景：

好的Boosting演算法，它的準確性不遜於隨機森林。雖然在[1]的實驗中只有一個擠進前十，但是實際使用中它還是很強的。因為自帶特徵選擇（feature selection）所以對新手很友好，是一個“不知道用什麼就試一下它吧”的演算法。

裝袋演算法（Bagging）

同樣是弱分類器組合的思路，相對於Boosting，其實Bagging更好理解。它首先隨機地抽取訓練集（training set），以之為基礎訓練多個弱分類器。然後透過取平均，或者投票(voting)的方式決定最終的分類結果。

因為它隨機選取訓練集的特點，Bagging可以一定程度上避免過渡擬合(overfit)。

在[1]中，最強的Bagging演算法是基於SVM的。如果用定義不那麼嚴格的話，隨機森林也算是Bagging的一種。

使用情景：

相較於經典的必使演算法，Bagging使用的人更少一些。一部分的原因是Bagging的效果和引數的選擇關係比較大，用預設引數往往沒有很好的效果。

雖然調對引數結果會比決策樹和LR好，但是模型也變得複雜了，沒事有特別的原因就別用它了。

Stacking

這個我是真不知道中文怎麼說了。它所做的是在多個分類器的結果上，再套一個新的分類器。

這個新的分類器就基於弱分類器的分析結果，加上訓練標籤(training label)進行訓練。一般這最後一層用的是LR。

Stacking 在[1]裡面的表現不好，可能是因為增加的一層分類器引入了更多的引數，也可能是因為有過渡擬合(overfit)的現象。

使用情景：

沒事就別用了。

（修訂：@莊巖

提醒說stacking在資料探勘競賽的網站kaggle上很火，相信引數調得好的話還是對結果能有幫助的。

http://blog.kaggle.com/2016/12/27/a-kagglers-guide-to-model-stacking-in-practice/**

這篇文章很好地介紹了stacking的好處。在kaggle這種一點點提升就意味著名次不同的場合下，stacking還是很有效的，但是對於一般商用，它所帶來的提升就很難值回額外的複雜度了。）

多專家模型（Mixture of Experts）

最近這個模型還挺流行的，主要是用來合併神經網路的分類結果。我也不是很熟，對神經網路感興趣，而且訓練集異質性（heterogeneity）比較強的話可以研究一下這個。

講到這裡分類器其實基本說完了。講一下問題裡面其他一些名詞吧。

最大熵模型 (Maximum entropy model)

最大熵模型本身不是分類器，它一般是用來判斷模型預測結果的好壞的。

對於它來說，分類器預測是相當於是：針對樣本，給每個類一個出現機率。比如說樣本的特徵是：性別男。我的分類器可能就給出了下面這樣一個機率：高（60%），矮（40%）。

而如果這個樣本真的是高的，那我們就得了一個分數60%。最大熵模型的目標就是讓這些分數的乘積儘量大。

LR 其實就是使用最大熵模型作為最佳化目標的一個演算法[4]。

EM

就像最大熵模型一樣，EM不是分類器，而是一個思路。很多演算法都是基於這個思路實現的。

@ 劉奕馳 已經講得很清楚了，我就不多說了。

隱馬爾科夫 (Hidden Markov model)

這是一個基於序列的預測方法，核心思想就是透過上一個（或幾個）狀態預測下一個狀態。

之所以叫“隱”馬爾科夫是因為它的設定是狀態本身我們是看不到的，我們只能根據狀態生成的結果序列來學習可能的狀態。

適用場景：

可以用於序列的預測，可以用來生成序列。

條件隨機場 (Conditional random field)

典型的例子是linear-chain CRF。

具體的使用 @Aron 有講，我就不獻醜了，因為我從來沒用過這個。

就是這些啦。

相關的文章：

[1]: Do we need hundreds of classifiers to solve real world classification problems.

Fernández-Delgado, Manuel, et al. J. Mach. Learn. Res 15.1 (2014)

[2]: An empirical evaluation of supervised learning in high dimensions.

Rich Caruana, Nikos Karampatziakis, and Ainur Yessenalina. ICML '08

[3]: Man vs. Machine: Practical Adversarial Detection of Malicious Crowdsourcing Workers

Wang, G., Wang, T., Zheng, H., & Zhao, B. Y. Usenix Security'14

[4]: