決策樹演算法介紹及應用

機器學習在各個領域都有廣泛的應用，特別在資料分析領域有著深遠的影響。決策樹是機器學習中最基礎且應用最廣泛的演算法模型。本文介紹了機器學習的相關概念、常見的演算法分類和決策樹模型及應用。通過一個決策樹案例，著重從特徵選擇、剪枝等方面描述決策樹的構建，討論並研究決策樹模型評估準則。最後基於 R 語言和 SPSS 這兩個工具，分別設計與實現了決策樹模型的應用例項。

 

機器學習概念

機器學習 (Machine Learning) 是近 20 多年興起的一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、演算法複雜度理論等多門學科。
機器學習理論主要是設計和分析一些讓計算機可以自動學習的演算法。機器學習演算法是一類從資料中自動分析獲得規律，並利用規律對未知資料進行預測的演算法。因為學習演算法中涉及了大量的統計學理論，機器學習與統計推斷學聯絡尤為密切，也被稱為統計學習理論。在演算法設計方面，機器學習理論關注可以實現的、行之有效的學習演算法。很多相關問題的演算法複雜度較高，而且很難找到固有的規律，所以部分的機器學習研究是開發容易處理的近似演算法。
機器學習在資料探勘、計算機視覺、自然語言處理、生物特徵識別、搜尋引擎、醫學診斷、檢測信用卡欺詐、證券市場分析、DNA 序列測序、語言與手寫識別、戰略遊戲與機器人運用等領域有著十分廣泛的應用。它無疑是當前資料分析領域的一個熱點內容。

 

演算法分類

機器學習的演算法繁多，其中很多演算法是一類演算法，而有些演算法又是從其他演算法中衍生出來的，因此我們可以按照不同的角度將其分類。本文主要通過學習方式和演算法類似性這兩個角度將機器學習演算法進行分類。

學習方式

1. 監督式學習：從給定的訓練資料集中學習出一個函式，當新的資料到來時，可以根據這個函式預測結果。監督學習的訓練集需要包括輸入和輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。常見的監督式學習演算法包括迴歸分析和統計分類。
2. 非監督式學習：與監督學習相比，訓練集沒有人為標註的結果。常見的非監督式學習演算法有聚類。
3. 半監督式學習：輸入資料部分被標識，部分沒有被標識，介於監督式學習與非監督式學習之間。常見的半監督式學習演算法有支援向量機。
4. 強化學習：在這種學習模式下，輸入資料作為對模型的反饋，不像監督模型那樣，輸入資料僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入資料直接反饋到模型，模型必須對此立刻作出調整。常見的強化學習演算法有時間差學習。

演算法類似性

1. 決策樹學習：根據資料的屬性採用樹狀結構建立決策模型。決策樹模型常常用來解決分類和迴歸問題。常見的演算法包括 CART (Classification And Regression Tree)、ID3、C4.5、隨機森林 (Random Forest) 等。
2. 迴歸演算法：試圖採用對誤差的衡量來探索變數之間的關係的一類演算法。常見的迴歸演算法包括最小二乘法 (Least Square)、邏輯迴歸 (Logistic Regression)、逐步式迴歸 (Stepwise Regression) 等。
3. 聚類演算法：通常按照中心點或者分層的方式對輸入資料進行歸併。所有的聚類演算法都試圖找到資料的內在結構，以便按照最大的共同點將資料進行歸類。常見的聚類演算法包括 K-Means 演算法以及期望最大化演算法 (Expectation Maximization) 等。
4. 人工神經網路：模擬生物神經網路，是一類模式匹配演算法。通常用於解決分類和迴歸問題。人工神經網路演算法包括感知器神經網路 (Perceptron Neural Network) 、反向傳遞 (Back Propagation) 和深度學習等。
5. 整合演算法：用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然後把結果整合起來進行整體預測。整合演算法的主要難點在於究竟整合哪些獨立的較弱的學習模型以及如何把學習結果整合起來。這是一類非常強大的演算法，同時也非常流行。常見的演算法包括 Boosting、Bagging、AdaBoost、隨機森林 (Random Forest) 等。

 

決策樹

決策樹是附加概率結果的一個樹狀的決策圖，是直觀的運用統計概率分析的圖法。機器學習中決策樹是一個預測模型，它表示物件屬性和物件值之間的一種對映，樹中的每一個節點表示物件屬性的判斷條件，其分支表示符合節點條件的物件。樹的葉子節點表示物件所屬的預測結果。

決策樹案例

圖 1. 決策樹案例圖

圖 1 是一棵結構簡單的決策樹，用於預測貸款使用者是否具有償還貸款的能力。貸款使用者主要具備三個屬性：是否擁有房產，是否結婚，平均月收入。每一個內部節點都表示一個屬性條件判斷，葉子節點表示貸款使用者是否具有償還能力。例如：使用者甲沒有房產，沒有結婚，月收入 5K。通過決策樹的根節點判斷，使用者甲符合右邊分支 (擁有房產為“否”)；再判斷是否結婚，使用者甲符合左邊分支 (是否結婚為否)；然後判斷月收入是否大於 4k，使用者甲符合左邊分支 (月收入大於 4K)，該使用者落在“可以償還”的葉子節點上。所以預測使用者甲具備償還貸款能力。

決策樹建立

本文上一節已經討論如何用一棵決策樹進行分類。本節將通過特徵選擇、剪枝，介紹如何根據已有的樣本資料建立一棵決策樹。

首先介紹下特徵選擇。選擇一個合適的特徵作為判斷節點，可以快速的分類，減少決策樹的深度。決策樹的目標就是把資料集按對應的類標籤進行分類。最理想的情況是，通過特徵的選擇能把不同類別的資料集貼上對應類標籤。特徵選擇的目標使得分類後的資料集比較純。如何衡量一個資料集純度，這裡就需要引入資料純度函式。下面將介紹兩種表示資料純度的函式。

• 資訊增益

資訊熵表示的是不確定度。均勻分佈時，不確定度最大，此時熵就最大。當選擇某個特徵對資料集進行分類時，分類後的資料集資訊熵會比分類前的小，其差值表示為資訊增益。資訊增益可以衡量某個特徵對分類結果的影響大小。
假設在樣本資料集 D 中，混有 c 種類別的資料。構建決策樹時，根據給定的樣本資料集選擇某個特徵值作為樹的節點。在資料集中，可以計算出該資料中的資訊熵：

圖 2. 作用前的資訊熵計算公式

其中 D 表示訓練資料集，c 表示資料類別數，Pi 表示類別 i 樣本數量佔所有樣本的比例。

對應資料集 D，選擇特徵 A 作為決策樹判斷節點時，在特徵 A 作用後的資訊熵的為 Info(D)，計算如下：

圖 3. 作用後的資訊熵計算公式

其中 k 表示樣本 D 被分為 k 個部分。

資訊增益表示資料集 D 在特徵 A 的作用後，其資訊熵減少的值。公式如下：

圖 4. 資訊熵差值計算公式

對於決策樹節點最合適的特徵選擇，就是 Gain(A) 值最大的特徵。

• 基尼指數

基尼指數是另一種資料的不純度的度量方法，其公式為：

圖 5. 基尼指數計算公式

其中 c 表示資料集中類別的數量，Pi 表示類別 i 樣本數量佔所有樣本的比例。

從該公式可以看出，當資料集中資料混合的程度越高，基尼指數也就越高。當資料集 D 只有一種資料型別，那麼基尼指數的值為最低 0。

如果選取的屬性為 A，那麼分裂後的資料集 D 的基尼指數的計算公式為：

圖 6. 分裂後的基尼指數計算公式

其中 k 表示樣本 D 被分為 k 個部分，資料集 D 分裂成為 k 個 Dj 資料集。

對於特徵選取，需要選擇最小的分裂後的基尼指數。也可以用基尼指數增益值作為決策樹選擇特徵的依據。公式如下：

圖 7. 基尼指數差值計算公式

在決策樹選擇特徵時，應選擇基尼指數增益值最大的特徵，作為該節點分裂條件。

接下來介紹剪枝。在分類模型建立的過程中，很容易出現過擬合的現象。過擬合是指在模型學習訓練中，訓練樣本達到非常高的逼近精度，但對檢驗樣本的逼近誤差隨著訓練次數而呈現出先下降後上升的現象。過擬合時訓練誤差很小，但是檢驗誤差很大，不利於實際應用。

決策樹的過擬合現象可以通過剪枝進行一定的修復。剪枝分為預先剪枝和後剪枝兩種。

預先剪枝指在決策樹生長過程中，使用一定條件加以限制，使得產生完全擬合的決策樹之前就停止生長。預先剪枝的判斷方法也有很多，比如資訊增益小於一定閥值的時候通過剪枝使決策樹停止生長。但如何確定一個合適的閥值也需要一定的依據，閥值太高導致模型擬合不足，閥值太低又導致模型過擬合。

後剪枝是在決策樹生長完成之後，按照自底向上的方式修剪決策樹。後剪枝有兩種方式，一種用新的葉子節點替換子樹，該節點的預測類由子樹資料集中的多數類決定。另一種用子樹中最常使用的分支代替子樹。

預先剪枝可能過早的終止決策樹的生長，後剪枝一般能夠產生更好的效果。但後剪枝在子樹被剪掉後，決策樹生長的一部分計算就被浪費了。

決策樹模型評估

建立了決策樹模型後需要給出該模型的評估值，這樣才可以來判斷模型的優劣。學習演算法模型使用訓練集 (training set) 建立模型，使用校驗集 (test set) 來評估模型。本文通過評估指標和評估方法來評估決策樹模型。

評估指標有分類準確度、召回率、虛警率和精確度等。而這些指標都是基於混淆矩陣 (confusion matrix) 進行計算的。

混淆矩陣是用來評價監督式學習模型的精確性，矩陣的每一列代表一個類的例項預測，而每一行表示一個實際的類的例項。以二類分類問題為例，如下表所示：

表 1. 混淆矩陣

其中

• P (Positive Sample)：正例的樣本數量。
• N(Negative Sample)：負例的樣本數量。
• TP(True Positive)：正確預測到的正例的數量。
• FP(False Positive)：把負例預測成正例的數量。
• FN(False Negative)：把正例預測成負例的數量。
• TN(True Negative)：正確預測到的負例的數量。

根據混淆矩陣可以得到評價分類模型的指標有以下幾種。

分類準確度，就是正負樣本分別被正確分類的概率，計算公式為：

圖 8. 分類準確度計算公式

召回率，就是正樣本被識別出的概率，計算公式為：

圖 9. 召回率計算公式

虛警率，就是負樣本被錯誤分為正樣本的概率，計算公式為：

圖 10. 虛警率計算公式

精確度，就是分類結果為正樣本的情況真實性程度，計算公式為：

圖 11. 精確度計算公式

評估方法有保留法、隨機二次抽樣、交叉驗證和自助法等。

保留法 (holdout) 是評估分類模型效能的最基本的一種方法。將被標記的原始資料集分成訓練集和檢驗集兩份，訓練集用於訓練分類模型，檢驗集用於評估分類模型效能。但此方法不適用樣本較小的情況，模型可能高度依賴訓練集和檢驗集的構成。

隨機二次抽樣 (random subsampling) 是指多次重複使用保留方法來改進分類器評估方法。同樣此方法也不適用訓練集數量不足的情況，而且也可能造成有些資料未被用於訓練集。

交叉驗證 (cross-validation) 是指把資料分成數量相同的 k 份，每次使用資料進行分類時，選擇其中一份作為檢驗集，剩下的 k-1 份為訓練集，重複 k 次，正好使得每一份資料都被用於一次檢驗集 k-1 次訓練集。該方法的優點是儘可能多的資料作為訓練集資料，每一次訓練集資料和檢驗集資料都是相互獨立的，並且完全覆蓋了整個資料集。也存在一個缺點，就是分類模型執行了 K 次，計算開銷較大。

自助法 (bootstrap) 是指在其方法中，訓練集資料採用的是有放回的抽樣，即已經選取為訓練集的資料又被放回原來的資料集中，使得該資料有機會能被再一次抽取。用於樣本數不多的情況下，效果很好。

 

決策樹建模

在本節中，將通過 R 和 IBM SPSS 兩種建模工具分別對其實際案例進行決策樹建模。

R

R 是一個用於統計計算及統計製圖的優秀的開源軟體，也是一個可以從大資料中獲取有用資訊的絕佳工具。它能在目前各種主流作業系統上安裝使用，並且提供了很多資料管理、統計和繪圖函式。

下面本節就將使用 R 所提供的強大的函式庫來構建一棵決策樹並加以剪枝。

清單 1. 構建決策樹及其剪枝的 R 程式碼

根據程式碼，執行步驟如下：

1. 匯入需要的函式庫。當然如果本地開發環境沒有相應的庫的話，還需要通過 install.packages 函式對庫進行安裝。
2. 檢視本次構建決策樹的資料來源。stagec 是一組前列腺癌復發的研究資料。
3. 通過 rpart 函式構建決策樹，以研究癌復發與病人年齡、腫瘤等級、癌細胞比例，癌細胞分裂狀況等之間的關係。
4. 檢視決策樹的具體資訊。
5. 繪製構建完成的決策樹圖。
6. 通過 prune 函式對該決策樹進行適當的剪枝，防止過擬合，使得樹能夠較好地反映資料內在的規律並在實際應用中有意義。
7. 繪製剪枝完後的決策樹圖。

該案例決策樹的擬合結果與剪枝前後的樹如下圖所示：

圖 12. 決策樹案例擬合圖

圖 13. 未剪枝的決策樹圖

圖 14. 剪枝後的決策樹圖

SPSS

IBM SPSS Modeler 是一個預測分析平臺，能夠為個人、團隊、系統和企業做決策提供預測性資訊。它可提供各種高階演算法和技術 (包括文字分析、實體分析、決策管理與優化)，幫助您選擇可實現更佳成果的操作。

在 SPSS Modeler 中有很多應用例項，其中就包括一個決策樹演算法模型的案例。此示例使用名為 druglearn.str 的流，此流引用名為 DRUG1n 的資料檔案。這些檔案可在任何 IBM SPSS Modeler 安裝程式的 Demos 目錄中找到。操作步驟如下：

1. 新增“變數檔案”節點 GRUGln，開啟該節點，新增 DRUGln 檔案。
2. 建立新欄位 Na_to_K, 通過對 Na 和 K 資料的觀察，發現可以用 Na 和 K 的比例來預測藥物 Y。
3. 新增過濾器 (Discard Fields)，過濾掉原始的欄位 Na 和 K，以免在建模演算法中重複使用。
4. 新增型別節點 (Define Types)，設定欄位的角色，將藥物欄位設定為目標，其他的欄位設定為輸入。
5. 新增 C5.0 節點，使用預設的引數設定。
6. 點選執行，生成一個模型 Drug，如下圖所示。

圖 15. 模型流圖

在生成模型 Drug 以後，我們可以在模型頁面中瀏覽 Drug 模型。開啟 Drug 模型以後，可在規則瀏覽框中以決策樹形式顯示 C5.0 節點所生成的規則集。還可以通過更復雜的圖表形式檢視同一決策樹。如下圖所示：

圖 16. 生成模型的決策樹圖

 

結束語

本文主要通過一個決策樹的典型案例，著重從特徵選擇、剪枝等方面描述決策樹的構建，討論並研究決策樹模型評估準則，最後基於 R 語言和 SPSS 這兩個工具，分別設計與實現了決策樹模型的應用例項。通過較多的統計學公式和案例圖表，生動地展示了一棵決策樹是如何構建並將其應用到實際場景中去的。

本文也展開討論了分類演算法之間的相互比較和優缺點，特徵選擇與剪枝各種方法之間的相互比較，各個評估方法的優缺點等。通過這些討論與分析，能夠以更好的方法論來解決實際生產環境下的問題。

同時，決策樹只是整個機器學習領域的冰山一角，而機器學習領域又是當前大資料分析領域的熱點，因此還有很多很多值得我們去學習、去研究的地方。

 

參考資源 (resources)

學習

• 參考機器學習維基百科，瞭解更多機器學習的概念知識。
• 檢視文章“機器學習常見演算法分類彙總”，瞭解更多機器學習中的演算法分類。
• 檢視文章“基於 R 軟體 rpart 包的分類與迴歸樹應用”，瞭解更多基於 R 對實際案例的應用。
• 參考“IBM SPSS Modeler V17.0.0 文件”，瞭解更多 IBM SPSS Modeler 產品使用說明。
• 在 developerWorks 大資料和分析專區，瞭解關於大資料的更多資訊，獲取技術文件、how-to 文章、培訓、下載、產品資訊以及其他資源。
• 在 developerWorks Information Management 專區，瞭解關於資訊管理的更多資訊，獲取技術文件、how-to 文章、培訓、下載、產品資訊以及其他資源。

討論

加入 developerWorks 中文社群，檢視開發人員推動的部落格、論壇、組和維基，並與其他 developerWorks 使用者交流。