作者：
Jason Brownlee
翻譯：wwl校對：王琦
本文約
3300字，
建議閱讀
8分鐘。
本文介紹了我們在生活中的許多決定包括了其他人的意見，由於群體的智慧，有的時候群體的決策優於個體。在機器學習領域也存在整合學習，整合多個模型的結果，降低預測結果的方差。
生活中我們做的許多決定都是基於其他人的意見。這包括，透過書評來決定閱讀哪一本書；根據多位醫生的建議決定選擇哪個治療方案；以及定罪。
一般地，一群人共同決策的結果比團隊中每個個體單獨做決策帶來的結果更優。這通常被視為是群體的智慧。
對於迴歸和分類的預測建模問題，透過把多個機器學習的預測模型組合起來，也可以達到類似的結果。這通常叫做整合機器學習，簡稱 整合學習。
透過本文，你可以掌握有關整合學習的入門介紹。你將瞭解到：
- 我們做的許多決定都包含了其他人的意見或投票。
- 群體決策效果比個人更好，這被稱為群體的智慧。
- 整合機器學習把多個成熟的模型預測結果組合起來。
我們開始吧！
總覽
本教程包含三部分：
1、 做重要決策
2、 群體的智慧
3、 整合機器學習
做重要決策
想一想生活中，你做的重要的決策。比如說：
- 買什麼書和接下來閱讀什麼書？
- 參加哪所大學？
候選的書都聽起來很有趣，但我們實際購買的可能是有最多好評的那一本。候選的大學都可以提供我們感興趣的課程，但最終的選擇會基於有一手訊息的朋友和熟人的反饋。
我們可能會相信有關這些書籍的評論和星級評級，因為每個人都提供了一個評論，使用者跟這個書沒有關係（希望如此），且獨立於其他人留下的評論。如果不是這樣的話，對結果的信任就會受到質疑，對系統的信任也會動搖，這就是為什麼亞馬遜努力刪除圖書的虛假評論。
另外，想一下更私人的一些重要決定。比如說有關疾病的治療。我們聽取一個專家的建議，但我們還會尋覓第二個、第三個，甚至更多意見，以確保可以得到最好的治療方案。
來自第二個、第三個專家的意見可能和第一個的意見相同也可能相悖，但因為他們的意見都是冷靜、客觀、獨立的，因此會給予重視。但如果專家之間串通了意見，那麼尋找第二個、第三個專家意見的過程就沒有意義了。
“當面臨重要決策時，我們通常會尋求不同專家的意見來幫助我們做出決策。”
— Page 2, Ensemble Machine Learning, 2012.
最後，想一想有關社會決策。比如說，誰應該在政府中代表一個地區；某人是否有罪。
代表的民主選舉（以某種形式）依賴於民眾的獨立投票。
“基於多人/多位專家的輸入做出決策，已經成為人類文明中的普遍實踐，是民主社會的基礎。”
— Page v, Ensemble Methods, 2012.
嚴重犯罪的定罪可以由獨立的同行組成的陪審團來確定，陪審團通常被隔離以加強其解釋的獨立性。案件也可以在多層次上上訴，根據結果提供第二、第三和更多意見。
“大多數國家的司法體系，無論是基於陪審團還是法官團，都是以集體決策為基礎。”
— Pages 1-2, Ensemble Machine Learning, 2012.
以上都是透過結合較低階別的意見、投票或決策而獲得結果的例子。
“整合決策並不是新鮮事了，在日常中，這樣的體系使用得很頻繁，以至於這對於我們來說可能是第二天性。”
— Page 1, Ensemble Machine Learning, 2012.
在每種情況下，為了結果的有效性，這些低水平的決策需要具備一些特性，比如它們的獨立性以及每個決策的一定的有效性。
這種決策方法應用很普遍，它有一個名字。
群體的智慧
這種基於群體的低水平決策來進行最終決策的方法通常被稱為“群體的智慧”。
它是這樣的情況，即相對於群體中單個個體的決定，集合了群體中所有人的意見的結果通常更為準確、有效、以及正確。
100多年前的一個著名的例子就是在英國普利茅斯的一個集市上舉行的一次估計公牛體重的比賽，每個人都做出了自己的猜測，猜測最接近實際體重的人贏得了肉。統計學家Francis Galton後來收集了所有猜測的資料並計算了平均值。
“他把所有參賽者的估測進行了加和並計算了平均數。”你可以說，這個數字代表了普利茅斯民眾的集體智慧。如果人群是一個人的話，它就能猜出這頭牛的重量。“
— Page xiii, The Wisdom of Crowds, 2004.
他發現所有參賽者的猜測的平均值非常接近於真實的重量。也就是說，統計800位參賽者估算重量的平均值是一種猜測公牛真實重量的準確方法。
“群眾猜測，這頭牛在被屠宰和剝皮後，重1197磅。這頭牛被宰殺和剝皮後，重1198磅。換句話說，群眾的判斷基本上是完美的。“
— Page xiii, The Wisdom of Crowds, 2004.
這個例子是James Surowiecki’s 2004年出版的名叫 “The Wisdom of Crowds” 的書開頭給出的，這本書探討了人類群體做出的決策和預測往往群體成員更好。
“這種智慧，或者我稱之為“群體智慧”，在世界上以許多不同的形式在發揮作用。“
— Page xiv, The Wisdom of Crowds, 2004.
這本書促使人們在做重要決策時，借鑑來自群體的猜測、投票和意見，而不是僅僅向一個專家尋求諮詢。
“我們感到有必要去追逐專家“，但這本書認為追逐專家是一個錯誤，並且代價高昂。我們應當停止追逐，轉而問問大眾（當然，既包括天才也包括普通人）。
— Page xv, The Wisdom of Crowds, 2004.
Lior Rokach’s 2010年出版的名為 “Pattern Classification Using Ensemble Methods” 的書的第 22頁完美地總結了基於群體做出決策的系統的一些特性：
- 意見多樣性：每個人都應該擁有私人的資訊，即便是它只是對已知事實的一種古怪的解釋。
- 獨立性：每個人的意見並不受其他人的影響。
- 去中心化：每個人可以根據自身的知識進行專門研究來得出結論。
- 整合化：存在一些機制可以把個體的判斷轉變為群體決策。
作為一個決策系統，這種方法並不總是最有效的（例如股市泡沫、時尚等），但在一些結果導向的不同領域中可能是有效的。
我們可以在應用機器學習中使用這種方法來進行決策。
整合機器學習
應用機器學習通常包括基於資料集的模型擬合和模型效果評估。
由於我們無法提前預料到哪個模型在這個資料集上表現最好，因此在得到最優模型前，我們可能會進行許多的試錯。
這類似透過追逐單一專家的決策方式。也許是我們可以找到的最好的專家。
另一種互補的方法是準備多個不同的模型，並把它們的預測結果整合起來。這被稱為整合機器學習或者簡單來講是整合，這種尋找表現好的整合模型的過程稱作整合學習。
“整合方法學模仿我們的第二天性，在做出關鍵決策之前先徵求幾個意見。”
— Page vii, Pattern Classification Using Ensemble Methods, 2010.
這和尋求多位專家意見是相似的。
最常見的整合型別是訓練同一機器學習模型的多個版本，以確保每個整合成員都是不同的（例如決策樹模型在訓練集的不同子集上訓練），然後使用平均值或投票法組合預測。
一種不太常見但同樣有效的方法是在相同的資料上訓練不同的演算法（例如決策樹、支援向量機和神經網路），並組合它們的預測。
就像在人群中綜合個體的觀點一樣，整合的有效性依賴於每個模型都具有某種特性（比隨機性更好），並且與其他模型具有一定的獨立性。後一點通常被解釋為整合中的成員模型都在不同的地方有不同於其他模型的優勢。
希望整合後可以得到比任何一個有貢獻的模型更好的模型。
“核心原則是給予單獨的分類器一定權重，然後把它們組合起來以得到一個比任何單獨的分類器更好的分類器”
— Page vii, Pattern Classification Using Ensemble Methods, 2010.
至少，整合的模型限制了最壞的情形出現，透過降低預測的波動。通常隨著訓練集的不同，模型的表現會發生變化，從而使得單一的模型的表現時好時壞。
“整合系統的目標是透過建立幾個具有相對固定的或相似的偏差的分類器，然後結合它們的輸出，比如對輸出進行平均以減小方差。”
— Page 2, Ensemble Machine Learning, 2012.
整合可以減小方差，並且確保做出的預測更接近有貢獻的成員模型的平均表現。另外，預測方差的減小也導致了整體技能的提升，相比於維護單個模型，增加了擬合、維護多個模型的成本。
儘管整合模型方差更小，但並不一定模型效果會比任何成員模型更好。
“計算智慧和機器學習社群的研究人員已經研究了共享這種聯合決策過程的方案。這些方案通常被稱為整合學習，它可以減少分類器的方差，提高決策系統的魯棒性和準確性。”
— Page v, Ensemble Methods, 2012.
有的時候，表現最好的模型，類似於一個最好的專家，相比於其它模型已經足夠優秀的時候，把這個模型的預測和其他模型整合起來得到的結果，會比最好的那個模型要差。
因此，選擇模型，甚至是整合模型，仍然需要在健壯性的測試工具上進行精心控制的實驗。
擴充套件閱讀
如果你想繼續研究，這個部分提供了一些相關資源。
書籍
- The Wisdom of Crowds, 2004.
- Pattern Classification Using Ensemble Methods, 2010.
- Ensemble Methods, 2012.
- Ensemble Machine Learning, 2012.
文章
- Ensemble learning, Wikipedia.
- Ensemble learning, Scholarpedia.
- Wisdom of the crowd, Wikipedia.
- The Wisdom of Crowds, Wikipedia.
總結
本文幫助你對整合學習建立了初步的瞭解。
其中，你可以學習到：
- 我們做的許多決定包含了其他人的意見或投票。
- 群體的決策優於個體，被叫做群體的智慧。
- 整合機器學習是把多個成熟模型的預測結果組合起來。
原文連結：
原文標題：
A Gentle Introduction to Ensemble Learning