【機器學習】帶你3分鐘看完《機器學習實戰》總結篇

決策樹易於理解和解釋，可以視覺化分析，容易提取出規則； 計算複雜度不高，對中間值的缺失不敏感，可以處理不相關特徵資料； 測試資料集時，執行速度比較快； 決策樹可以很好的擴充套件到大型資料庫中，同時它的大小獨立於資料庫大小。一種二值決策分類“機”，泛化錯誤率低和較好的推廣性使其被認為是監督學習中最好的定式演算法。Boosting 中最流行的的一個演算法是 AdaBoost，以弱學習器作為基分類器，並且輸入資料，使其通過權重向量進行加權。Apriori 演算法從單元素項集開始，通過組合滿足最小支援度要求的項集來形成更大的集合。下一章的 FPgrowth 演算法只需對資料庫進行兩次遍歷，能夠顯著加快頻繁項集的發現速度。應用領域： 目前深度神經網路已經應用與計算機視覺，自然語言處理，語音識別等領域並取得很好的效果。

前些天完成了《機器學習實戰》這本書的學習，也利用 Python3 實現了各個章節的程式碼，對傳統的機器學習方法有了更進一步的瞭解，這裡做一個總結。

程式碼傳送門：
https://github.com/xyxxmb/Machine-Learning-In-Action

目錄

第一部分：分類

【Ch1】機器學習基礎
【Ch2】k - 近鄰演算法
【Ch3】決策樹
【Ch4】基於概率論的分類方法：樸素貝葉斯
【Ch5】Logistic 迴歸
【Ch6】支援向量機
【Ch7】利用 AdaBoost 元演算法提高分類效能

第二部分：利用迴歸預測數值型資料

【Ch8】預測數值型資料：迴歸
【Ch9】樹迴歸

第三部分：無監督學習

【Ch10】利用 K-均值聚類演算法對未標註資料分組
【Ch11】基於 Apriori 演算法進行關聯分析
【Ch12】使用 FP-growth 演算法來高效發現頻繁項集

第四部分：其他工具

【Ch13】利用 PCA 來簡化資料
【Ch14】利用 SVD 簡化資料
【Ch15】大資料與 MapReduce

補充：

【神經網路】

Ch1：機器學習基礎

監督學習（分類、迴歸）；無監督學習（聚類、密度估計）

Ch2：k - 近鄰演算法
簡單來說，k - 近鄰演算法採用測量不同特徵值之間的距離的方法進行分類。它是一種基於例項的學習，使用演算法時必須有接近實際資料的訓練樣本資料。

優點：

1. 精度高，對異常值不敏感，無資料輸入假定；

2. KNN 是一種線上技術，新資料可以直接加入資料集而不必進行重新訓練；

3. KNN 理論簡單，容易實現。

缺點：

1. 對於樣本容量大的資料集計算量比較大，即計算複雜度高；

2. 必須儲存全部資料集，即空間複雜度高；

3. KNN 每一次分類都會重新進行一次全域性運算；

4. 樣本不平衡時，預測偏差比較大。如：某一類的樣本比較少，而其它類樣本比較多；

5. K 值大小的選擇；

6. KNN 無法給出基礎結構資訊，無法知曉平均例項樣本與典型例項樣本具有什麼特徵，即無法給出資料的內在含義。

適用資料型別： 數值型和標稱型。

應用領域： 文字分類；模式識別；聚類分析；多分類領域。

使用方法：

Ch3：決策樹

決策樹分類器就像帶有終止塊的流程圖，終止塊表示分類結果。開始處理資料時，首先需要測量集合中資料的不一致性，也就是熵（反映資料的無序程度），然後尋找最優方案劃分資料集（選取資訊增益（熵）最大的特徵），直到資料集中的所有資料屬於同一分類。構建決策樹時，採用遞迴的方法將資料集轉化為決策樹。

優點：

1. 決策樹易於理解和解釋，可以視覺化分析，容易提取出規則；

2. 計算複雜度不高，對中間值的缺失不敏感，可以處理不相關特徵資料；

3. 測試資料集時，執行速度比較快；

4. 決策樹可以很好的擴充套件到大型資料庫中，同時它的大小獨立於資料庫大小。

缺點：

1. 容易出現過擬合問題。

2. 對缺失資料處理比較困難。

3. 忽略資料集中屬性的相互關聯。

4. ID3 演算法計算資訊增益時結果偏向數值比較多的特徵。

適用資料型別： 標稱型和數值型。

改進措施（主要解決過擬合問題）：

1. 對決策樹進行剪枝，可以採用交叉驗證法和正則化的方法；

2. 使用基於決策樹的 combination 演算法，如 Bagging，Random Forest 等。

決策樹流行演算法： ID3、C4.5、CART

應用領域： 企業管理實踐，企業投資決策，由於決策樹很好的分析能力，在決策過程應用較多。

使用方法：

總結：Ch2 和 Ch3 都是確定的分類演算法，資料例項最終會被明確的劃分到某個分類當中。

Ch4：基於概率論的分類方法：樸素貝葉斯

使用概率，提供一種利用已知值來估計未知概率的方法。通過特徵間的獨立性假設（樸素一詞的由來），降低對資料量的要求。

優點：

1. 對大數量訓練和查詢時具有較高的速度。即使使用超大規模的訓練集，針對每個專案通常也只會有相對較少的特徵數，並且對專案的訓練和分類也僅僅是特徵概率的數學運算而已；

2. 支援增量式運算，即可以實時的對新增的樣本進行訓練；

3. 樸素貝葉斯對結果解釋容易理解；

4. 對資料較少的情況下仍然有效；

5. 可以處理多類別問題。

缺點：

1. 因為要將文字轉化為詞向量（文件中的每個詞在詞庫中只表示出現與不出現，即 [0,1,1,0,0,1]，如果要表示一個詞出現了多次，需要用到詞袋模型，即 [0,1,3,2,0,0,2]），因此對於輸入資料的準備方式較為敏感；

2. 由於使用了樣本屬性獨立性的假設，所以如果樣本屬性有關聯時其效果不好。

適用資料型別： 標稱型。

改進措施：

1. 下溢位問題：對概率取對數；

2. 詞袋模型在解決文件分類問題上比詞集模型好；

3. 移除提用詞（對分類基本上沒有幫助的詞，如助詞、語氣詞等）。

應用領域： 欺詐檢測；一封電子郵件是否是垃圾郵件；一篇文章應該分到科技、政治，還是體育類；一段文字表達的是積極的情緒還是消極的情緒；人臉識別等。

使用方法：

Ch5：Logistic 迴歸

尋找一個非線性函式 Sigmoid 的最佳擬合引數，求解過程可以由最優化演算法（如梯度上升或隨機梯度上升（佔用更少資源，線上學習）） 來完成。

優點： 計算代價不高，易於理解和實現。

缺點：

1. 容易產生欠擬合；

2. 分類精度可能不高。

適用資料型別： 數值型和標稱型。

改進措施： 

用隨機梯度上升訓練演算法代替梯度上升訓練演算法，實現線上學習。

應用領域：

1. 用於二分類領域，可以得出概率值，適用於根據分類概率排名的領域，如搜尋排名等；

2. Logistic 迴歸的擴充套件 softmax 可以應用於多分類領域，如手寫字識別等；

3. 信用評估；

4. 測量市場營銷的成功度；

5. 預測某個產品的收益；

6. 特定的某天是否會發生地震。

使用方法：

Ch6：支援向量機

一種二值決策分類“機”，泛化錯誤率低和較好的推廣性使其被認為是監督學習中最好的定式演算法。它試圖求解一個二次優化問題來最大化分類間隔。支援向量機採用 SMO 演算法每次只優化兩個 alpha 值來加快 SVM 的訓練速度。核方法（或核技巧）會將資料（有時是非線性資料）從一個低維空間對映到一個高維空間，將一個在低維空間中的非線性問題轉化為在高維空間的線性問題，如徑向基函式（度量兩個向量距離的核函式）。

優點：

1. 解決小樣本下機器學習問題；

2. 解決非線性問題；

3. 無區域性極小值問題（相對於神經網路等演算法）；

4. 可以很好的處理高維資料集，計算開銷不大，結果易解釋；

5. 泛化能力比較強。

缺點：

1. 對於核函式的高維對映解釋力不強，尤其是徑向基函式；

2. 對引數調節和核函式的選擇敏感，原始分類器不加修改僅適用於處理二類問題；

3. 對缺失資料敏感。

適用資料型別： 數值型和標稱型。

應用領域： 文字分類、影像識別、主要二分類領域。

使用方法：

Ch7：利用 AdaBoost 元演算法提高分類效能

通過組合多個分類器（可以不同）的分類結果，獲得了比簡單的分類器更好的效果。選擇不同的分類器可以緩解同一分類器可能放大的過擬合問題。

有三種整合方法：Bagging、Boosting 和 Random Forset。Bagging
通過隨機抽樣 S 次（有放回的抽樣），得到 S 個與原資料集大小相同的資料集，作用到 S 個分類器上，最後根據投票決定分到哪一個類；Boosting 在 Bagging 上更進一步，它在資料集上順序應用了多個不同的分類器。

Boosting 中最流行的的一個演算法是 AdaBoost，以弱學習器作為基分類器，並且輸入資料，使其通過權重向量進行加權。在第一次迭代中，所有資料等權重，在後續迭代中，前次迭代中分錯的資料的權值增大，這種針對錯誤的調節能力正是 AdaBoost 的長處。

優點：

1. 很好的利用了弱分類器進行級聯；

2. 可以將不同的分類演算法作為弱分類器；

3. AdaBoost 具有很高的精度；

4. 相對於 Bagging 演算法和 Random Forest 演算法，AdaBoost 充分考慮的每個分類器的權重；

5. 泛化錯誤率低，易編碼，可以應用在大部分分類器上，無引數調整。

缺點：

1. AdaBoost 迭代次數也就是弱分類器數目不太好設定，可以使用交叉驗證來進行確定；

2. 資料不平衡導致分類精度下降；

3. 訓練比較耗時，每次重新選擇當前分類器最好切分點；

4. 對離散點敏感。

適用資料型別： 數值型和標稱型。

應用領域：模式識別、計算機視覺領域，用於二分類和多分類場景。

使用方法：

補充（非均衡分類問題）：

非均衡分類問題是指在分類器訓練時正例數目和反例數目相差很大的一類問題，該問題在錯分正例和反例的代價不同時也存在（比如錯分導致死亡）。因此，ROC曲線、正確率和召回率有利於度量分類器的指標。

調節正例和反例的數目可以採用欠抽樣（刪除多的樣本）和過抽樣（賦值少的樣本）的方法，另外一種方法就是在分類的過程中將錯誤的代價也考慮在內。

Ch8：預測數值型資料：迴歸

迴歸與分類的不同點在於，迴歸預測連續型變數，分類預測離散型變數。在迴歸方程中，求得最佳迴歸係數的方法是最小化誤差的平方和。使用嶺迴歸可以保證 X^T*X 的逆不能計算時，仍然能求得迴歸引數。

嶺迴歸是縮減法的一種，相當於對迴歸係數的大小施加了限制。另一種很好的方法是 lasso 演算法，難以求解，但可以使用簡便的逐步線性迴歸來求得近似結果。

縮減法還可以看做對一個模型增加偏差（模型預測值與資料之間的差異）的同時減少方差（模型之間的差異）。

優點： 結果易於理解，計算不復雜。

缺點： 對非線性的資料擬合不好。

適用資料型別： 數值型和標稱型。

使用方法：

Ch9：樹迴歸

輸入資料和目標變數之間呈現非線性關係，一種可行的方法是使用樹對預測值分段，包括分段常數和分段直線。若葉節點使用的模型是分段常數則稱為迴歸樹，若葉節點使用的模型是分段直線則稱為模型樹。

CART 演算法可以用於構造二元樹並處理離散型或數值型資料的切分，該演算法構造的迴歸樹或模型樹傾向於產生過擬合問題，可以採用預剪枝（在樹的構建過程中就進行剪枝）和後剪枝（當樹構建完畢再進行剪枝）。預剪枝更有效，但使用者需要定義一些引數。

優點： 可以對複雜的和非線性的資料建模。

缺點： 結果不易理解。

適用資料型別： 數值型和標稱型。

使用方法（R2為相關係數）：

Ch10：利用 K-均值聚類演算法對未標註資料分組

聚類是一種無監督的學習方法（沒有目標變數）。聚類將資料點歸到多個簇中，其中相似資料點屬於同一簇，而不相似資料點屬於不同簇中。

K-均值演算法是廣泛使用的聚類演算法，其中 K 是使用者指定的建立簇的數目。演算法以 K 個隨機質心開始，計算每個點到質心的距離。每個點會被分配到最近的簇質心，然後更新簇質心。以上過程重複數次直至簇質心不再改變。

K-均值演算法易受到初始質心的影響，為了獲得更好的聚類效果，可以採用二分 K-均值聚類演算法。二分 K-均值聚類演算法首先將所有點作為一個簇，然後使用 K-均值演算法（k=2）對其劃分。下一次迭代時，選擇有最大誤差的簇進行劃分。該過程重複直到 K 個簇建立成功為止。

優點： 容易實現。

缺點：可能收斂到區域性最小值，在大規模資料集上收斂較慢。

適用資料型別： 數值型。

使用方法：

Ch11：基於 Apriori 演算法進行關聯分析

兩種方式找到大資料集之間的關係。第一種使用頻繁項集，它會給出經常出現在一起的元素項；第二種是關聯規則，每條關聯規則意味著元素項之間的“如果...那麼”關係。

Apriori 演算法保證在有限的時間內找到頻繁項集。其原理是說如果一個元素項是不頻繁的，那麼那些包含該元素的超集也是不頻繁的。Apriori 演算法從單元素項集開始，通過組合滿足最小支援度要求的項集來形成更大的集合。支援度用來衡量一個集合在原始資料中出現的頻率。

每次增加頻繁項集的大小，Apriori 演算法都會重新掃描整個資料集。當資料集很大時，會顯著降低頻繁項集發現的速度。下一章的 FPgrowth 演算法只需對資料庫進行兩次遍歷，能夠顯著加快頻繁項集的發現速度。

優點： 易編碼實現。

缺點： 在大資料集上可能較慢。

適用資料型別： 數值型或標稱型。

應用領域： 商店中商品的關聯；網站的訪問頁面的關聯；檢視選舉人及法官的投票歷史等。

使用方法：

Ch12：使用 FP-growth 演算法來高效發現頻繁項集

FP-growth 演算法是一種用於發現資料集中頻繁模式的有效方法，利用
Apriori 原理，只對資料集掃描兩次，執行更快。在演算法中，資料集儲存在 FP 樹中，構建完樹後，通過查詢元素項的條件基及構建條件 FP 樹來發現頻繁項集。重複進行直到FP樹只包含一個元素為止。

優點： 一般要快於 Apriori 演算法。

缺點： 實現比較困難，在某些資料集上效能會下降。

適用資料型別： 標稱型。

應用領域： 在多種文字文件中查詢頻繁單詞；購物交易；醫學診斷；大氣研究等。

使用方法：

Ch13：利用 PCA 來簡化資料

降維往往作為預處理步驟，其中獨立成分分析、因子分析和主成分分析比較流行，主成分分析（PCA）最為廣泛。

PCA 可以從資料中識別其主要特徵，它是通過沿著資料最大方差方向旋轉座標軸來實現的。選擇方差最大的方向作為第一條座標軸，後續座標軸則與前面座標軸正交。協方差矩陣上的特徵值分析可以用一系列的正交座標軸來獲取。

優點： 降低資料的複雜性，識別最重要的多個特徵。

缺點： 不一定需要，且可能損失有用資訊。

適用資料型別： 數值型。

Ch14：利用 SVD 簡化資料

SVD 是一種強大的降維工具，可以利用 SVD 來逼近矩陣並從中獲得主要的特徵。通過保留矩陣的 80%~90% 的能量，就可以得到重用的特徵並去除噪聲。

優點： 簡化資料，去除噪聲，提高演算法的結果。

缺點： 資料的轉換可能難以理解。

適用資料型別： 數值型。

應用領域： 推薦引擎（協同過濾、相似度計算）、影像壓縮等。

Ch15：大資料與 MapReduce

MapReduce 是一種並行處理框架。在 MapReduce 中，作業被分為 map 階段和 reduce 階段。先使用 map 階段並行處理資料，之後將這些資料在 reduce 階段合併，是一種多對一的模式。mapper 和 reducer 之間傳輸資料的形式是 key/value 對。一般地，map 階段後還需要根據 key 值進行排序。

Hadoop 是一個流行的可執行 MapReduce 作業的 java 專案，它同時也提供非 java 作業的執行支援，叫做 Hadoop 流。

神經網路

優點：

1. 分類準確度高，學習能力極強。

2. 對噪聲資料魯棒性和容錯性較強。

3. 有聯想能力，能逼近任意非線性關係。

缺點：

1. 神經網路引數較多，權值和閾值。

2. 黑盒過程，不能觀察中間結果。

3. 學習過程比較長，有可能陷入區域性極小值。

應用領域： 目前深度神經網路已經應用與計算機視覺，自然語言處理，語音識別等領域並取得很好的效果。

至此，總結完成。後續有了更深地理解也會進行補充完善。

機器學習給製造業帶來巨大變革

科技進步不斷推動人類生產力的提升，從傳統的手工製造到自動化、網路化和智慧化的生產。今天新一代資訊科技帶來了許多變化，人工智慧逐漸應用到工業製造等多個領域中去，並驅動了巨大的經濟價值。

傳統制造業依賴於廉價的勞動力，通過大批量生產的方式獲取更高的回報。然而，今天的市場變得越來越多樣化，消費者的需求在不斷變化，要求工廠有快速生產出不同型號產品的能力。

自動化和機器換人解決了勞動力不足的問題，但想要滿足今天小批量、多樣化的生產要求還是達不到。實現更高效率的生產需要通過工業物聯網、大資料分析和人工智慧等多項技術整合。

裝置維護不再是個猜謎遊戲

在過去的生產系統中，裝置維護人員通常等機器出現故障後才知道維修，而無法提前預知裝置的停機時間。對於機器的日常維護，大多數工廠採用定期保養的方式來來降低裝置的故障率，但這種做法準確性較低，即使是有著豐富經驗的工程師，也是通過猜測的方式來判斷裝置可能存在的問題。

隨著工業物聯網的推廣應用，對機器的維護也有了新的定義，預測性維護給現代工廠帶來極大的便利。給裝置裝上許多的感測器，通過實時監控機器的執行狀態，提前預判機器可能出現的故障問題。而機器學習演算法在這裡起著重要的作用，它可以幫助管理者及早發現機器的問題。

企業可以從過去的經歷中吸取教訓，或者從同類事件中總結出經驗來，這正是機器學習所表現出來的巨大能力，機器學習可以通過對歷史大資料的認識學習，識別出資料中重複出現的模式並應用於生產判斷，這樣可以更準確地預測趨勢和實時檢測生產問題。採用機器學習改進生產系統，有利於企業提升業績效率。

智慧監控可以有效防止當機

感測器技術經過多年的發展，其體積變得越來越小而且更便宜，這對於許多公司來說，意味著可以更低的成本去實時監控整個工廠的機器裝置。但是，如果想要從資料獲得正確的有價值的見解，還需要對資料進一步篩選和分析。

用人力為去分析這些龐大的資料，將是一件費力的工作。機器學習在這裡顯得十分重要，智慧程式可以24小時不停監控機器的內部動作，對裝置的每一個部件，甚至可以小到一個按鈕，建立一個長期的病情歷史報表，並對現在的資料進行分析結合歷史案情進行對比。

當裝置的資料值偏離正常狀態，系統會提前警告可能的故障或失效。這樣企業可以在裝置故障發生之前進行及時修復，防止停機而造成巨大的生產損失。此外，裝置資料的分析可以讓管理者更瞭解生產系統的現狀，知道如何更合理的利用裝置資源，從而減少工人成本和提升產品質量。

傳統質檢模式將成為過去

生產質量是企業品牌和市場競爭力的關鍵，機器學習可以幫助企業獲得更多的優勢。傳統的生產方式都是等產品生產完成後再去做質檢，這意味著不合格的產品將需要返工或者報廢，工廠浪費的不僅是時間還有風險損失。不過，這種方式可能很快將成為過去。

機器學習解決方案將給製造檢測系統帶來顛覆，也就是說在理想的情況下，傳統的測試將在未來被完全取代。因為機器學習演算法可以幫助系統在生產過程中進行檢測和控制生產質量。即在每一個生產環節，都能保證能成功生產出合格的部件。

隨著檢測技術和測量精度的不斷提升，使得我們可以在生產過程中檢查鑄件氣孔等複雜部件，軟體已經可以從生產過程中預測產品的質量。更有趣的是，自學習演算法不僅報告預定義錯誤，還能發現一些未知的問題。

用模式識別優化能源管理

在大多數工廠裡，每天都會有大量的能源在損耗，從電力、煤炭到水資源，一套科學的能源管理方案可以幫助工廠節省大量的開資。通過人工智慧可以幫助企業分析能源使用的實際情況，找出能源不合理的地方進行優化，從而進一步降低生產成本。

從能源供應商的角度來看，化石燃料和可再生能源的混合正在改變電網格局，這迫使電力生產商和電網運營商採取新的策略。機器學習技術使電力公司能夠使用歷史消費模式實時預測未來，這使得企業可以更精確地調整成本價格與需求，最終導致更高效的操作。

自主化車輛提高物流效率

一件產品的製造通常需要很多道工序，從倉庫取材料到加工、裝配、除錯，中間過程有大量的物流工作需要完成。越來越多的企業考慮採用自動化運輸來減少的人力投入和創造更多經濟效益。

如果實現更高效的物流運輸？機器學習自主車輛正在為自動化物流鋪平道路。人工智慧經成為自動化物流和公司內部物流系統的關鍵技術。只要通過深入學習，車輛就能夠正確認識和理解周圍的環境，順利完成生產中的物流任務。

在未來，無人駕駛運輸系統將承擔許多工，它可以結合大資料預測需求和進行計劃性工作，這將使補貨過程可以自動化完成。機器學習在製造業有很多應用場景，通過智慧化的演算法可以提升裝置的功能和效能，進一步發揮工廠生產系統的效率。在不久的將來，將帶來一場前所未有的鉅變。

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com