【機器學習】2018年機器學習技術改變製造業的十種方式

通過機器學習技術，半導體制造商可提高30%產量，降低廢品率，優化晶片生產

資產管理、供應鏈管理和庫存管理是人工智慧、機器學習和物聯網應用最熱門的領域

未來5年製造商通過機器學習和分析提高38%的裝置預測維護能力

機器學習可減少50%供應鏈預測誤差，減少65%銷售損失

機器學習可以提高需求預測的準確度，降低能源成本和價格差異，同時也能準確反映價格的彈性和敏感性

使用機器學習自動進行庫存優化，可以提高16%的服務水平，增加25%的庫存能力

機器學習整合實時監控，可以優化車間操作，實時瞭解機器負載和生產進度查詢

提高多個生產場景的生產效率和準確性，降低多場景50%的成本

通過機器學習的精準預測和測試結果，節約35%測試和校準時間

機器學習和整體裝置效能結合，可以提高產量、提高維護的準確性，加大工作負載能力

來源：Towards Data Science 機器之心

編譯：Simons Road

不管你怎樣看待資料科學家的研究工作，都不能輕易忽略對資料進行分析、組織和梳理的重要性。Glassdoor 網站收集了大量的僱主和員工的反饋資料，發現資料科學家位列 "美國最好的 25 個職位"榜首。儘管摘得這一桂冠，但需要資料科學家們研究的工作內容還在不斷新增。隨著機器學習等技術越來越普遍的應用，深度學習等熱門領域受到研究人員和工程師以及企業的關注日漸增加，資料科學家必將繼續站在技術創新的浪潮之巔，引領著時代的技術變革。

因此他們需要系統地研究統計機器學習，該學科脫胎於統計學和泛函分析，並結合了資訊理論、最優化理論和線性代數等多門學科。儘管強大的程式設計能力對資料科學家而言十分重要，但資料科學家也不完全就是軟體工程師。事實上熟練掌握Python對於他們就已足夠，真正重要的是同時具備程式設計、統計和批判思維的能力。

正如Josh Wills所言：“資料科學家比程式設計師擅長統計學，比統計學家擅長程式設計。” 很多軟體工程師想轉型資料科學家，但他們盲目地使用 TensorFlow 或 Apache Spark 等機器學習框架來處理資料，卻忽略了背後的統計學理論知識。也就是統計學習理論，機器學習的理論框架，這些都源自統計學和泛函分析。

那麼為什麼要學習統計學習？我們只有深刻理解了不同技術背後的想法，才能學以致用。也只有先易後難，才能遊刃有餘、融會貫通。同時，準確評估一種方法的效能也非常重要，不僅能知道工作效果的好壞，也能得知方法的適用範圍。此外，統計學習也是一個令人振奮的研究領域，在科學、工業和金融領域都有重要的應用。最後，統計學習是培養現代資料科學家的基礎要素。統計學習問題應用的例子如下：

• 確定前列腺癌的風險因素

• 根據對數週期圖對錄音進行分類

• 根據人口統計學、飲食和臨床測量預測是否會患有心臟病

• 定製垃圾郵件檢測系統

• 識別手寫郵政編碼

• 對組織樣本進行癌症分類

• 建立人口調查資料中的薪資與人口統計變數的關係

在介紹常用的10種統計技術之前，我們需要先區分一下機器學習和統計學習，主要有以下幾點區別：

• 機器學習是人工智慧的一個分支

• 統計學習是統計領域的一個分支

• 機器學習更側重於大規模應用和預測的精準性

• 統計學習強調模型及其解釋性、精度和不確定性

• 但區別也在變得越來越模糊，兩者很多時候交織在一起

• 不得不說，市場營銷把機器學習炒得很熱

線性迴歸

在統計學中，線性迴歸是一種通過擬合因變數和自變數之間的最佳線性關係來預測目標變數的方法。最佳擬合即表示由當前的線性表示式得到的預測輸出與實際觀測值的誤差和最小。

線性迴歸主要分為簡單線性迴歸和多元線性迴歸。簡單線性迴歸使用一個自變數來擬合最佳線性關係預測因變數；而多元線性迴歸使用多個自變數來擬合最佳線性關係預測因變數。

那麼線性迴歸可以用在哪些實際問題上呢？實際上任意選擇日常生活中相關的兩件事，你便能通過線性迴歸模型得到他們之間的線性關係。比如你有了過去三年的月消費、月收入和月旅行次數的資料，那你可以預測下一年月支出，還可以知道是月收入還是月旅行次數對月消費更影響，甚至還能用方程式表達月收入、月旅行次數、月消費三者之間的關係呢。

 分類

分類是屬於一種資料探勘技術，將資料集分成多個類別可以幫助更準確的預測和分析。分類是一種高效分析大型資料集的方法，典型的代表有邏輯迴歸(Logistic Regression) 分析和判別分析 (Discriminant Analysis）。

邏輯迴歸分析適合用於因變數為二元類別時的迴歸分析。 和所有迴歸分析一樣，邏輯迴歸也屬於預測分析。 Logistic迴歸用於描述資料，並解釋二元因變數與一個或多個名義、序數、區間或比率級別等描述性的自變數之間的關係。 適合邏輯迴歸的問題型別有：

• 體重每超出標準體重一磅或每天每抽一包煙對得肺癌概率是否有影響（是或否）。

• 卡路里攝入、脂肪攝入和年齡對心臟病是否有影響（是或否）。

在判別分析中，兩個或多個已知的集合、簇或群體都可以作為分類的先驗知識，使用時根據被測特徵就可把新的觀測值劃分到相應類別。判別分析會對每個類中的預測因素 X 分別進行建模，然後根據貝葉斯定理便能將其轉換成只需根據 X 值就可獲得對應類別的概率估計。此類模型既可以是線性判別分析，也可以是二次判別分析。

• Linear Discriminant Analysis線性判別分析，通過自變數的線性組合對每個觀測值計算“判別分數”，並對其所處的響應變數Y類別進行分類。它假設每個類別內的觀測值都服從多變數高斯分佈，且每個類別的方差一樣。

  
  

• Quadratic Discriminant Analysis二次判別分析，提供了另一種方法。與LDA一樣，QDA也假設來自Y的每類觀察值都服從高斯分佈。但與LDA不同的是，QDA假定每個類別都有其自己的協方差矩陣，也就是說每個類別的方差不一樣。

重取樣方法

重取樣方法就是從原始資料樣本中重複提取樣本，屬於統計推斷的非引數方法。重取樣不使用通用分佈表來逼近地計算概率 p 的值，而是基於實際資料生成一個獨特的取樣分佈。這種採用分佈通過經驗性方法生成，而不是分析方法，它能夠基於資料所有可能結果的無偏樣本獲取無偏估計。為了很好的理解重取樣的概念，我們需要先了解Bootstrapping和交叉驗證（Cross-Validation）：

• Bootstrapping是有助於在許多情況下驗證預測模型的效能和整合方法，估計模型的偏差和方差。 它通過對原始資料進行有放回的取樣，並將“未被選擇”的資料點作為測試用例。 我們可以多做幾次這樣的操作，然後用平均值來作為我們對模型效能的估計。

• Cross validation交叉驗證通過將訓練資料分成k個部分來驗證模型效能，使用k-1部分作為訓練集，餘下的部分作為測試集。 重複不同的k次後，將k個分數的平均值作為模型的效能估計。

通常對於線性模型而言，普通的最小二乘法是擬合資料時的主要標準。 接下來的3種方法可以為線性模型擬合提供更好的預測精度和模型可解釋性。

子集選擇

子集選擇的主要目的是挑選出與問題最相關的 p 個預測因子，然後使用該子集特徵和最小二乘法擬合模型。 

• 最佳子集的選擇，我們可以為 p 個預測因子的每個組合分別擬合普通最小二乘迴歸，然後再觀察各個模型的擬合結果。演算法分為兩個階段：（1）擬合包含 k 個預測因子的所有模型，其中 k 表示模型的最大長度；（2）使用交叉驗證預測損失選擇單個模型。要記住，不能單純使用訓練誤差評估模型的擬合情況，驗證集或測試集的誤差也是十分重要的，因為 RSS 和 R^2 會隨變數的增加而單調遞增。最好的方法就是通過選擇測試集中最高的 R^2 和最低的 RSS 來交叉驗證，從而選擇模型。

• 前向逐步選擇，可以選出 p 個預測因子的較小子集。演算法先從不包含預測因子的模型開始，然後逐步地新增預測因子到模型中，直到所有預測因子都包含在模型中。新增預測因子的順序是根據不同變數對模型擬合效能提升的程度來確定的，不斷新增新的預測因子，直到交叉驗證誤差沒有大的改變。

• 後向逐步選擇，與前向逐步選擇相反，首先模型包含所有 p個 預測因子，然後迭代地移除用處最小的預測因子。

• 混合法，主體遵循前向逐步方法，但在新增每個新變數之後，該方法可能還會移除對模型擬合無用的變數。

特徵縮減技術

特徵縮減技術使用了所有 p 個預測因子進行建模，然而，表示預測因子重要性的係數將隨最小二乘誤差向零收縮，這種收縮也稱之為正則化，它旨在減少方差以防止模型的過擬合。常用的縮減係數方法有lasso(L1正則化)，嶺迴歸(L2正則化)。

• Ridge regression嶺迴歸，跟最小二乘法很像都是尋求減少 RSS 的係數估計，只不過它是通過對損失函式(即優化目標)加入懲罰項，使得訓練求解引數過程中會考慮到係數的大小。我們不需要數學分析就能看出 Ridge 迴歸很擅長於將特徵收縮到最小的子空間中。如主成分分析PCA，通過Ridge 迴歸可以將資料投影到低維空間，並在係數空間內收縮較低方差的成分而保留有較高方差的成分。

• 但Ridge 迴歸有一個缺點，最終的模型需要包含所有 p 個預測因子，這源於儘管懲罰項將會令許多預測因子的係數逼近零，但又一定不等於零。雖然這對預測準確度並沒有什麼影響，卻令模型的結果更難以解釋。Lasso 方法就很好的克服了這一缺點，因為它能在 s 足夠小的時候迫使一些預測因子的係數歸零。當 s = 1 時，就像正常的OLS 迴歸，而當 s 逼近 0 時，係數將收縮到零。因此 Lasso 迴歸同樣是執行變數選擇的好方法。

降維（維數減約）

降維是將將p + 1個係數估計問題簡化為為M + 1係數估計問題，其中M <p，可以通過尋找M個變數的最佳線性組合或最佳投影來實現的。降維的兩種方法有主成分迴歸principal component regression和partial least squares偏最小二乘法。

• Principal Components Regression主成分迴歸，是從大量的變數中尋找低維特徵集的方法。資料中的第一主成分（first principal component）是指觀測資料沿著這個變數方向的變化最大，也就是說若用 p 個不同的主成分分別擬合資料，那第一主成分必然是最接近資料分佈的那條線。第二主成分是和第一主成分不相關的變數的線性組合，且在該約束下有最大的方差。主要思想是主成分能在各個互相垂直的方向使用資料的線性組合得到最大的方差。基於這種方法，我們還能結合相關變數的效應從資料中獲取更多的資訊，畢竟在常規的最小二乘法中需要捨棄其中一個相關變數。

  
  

• 由於PCR 方法需要得到 X 的最優線性組合。由於 X 對應的輸出 Y 對主成分方向的計算沒有影響，也就是說這些組合（方向）是通過無監督方法獲得的，那麼就無法保證這些方向是預測器的最優表徵，也無法保證能獲得最優預測輸出。偏最小二乘法（PLS）作為 PCR 的代替方法，屬於有監督方法。和 PCR 類似，PLS 也是一種降維方法，它首先提取一個新的較小的特徵集合（原始特徵的線性組合），然後通過最小二乘法將原來的模型擬合為一個新的具有 M 個特徵的線性模型，通過對模型預測誤差來評價特徵集合是否是Y的最優線性組合。

非線性模型

在統計學中，非線性迴歸屬於迴歸分析的一種形式，通過模型引數的非線性組合來（依賴於一個或多個獨立變數）對觀測資料建模，並使用逐次逼近法來擬合資料。以下是幾種處理非線性模型的重要技術:

• 階梯函式（step function），變數為實數，可以寫成區間的效用函式的有限線性組合的形式。通俗的講，階梯函式就是一種只有有限部分的分段常數函式。

• 分段函式（piecewise function）通過多個子函式定義，且每一個子函式被定義在確定的區間上。分段實際上是函式的表示方式，而不是函式自身特性，但通過額外的限定條件，它也可以用於描述函式本身。例如，一個分段多項式函式是一個在每一個子定義上為多項式的函式，其中每一個多項式都可能是不同的。

• 樣條曲線（spline）是一種用多項式分段定義的特殊函式。在計算機圖形學中，樣條曲線是一種分段多項式引數化曲線。由於結構簡單、評估簡易和精度高，以及通過曲線擬合和互動曲線設計就能逼近複雜曲線的能力，使得樣條曲線很常用。

• 廣義加性模型（generalized additive model）是一種廣義線性模型，其中線性預測器線性依賴於某些預測器變數的未知平滑函式，其主要作用就是推斷這些平滑函式。

基於樹的方法

基於樹的方法可以用於迴歸和分類問題，它會將預測器空間分層或分割成一些簡單的區域。由於預測器空間的分裂規則集合可以總結為一個樹，因此也被稱為決策樹方法。以下的方法是幾種不同的樹，它們可以組合起來投票輸出統一的預測。

• Bagging 能通過從原始資料中生成額外的訓練資料（通過組合和重複生成和原始資料大小相同的多段資料）來減少預測的方差，但無法提高模型的預測能力。

• Boosting 是一種計算輸出的方法，使用多個不同的模型，然後使用加權平均的方法對結果取平均值。一般結合各方法的優勢來改變這些方法所佔的權重，此外，針對更寬泛的輸入資料還可以微調引數得到更佳的預測能力。

• 隨機森林演算法（random forest algorithm）實際上和 bagging 演算法很相似，同樣是對訓練集提取隨機 bootstrap 樣本。然而，除了 bootstrap 樣本以外，還可以提取特徵的隨機子集來訓練單個樹；在 bagging 中，則需要為每個樹提供全部的特徵。由於特徵選擇是隨機的，相比常規的bagging 演算法，每個樹之間更加獨立，從而通常能獲得更好的預測效能（得益於更好的方差-偏差權衡）。由於每個樹只需要學習特徵的一個子集，因此速度也得以提升。

支援向量機

支援向量機（SVM）是一種常用的有監督學習分類技術。通俗地說，它尋找兩類點集的最優超平面（hyperplane，在 2D 空間中是線，在 3D 空間中是面，在高維空間中就是超平面。超平面是n 維空間的 n-1 維子空間）。這個超平面使得兩類點集的間隔最大，本質上是約束最優化問題，在一定約束下使得間隔最大化，從而實現資料的完美分類。

"支援向量"，就是那些支援著超平面的資料點，也可以說是離超平面最近的資料點。在上圖中，藍色填充圓和兩個填充方塊就是支援向量。使用過程中，當兩類資料線性不可分時，資料點可以通過核函式投影到高維空間中，使得資料變得線性可分。而多分類問題也可以分解成多個"一對一"（one-versus-one）或"一對剩餘"（one-versus-rest）的二分類問題。

無監督學習

有監督學習是機器學習中的一大部分，其中資料分類已知。當資料分類是未知時，就需要使用另一種技術了，就是無監督學習，它們需要自己去發現資料中的模式。聚類（clustring）是一種典型的無監督學習，資料會根據相關性被分為多簇。以下是幾種最常用的無監督學習演算法：

• Principal Component Analysis 主成分分析：通過保留具備最大方差和互相不相關的特徵之間的線性組合，可以生成資料集的低維表示。它還有助於理解無監督學習中的隱變數互動。

• k-Means clustering k 均值聚類：屬於硬聚類演算法，根據資料到聚類中心的距離將其分成 k 個不同的簇。

• Hierarchical clustering層次聚類：由於k-means演算法始終有K值選擇和初始聚類中心點選擇的問題，而這些問題也會影響聚類的效果。為了避免這些問題，我們可以選擇另外一種比較實用的聚類演算法，就是層次聚類演算法。顧名思義，層次聚類就是一層一層的進行聚類，可以自頂向下把大的類別（cluster）分割，叫作分裂法；也可以自下而上對小的類別進行聚合，叫作凝聚法；但是一般用的比較多的是由下向上的凝聚方法。

以上就是一些幫助資料科學家理解資料基本的統計技術，瞭解這些基本分析技術將為為專案的開發和資料的理解帶來更多的益處，對資料的抽象和操作會變得更加容易。希望這篇文章能幫助小夥伴們在理解資料科學的路上帶來一些新的收穫。

本文系“產業智慧官”（公眾號ID：AI-CPS）收集整理，轉載請註明出處！

版權宣告：由產業智慧官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題，煩請原作者聯絡我們，與您共同協商解決。聯絡、投稿郵箱：erp_vip@hotmail.com