機器學習的教訓：5家公司分享的錯誤經驗

機器學習的教訓：5家公司分享的錯誤經驗

 

 

2018-12-27 13:23:41

 

機器學習也可能會出現嚴重的問題，以至於可能會讓你後悔當初如此匆忙地採用它。

 

機器學習是當下的熱門技術之一，許多業務和技術高管都在爭相瞭解他們的組織可以如何參與其中。如果操作得當，機器學習可以幫助您建立更有效的銷售和營銷活動，改進財務模型，更輕鬆地檢測欺詐，提高裝置的預測性維護，好處不一而足。

 

但是機器學習也可能會出嚴重的錯誤，讓你悔不該當初。根據採用機器學習的公司的實際經驗，這裡有五種機器學習可能出錯的方式。他們分享了他們的經驗，希望你可以吸取經驗以避免同樣的失敗。

 

教訓1:錯誤的假設使機器學習偏離了軌道

Projector PSA 是美國一家設計和製造專業服務自動化軟體的公司，並幫助諮詢公司經營業務。當它試圖用機器學習來預測人員配置計劃的差異時，它慘痛地吸取了這一教訓。

 

因為諮詢公司裡面都是專業的、訓練有素的顧問，能有效地利用他們的才能，所以公司經常需要僱傭專案經理來評估和預測他們專案的人員需求。

 

然後，他們跟蹤顧問花在每個專案上的時間，以便向客戶收取費用。如果組織在單一系統(例如專業的服務自動化工具)中同時管理這兩項活動，則有一些明顯的優勢，例如能夠將預測與實際時間進行比較，從而瞭解不同的專案經理在規劃方面的準確性。

 

Projector PSA 的營運長Steve Chong回憶說，該公司與一位客戶開始了一項研究，該客戶僱傭了數百名的專案經理。它建立的模型比較了在不斷增加的規劃範圍內實際工作的平均小時數與預測小時數之間的差異。它還在幾個月的時間裡研究了專案經理預測的一致性以及可變性。

 

也就是說，如果在一週內預測過高，而在下一週預測過低(高可變性)，Projector PSA希望知道這兩者是否能夠相互抵消，讓預測的平均值差異很小，或者說方差很小。

 

“最初的前提是低方差和低可變性是好的，而高方差和高可變性是壞的，”Chong說。基於這一前提，Projector PSA實現了一種機器學習演算法，將專案經理分為不同的群體，比如“囤積者”和“樂觀主義者”，基於這些資料，該演算法使用公司專案經理的樣本作為訓練集。

 

然後，公司讓機器學習演算法根據學到的知識對剩下的專案經理進行分類。事實證明，它將一些公司最有經驗和受過良好培訓的專案經理列為了最糟糕的違規者，因為他們具有高的方差和高的可變性。

 

他說:“事實上，這些專案經理是公司能夠針對那些已經陷入困境的專案提出解決方案的人，他們希望這些專案能夠得到控制。”

 

類似地，最初的機器學習演算法對一個專案經理的評價很高，因為她的方差和可變性幾乎為零。但事實證明，她將預測的時間傳送給她的團隊，隱含著一種期望，即他們會將這些時間報告為他們實際工作的時間。Chong表示，這導致了她從未超出預算或出現預算不足的局面，但這樣做實際上鼓勵了她的團隊以不利於大局的方式行事。

 

“這些錯誤不是機器學習演算法本身造成的，而是我們最初訓練它們時的假設造成的，”Chong說。“它們只是還原了完全依賴於資料而沒有充分了解資料所代表的現實。”

 

一旦該公司訓練其機器學習演算法識別了這些新的配置檔案，它就會覺得它能更好地反映現實。

 

 

教訓2:無監督的機器學習可能會有意想不到的偏差

 

雖然許多工可以透過機器學習來完成，但是因為有些情況在專案開始時並沒有被考慮到，從而導致機器學習產生了錯誤的結果。 這就是巴西金融服務公司Mejor Trato的遭遇，該公司將機器學習作為人力資源部門數字化轉型的一部分。

 

該專案涉及讓潛在的新員工透過實時聊天和使用公司內部開發的機器學習聊天機器人來回答一系列問題。

 

最初使用聊天機器人時出現了兩個關鍵問題。一個是要求求職者填寫了錯誤的個人資料/職業表格。另一個問題是，給出了與人力資源員工會議重疊的面試時間，這意味著人力資源員工無法根據需要監控聊天機器人。

 

CTO Cristian Rennella 表示，在最初幾周，HR團隊中的一些人需要對每一次對話進行監控，以便在必要時糾正機器人，這一點至關重要。“我們犯了一個錯誤，以為一切都解決了，沒有監督就離開了聊天機器人，”她說。教訓是“不要忘記在幾個月內持續監控聊天機器人的全職工作。”

 

由於沒有對聊天機器人進行微調，該公司斷定，收集到的資料中有10%是錯誤的。

 

Rennella 說:“機器學習在一開始可能會對90%的答案有用，但是剩下的10%應該由人工監督來修正演算法。”隨著時間的推移，可用性將從90%增加到99%，“但我們不能停止關注可能出現的偏差甚至新情況，當我們開始這個專案時，這是出乎意料的，”她說。

 

教訓3:糟糕的資料標註會損害機器學習的結果

 

俄羅斯的兩家關聯公司Ashmanov神經網路和SOVA(智慧開放式虛擬助理)在為其商業客戶開發基於機器學習的產品。其內容包括了影片分析、自然語言處理、訊號處理和神經網路。

 

兩家公司的執行長Stanislav Ashmanov表示，公司在機器學習方面遇到的最大問題之一是基於標籤難度的糟糕資料。 “提供高質量的資料標籤是非常困難的，”Ashmanov說。“通常情況下，從事資料標識工作的人都很草率，因為他們經常只是匆忙地工作著。更重要的是，以一種每個人都能以同樣的方式和理解任務的方式來傳遞任務是非常困難的。”

 

因此，這些資料可能包含多個標記的樣本，比如圖片中錯誤識別的輪廓，這些樣本對訓練後的神經網路的效能多少產生了一些影響。

 

在短時間內收集所需的大量資料也很有挑戰性。Ashmanov說，資料收集可能需要幾個月的時間。此外，從公開渠道收集的資料，比如在網際網路上找到的資料，並不總是能夠準確地反映現實。例如，在工作室或實驗室拍攝的照片可能與現實生活中的街景或工廠生產單元快照截然不同。結果，這樣訓練出的神經網路的效能會很低。

 

作為客戶專案的一部分，當公司訓練神經網路來識別線上自拍中的眼鏡時，就出現了一個可能出錯的例子。他們從社交媒體上收集了一些照片並貼上標籤。Ashmanov說，神經網路的表現質量很低，因為它把眼睛下面有黑眼圈的人誤認為戴著眼鏡。

 

另一個客戶提交了一個城市的兩幅衛星影像。任務是在影像中標記汽車，並教神經網路識別它們並計算它們的近似數量。在這個例子中，問題是神經網路將建築屋頂上的壁架也識別為汽車，因為它們在外觀上相似——它們都是小的、矩形的，而且大多是深色的。

 

“這一切都取決於對特殊案例的仔細研究，建立啟發式方法，以及改進初步資料處理和後處理證明檢查，”Ashmanov說。

 

教訓4:過於細微的分類問題可能會混淆機器學習

 

Casepoint 是美國一家為法律行業和其他市場提供電子發現技術的公司， 它也經歷了機器學習演算法的缺陷問題。該公司使用機器學習來進行文件分類和預測分析。透過使用這項技術，法律團隊可以大大減少審查和分類檔案的時間。

 

首席戰略官David Carns表示，利用機器學習對檔案進行分類是有效的，但並非完美無缺。該公司發現的一個弱點是，人們會過度依賴機器學習來解決微妙、複雜的分類問題。

 

例如，在法律領域，機器學習文件分類器經常用於識別響應“生成文件請求”的文件。甲方要求提供與特定主題或內容相關的文件，乙方可以使用機器學習文件分類器進行分類來幫助篩選文件儲存庫以獲取響應文件。

 

Carns 說，這種方法非常有效，律師已經開始定期使用這種技術來輔助審查(TAR)檔案。 “這種成功導致人們希望能夠盲目地使用機器學習文件分類器來進行更細微的分類，例如識別受律師-客戶特權保護的文件，”他說。

 

雖然使用機器學習對文件分類器進行特權文件內容的訓練很容易， 但是如何使文件具有合法特權在很大程度上取決於文件的受眾、保密性、接收時間以及與法律諮詢或訴訟的關係。 Carns 說， 大多數機器學習文件分類器無法對這些額外的上下文線索進行充分分類。

 

Carns 說:“這並不意味著機器學習文件分類器不能幫助對潛在的特權文件進行選擇和分類。但法律專業人士不應僅僅依靠機器學習來確定特權。”他說，如今，人類律師需要手動審查潛在的特權檔案，以便最終決定是否適用法律特權。

 

教訓5:測試/訓練資料的汙染可能會影響機器學習

 

美國自動化公司Indico多年來一直在為客戶提供企業人工智慧和深度學習服務，它不斷遇到的最大問題之一是機器學習測試和訓練資料的汙染。

 

CTO Slater Victoroff 說，一個客戶正在建立一個模型來確定一條新聞是否會影響其股價。由於很難準確地確定影響時間，所以公司建立了一個模型來預測第二天的影響。

 

“ 他們沒有意識到的是，他們忽略了確保測試/訓練資料完全分開的資料科學基礎， ”Victoroff說。“因此，在預測第二天的影響方面，他們給出了接近100%的準確率，而實際上，這個模型並不會比隨機的模型更好。”

 

另一次體驗則涉及到一名客戶檢視其內部自然語言處理( NLP )系統。客戶有一個團隊，多年來一直在為機器學習模型建立和更新功能，並根據同一組搜尋結果不斷測試這些功能。該團隊也經歷了測試/訓練資料汙染的影響。Victoroff說: “如果你看到你的測試錯誤就改變你的演算法來改進你的測試錯誤，你的數字就不再準確了。”

 

在一些特殊情況下，人們對該問題的理解往往不足。在內部，該模型對於特定任務實現了接近100%的準確性。“但在生產過程中，該系統往往無法正常執行，因為他們無意中汙染了他們的結果，”Victoroff說。“ 任何組織在機器學習中最關鍵的錯誤都是測試/訓練資料的汙染問題。 ”