摘要： 失敗了！知道自己敗在什麼地方了嗎？還不進來看看？
本文總結了資料科學專案失敗的最常見原因，希望能夠幫助你避免陷阱。
1.問錯了問題
如果你問了錯問題，你將會得到錯誤的答案。比如金融業中的欺詐識別問題，這個問題最初可能是“這個特定的交易是否存在欺詐”。為了確定這一問題，你將需要一個包含欺詐和非欺詐交易示例的資料集。這個資料集可以在一組專門負責偵測欺詐行為的專家（SME）的幫助下生成。但是，由於專家們依據的是過去對欺詐行為的認識進行的標記，用該資料集訓練的模型只會捕獲符合舊模式欺詐，而對於新興的欺詐方式，這一模型將無法識別。如果將問題改為“這個交易是否反常”，它只需尋找不符合“正常”簽名的交易，依靠人類進一步分析預測的欺詐交易以驗證模型結果即可。但這種方法的副作用是，它很可能會比以前的模型產生更多的誤報。
2.試圖用它來解決錯誤的問題
我們經常會忽視一個問題：我們費盡心思解決了一個問題，但是解決後是否能實現我們的目的。比如，你想出了用人工智慧開發出一個將人的全身照傳上網站就能根據提醒量身定做一套合身的衣服的專案。完成這個專案我們需要完成以下任務：
• 開發AI/ML技術以確定照片中的身體測量值；
• 設計並建立一個網站和手機應用，以便與客戶進行互動；
• 進行可行性研究以確定此產品是否有市場。
作為技術專家，我們最熟悉的就是產品設計與編碼，因此我們可能想開始研究前兩個任務。如果我們在執行前兩項任務後進行可行性研究並且研究結果表明我們的產品沒有市場，那將很可怕。
3.沒有足夠的資料
有一些資料十分敏感並且受到嚴密的保護，對它的訪問可能會受到很大的限制，我們可能獲取不到相關資料。
比如，在一些與生命科學領域相關的專案中，由於生命科學行業對儲存和傳輸受保護的健康資訊（PHI）非常敏感，大多數可用資料集都會將這些資訊刪除。例如，密西西比人比康涅狄格州的人患糖尿病的可能性更高。但是由於這些資訊可能無法獲得，我們將無法使用。
4.沒有正確的資料
就算你擁有超棒的模型，使用錯誤資料或者有缺陷的資料也可能導致預測錯誤。在監督學習中，我們使用以前標註過的資料，由於這種標籤通常是人做得，可能會存在一些錯誤。舉一個極端的例子，假設有一個具有完美準確性的模型但使用了不準確的資料，如MINIST資料集，影像的人工標記是100%準確的。現在，假設三分之一的數字被貼錯了標籤，就如古老格言所說的，如果是垃圾輸入，你將得到垃圾輸出。
5.擁有太多資料
從理論上講，你永遠不需要很多的資料（只要它是正確的資料）。在實踐中，即使儲存和計算成本和效能取得了巨大的進步，我們仍然受到時間和空間的物理限制。所以資料科學家最重要的工作之一就是明智地挑選他們認為會對實現精準的模型預測產生影響的資料來源。例如，預測嬰兒出生體重。與母親的年齡及住處似乎相關，但與母親的名字可能不相關。在本例中，需要人工干預來確定刪除不相關的資料。在執行模型之前，確定哪些因素相關仍是一個潛在的陷阱，可能會破壞你的資料科學專案。
6.僱傭錯誤的人
如果你有的是一個小型資料科學實踐，你可能別無選擇，只能依賴一個或幾個來執行所有任務。但是，隨著團隊的發展你應該考慮為每項任務聘請專家。特別是對於生物技術、金融等行業擁有專業的領域知識是非常有價值的，甚至是至關重要的。同時，擁有一個主題專家（SME）和具有良好溝通技巧的資料科學家也很重要。隨著你團隊的不斷髮展，擁有正確的資源和人才庫是你實踐成功的最重要因素之一。
7.使用錯誤的工具
舉個例子：你最近派遣團隊在MySQL上進行訓練，他們回來後，你需要設定一個分析管道。由於他們的想法已經被重新訓練，於是他們建議使用他們的新工具。但是，根據管道將要處理的資料量以及你需要對結果執行的分析量，這個選擇可能是對作業的錯誤選擇。許多SQL產品對可以儲存在單個表中的資料量有嚴格的限制。在這種情況下，更好的選擇可能是使用像MongoDB這樣的NoSQL產品或者像AWSRedshift這樣的高度可擴充套件的列式資料庫。
8.沒有合適的模型
“無免費的午餐”（NFL）是數學中的著名定理。它指出沒有一種模型是可以解決所有問題的。例如，在營銷應用程式中，保留客戶電子郵件和地址等屬性可能很重要。而在醫療環境中，患者的身高、體重和血型可能更為重要。這表明在某種情況下運作良好的模型可能在另一種情況下不起作用。所以在資料科學中使用多個模型進行迭代，以找到最合適給定情況的模型是很常見的。在監督學習中更是如此。驗證或交叉驗證通常用於評估不具有複雜性的多個模型的準確性，以找到最合適的模型。此外，一個有效地模型也可以通過多種演算法進行訓練—例如，可以使用正規方程（Linear least squares）或使用梯度下降（Gradient descent）來訓練線性迴歸。
9.沒有正確的尺度
在機器學習中，根據對資料的訓練和測試來衡量模型的效能是非常重要的。該資訊將用於選擇要使用的模型、超引數和確定模型是否已準備好用於生產使用。為了衡量模型的效能，最重要的是選擇最佳的評估標準來完成手頭的任務。
關於度量選擇的文獻有很多，對此不在深入探討，但在選擇指標時要牢記以下一些引數：
• 機器學習問題的型別：監督學習、無監督學習和強化學習。
• 監督學習的型別：二元、分類或迴歸。
• 資料集型別：如果資料集不平衡，則不同的度量標準可能更合適。
本文作者：【方向】
本文為雲棲社群原創內容，未經允許不得轉載。