深度學習並非萬能：你需要避免這三個坑

作者 | George Seif

編譯 | 專知

整理 | Mandy, Sanglei

摘要：本文是人工智慧專家George Seif撰寫的博文，介紹了在當前深度學習比較火熱的情景下需要避免的三個坑。

Tweaking Neural Net Parameters

Three reasons that you should NOT use deep learning

深度學習在過去幾年一直是人工智慧領域最熱門的話題。事實上，正是它激發了科學家、政府、大公司以及其他所有人對人工智慧的極大新興趣！這是一門很酷的科學，具有潛在的巨大的實用性和積極的應用。它正被用於金融、工程、娛樂、消費產品和服務等領域。

但是，所有應用都需要使用到深度學習嗎？當我們開展一個新的專案時，我們需要不自覺地一開始就使用深度學習嗎？

在有些情況下，使用深度學習是不合適的，我們需要選擇一些別的方案。讓我們來探討一下這些情況吧。

（1）深度學習不適用於小資料集

為了獲得高效能，深度網路需要非常大的資料集。標註的資料越多，模型的效能就越好。獲得標註良好的資料既昂貴又耗時。僱傭人工手動收集圖片並標記它們根本沒有效率可言。在深度學習時代，資料無疑是最有價值的資源。

最新的研究表明，實現高效能的網路通常需要經過數十萬甚至數百萬樣本的訓練。對於許多應用來說，這樣大的資料集並不容易獲得，並且獲取成本高且耗時。對於較小的資料集，傳統的ML演算法(如迴歸、隨機森林和支援向量機)通常優於深度網路。

（2）深度學習運用於實踐是困難且昂貴的

深度學習仍然是一項非常尖端的技術。您可以像許多人一樣獲得快速簡便的解決方案，特別是使用廣泛使用的API，例如Clarifai和Google的AutoML。但如果你想做一些定製化的事情，這樣的一些服務是不夠的。除非你願意把錢花在研究上，否則你就會侷限於做一些和其他人稍微相似的事情。

這也是很昂貴，不僅是因為需要獲取資料和計算能力所需的資源，還因為需要僱傭研究人員。深度學習研究現在非常熱門，所以這三項費用都非常昂貴。當你做一些定製化的事情時，你會花費大量的時間去嘗試和打破常規。

（3）深層網路不易解釋

深層網路就像是一個“黑盒子”，即使到現在，研究人員也不能完全理解深層網路的“內部”。深層網路具有很高的預測能力，但可解釋性較低。由於缺乏理論基礎，超引數和網路設計也是一個很大的挑戰。

雖然最近有許多工具，如顯著性對映（saliencymaps）和啟用差異（activation differences），它們在某些領域非常有效，但它們並不能完全適用於所有應用程式。這些工具的設計主要用於確保您的網路不會過度擬合資料，或者將重點放在虛假的特定特性上。仍然很難將每個特徵的重要性解釋為深層網路的整體決策。

另一方面，經典的ML演算法，如迴歸或隨機森林，由於涉及到直接的特徵工程，就很容易解釋和理解。此外，調優超引數和修改模型設計的過程也更加簡單，因為我們對資料和底層演算法有了更深入的瞭解。當必須將網路的結果翻譯並交付給公眾或非技術受眾時，這些內容尤其重要。我們不能僅僅說“我們賣了那隻股票”或“我們在那個病人身上用了這藥”是因為我們的深層網路是這麼說的，我們需要知道為什麼。不幸的是，到目前為止，我們所掌握的關於深度學習的所有證據或者解釋都是經驗主義的。

未來智慧實驗室是人工智慧學家與科學院相關機構聯合成立的人工智慧，網際網路和腦科學交叉研究機構。

未來智慧實驗室的主要工作包括：建立AI智慧系統智商評測體系，開展世界人工智慧智商評測；開展網際網路（城市）雲腦研究計劃，構建網際網路（城市）雲腦技術和企業圖譜，為提升企業，行業與城市的智慧水平服務。

  如果您對實驗室的研究感興趣，歡迎加入未來智慧實驗室線上平臺。掃描以下二維碼或點選本文左下角“閱讀原文”