深度學習已經觸到天花板了嗎

大資料文摘出品

編譯：小蔣、lvy、王嘉儀

許多人認為演算法將會超越人類的認知意識：機器可以在沒有人為干預的情況下辨別和學習任務，並將大規模地替換掉工人；他們完全可以“思考”；許多人甚至提出了我們是否可以將機器人作為配偶的問題。

但這不是什麼新穎的想法，早在20世紀60年代，當時的人工智慧先驅Jerome Wiesner、Oliver Selfridge和Claude Shannon已經很堅信，這種情況會在不久的將來發生。

快進到1973年，AI的炒作給英國帶來了適得其反的結果。

在這種AI熱潮下，英國議會不會無動於衷，他們委任當時的人工智慧專家，James Lighthill爵士撰寫一份英國的AI研究現狀報告。

在這份研究報告中，James Lighthill非常激烈地批評了當時被給予厚望的人工智慧研究。Lighthill還指出，專業程式（或人）是如何比他們的“AI”同行表現得更好的。

這份報告被稱為Lighthill Report，也正因為這份報告，當時的英國政府取消了所有人工智慧研究經費（英國的研究在20世紀80年代再次興起，Alvey專案是對日本的第五代計算機專案的回應）。

點選檢視當時關於Lighthill報告的辯論?

https://youtu.be/03p2CADwGF8

1965年突破性的“MAC Hack VI

同一時間在大西洋彼岸，美國國防部在人工智慧研究上投入了大量資金，隨後由於同樣的挫折，幾乎取消了所有資金：人工智慧能力的誇大，高成本且無回報，以及在現實環境中價值前景存疑。

在20世紀80年代，日本積極嘗試用第五代計算機專案大膽刺激“AI”。然而，這最終也是一次耗資8.5億美元的失敗。

20世紀80年代末迎來了第一輪AI寒冬。這是電腦科學的一個黑暗時期，組織和政府面臨“人工智慧”研究失敗和沉沒成本，也由此導致人工智慧研究停滯了數十年。

到了1990年代初，“AI”變成了一個骯髒的詞，這一狀況持續到了2000年。人們普遍認為“人工智慧不起作用”。編寫看似智慧程式的軟體公司使用了“搜尋演算法”、“業務規則引擎”、“約束求解器”和“運籌學”等術語。值得一提的是，這些寶貴的工具確實來自人工智慧研究，但由於未能實現更巨集大的目的，它們現在被重新命名。

但在2010年左右，情況開始發生變化。人們對AI的興趣再次迅速增長，關於影像分類的競賽引起了媒體的關注。矽谷第一次通過使用足夠大的資料使神經網路發揮作用。

到2015年，“AI”研究獲得了許多財富500強企業的鉅額預算。通常情況下，這些公司是由FOMO（fear of missing out）驅動而不是實際的案例，擔心他們會被自動化的競爭對手所拋棄。畢竟，讓神經網路識別影像中的物體真是令人印象深刻！對於非專業人士來說，SkyNet的能力肯定是下一個。但這真的是邁向真正的人工智慧的一步嗎，或者是歷史重演？

很長一段時間，我一直不喜歡“人工智慧”這個詞。

它太模糊且深奧，這還更多的是由營銷人員而不是科學家定義的。當然，市場營銷和流行語可以說是促進改變和接受新思維的必要條件。然而，流行語的混雜不可避免地導致了混亂。我的新華碩智慧手機就被稱作具有“AI鈴聲”功能，而也就是可以動態調整鈴聲音量，使其在環境噪音中足夠響亮。我猜想一些可以用一系列“if”條件或簡單的線性函式進行程式設計的東西，都被稱為“AI”。

有鑑於此，“AI”的定義受到廣泛爭議也就不足為奇了。我喜歡Geoffrey De Smet的定義，該定義指出AI解決方案適用於具有不確定性答案和/或不可避免的誤差範圍的問題。這將包括從機器學習到概率和搜尋演算法的各種工具。

也可以說人工智慧的定義不斷髮展，只包括突破性的發展，而過去的成功（如光學字元識別或語言翻譯）不再被視為“AI”。所以“人工智慧”可以是一個相對術語，而不是絕對的。

近年來，“AI”經常與“神經網路”聯絡在一起，這也是本文將重點關注的問題。還有其他“AI”解決方案，從其他機器學習模型（樸素貝葉斯，支援向量機，XGBoost）到搜尋演算法。然而，神經網路可以說是目前最熱門的技術。

2010年之後，人工智慧的興起僅僅是掌握了一類新的任務：分類。更具體地說，由於神經網路的存在，科學家已經開發出有效的方法來分類大多數型別的資料，包括影像和自然語言。即使是自動駕駛汽車也是分類任務，其中周圍道路的每個影像都可以轉化為一組離散動作（加油，剎車，左轉，右轉等）。如果想要簡單瞭解其工作原理，請觀看這個如何製作一個視訊遊戲的AI的教程。

在我看來，自然語言處理比純粹的分類更令人印象深刻。很容易相信這些演算法是有感知的，但如果你仔細研究它們就可以說它們依賴於語言模式而不是有意識構建的思想。

谷歌Duplex可能是最令人印象深刻的自然語言處理技術，它允許你的安卓手機替你撥打電話，特別是預約什麼。谷歌訓練、結構化、甚至可能硬編碼了“AI”。可以肯定的是，假呼叫者聽起來自然有停頓。有“啊”和“嗯”......但是，這也是通過對語音模式的操作來完成的，而不是實際推理和思考。

這一切都非常令人印象深刻，而且肯定有一些有用的應用程式。但我們確實需要調整我們的期望並停止炒作“深度學習”的能力。如果我們不這樣做，我們可能會發現自己處於另一輪的AI寒冬。

紐約大學的Gary Marcus寫了一篇關於深度學習侷限性的文章，並提出了幾個令人警醒的觀點（在文章傳播開之後，他又寫了一篇同樣有趣的續篇）。Rodney Brooks將時間線放在一起，並通過引用的研究跟蹤他的AI炒作週期預測。

對此持懷疑態度的人通常有幾個共同點。神經網路需要的資料量非常大，即使在今天，資料仍然是有限的。這也是為什麼你在YouTube上看到的“遊戲”AI示例通常需要幾天不斷地輸掉遊戲，直到神經網路找到對應的獲勝模式。

我們確實需要降低我們的期望並停止誇大“深度學習”的能力。如果我們不這樣做，我們可能會發現即將又會迎來AI的另一個寒冬。

神經網路“深度”是在於它具有多層節點，而不是因為它對問題產生了深刻的理解。這些層也使神經網路難以理解，對於開發人員也是是如此。最重要的是，當神經網路進入其他問題空間時，例如旅行推銷員問題，它會出現回報遞減的問題。為什麼在搜尋演算法更加直接、有效、可擴充套件且經濟的情況下，我還要使用神經網路來解決旅行商問題呢？

當然，有些人希望使用神經網路解決更多其他複雜的問題，雖然這很有趣，但神經網路似乎很難超越任何專門的演算法。

Luke Hewitt 在《The Unreasonable Reputation of Neural Networks》文章中給出了最好的解釋：

憑直覺在單項任務上判斷機器有多高的智慧或有多大的能力不是好事。20世紀50年代玩跳棋的機器讓研究人員驚奇，許多人認為這是人類層面推理的巨大飛躍，但我們現在意識到，在這個遊戲中實現人類或超人的表現遠比實現人類一般智慧要容易得多。事實上，即使是最優秀的人也很容易被簡單的啟發式搜尋演算法打敗。在一項任務中，人類或超人的表現並不一定是在大多數任務中接近人類表現的墊腳石。

需要指出的是，神經網路需要大量的硬體和軟體才能進行訓練。對我來說，這是不可持續的。當然，神經網路的預測精度比訓練時要高得多。然而，為了提高神經網路的精度，它需要不斷的被訓練，因此訓練時消耗的能量和成本成指數級增長。當然，現在計算機的速度越來越快，但晶片製造商能否繼續維持摩爾定律呢？

這是有道理的。為什麼在搜尋演算法更加直接、有效、可擴充套件且經濟的情況下，我還要使用神經網路來解決旅行商問題呢？

正是由於這些原因，我認為另一個AI寒冬即將來臨。越來越多的專家和博主正在指出這些侷限。公司依舊花費大價錢招聘最好的“深度學習”和“人工智慧”人才，但我認為許多公司認識到深度學習並不是他們所需要的只是一個時間問題。更糟糕的是，如果你的公司沒有Google的研究預算、博士人才或從使用者那裡收集的海量資料，你很快就會發現你實際的“深度學習”前景非常有限。

在每一個人工智慧的寒冬之前，科學家們都在誇大和鼓吹他們創造的潛能。僅僅說他們的演算法能很好地完成一項任務是不夠的，他們希望它能解決任何任務，或者至少給人一種它可以的印象。例如，AlphaZero特別擅長於下棋，於是媒體的反應是“哦，天哪，通用智慧時代來了！機器人來了！”然而科學家們並沒有去糾正它們，而是鼓勵他們使用這些詞彙。畢竟，降低預期並不能幫助風投融資。但是，儘管人工智慧研究人員的機器人能力有限，但他們仍然將演算法擬人化，他們為什麼會這麼做呢，這比起科學問題，倒更像是一個哲學問題。

Garry Kasparov在1997年對陣Deep Blue時表示：Rex功能

當然，並不是所有使用“機器學習”或“人工智慧”的公司實際上使用了“深度學習”。

一個好的資料科學家可能被僱傭來構建一個神經網路，但當她真正研究這個問題時，她覺得構建一個樸素的貝葉斯分類器可能更合適。對於那些成功使用影像識別和語言處理的公司來說，他們將繼續鑽研下去。但我認為神經網路並沒有在這類問題空間以外的地方取得進展。畢竟，緩和預期對風投融資沒有幫助。

過去的人工智慧寒冬在推動電腦科學的發展方面是毀滅性的。但是人工智慧研究確實產生了一些有用的東西，比如搜尋演算法可以在國際象棋中奪冠，也可以將運輸問題的成本最小化。簡單來說，創新性的演算法往往只擅長於一個特定的任務。

我想說明的是，許多問題都有都有很多相對應的有效的解決方案。為了不在人工智慧的寒冬中凍死，你最好專注於你想要去解決的問題並且理解它的本質。在這基礎上，為這個特定問題提供一個直觀的解決方案路徑。如果你要對文字訊息進行分類，可能需要使用樸素貝葉斯分類器。如果你試圖優化你的運輸網路，可能需要使用離散優化。不管周圍的研究者怎麼說，你都可以對卷積模型持有懷疑態度，並質疑它的理論是否正確。

如果你不認同畢達哥拉斯派的哲學，那麼你能想到的最好方法就是讓人工智慧“模擬”一些行為，創造出它產生了情感和思想的錯覺。

希望這篇文章能讓你清楚的意識到，深度學習並不是解決大多數問題的正確方法。不要為所有問題尋求一個通用人工智慧解決方案，因為你不可能找到的。

我想在這篇文章中提出的最後一點是，這個問題比科學更具有哲學意義。我們的每一個想法和感覺都僅僅是一堆數字以線性代數的方式被乘法和加法嗎？難道我們的大腦僅僅是一個神經網路，整天只是在做點積嗎？這聽起來像是畢達哥拉斯的哲學把我們的意識降維到了一個數字矩陣。也許這就是為什麼如此多的科學家相信通用人工智慧是可能存在的，因為人類和計算機沒有什麼差別（我只是在這指出了這一點，並不是評論這個世界觀是對還是錯）。

不管周圍的研究者怎麼說，你都可以對卷積模型持有懷疑態度，並質疑它的理論是否正確。

如果你不認同畢達哥拉斯的哲學，那麼你能想到的最好方法就是讓人工智慧“模擬”一些行為，創造出它產生了情感和思想的錯覺。翻譯程式並不懂得中文，只不過它可以通過尋找概率模式來“模擬”理解中文的假象。當你的智慧手機“識別”狗狗的圖片時，難道它真的能識別出狗狗嗎？還是它只是看到了它以前學習過的數字模式？

相關報導：

https://towardsdatascience.com/is-deep-learning-already-hitting-its-limitations-c81826082ac3

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31562039/viewspace-2558404/，如需轉載，請註明出處，否則將追究法律責任。