Science組織了一場尖銳的Reddit問答,Yann LeCun的回答還是那麼耿直

機器之心發表於2018-02-19

回答者:

  • Yann LeCun,Facebook 人工智慧研究中心首席科學家

  • Eric Horvitz,微軟研究院負責人

  • Peter Norvig,谷歌研究總監

問題 1:你認為對下一代而言,哪些工作將會被人工智慧取代,哪些工作是安全的?我是作為一位經常給學生提供就業選擇建議的高中教師提問的。很多人談論人工智慧對工作的顛覆時談到的主要是駕駛汽車等方面,而排除了其它領域。我現在有一位計劃成為飛行員的學生。我告訴他考慮一下無人駕駛飛機,但他認為這不是什麼威脅。我告訴學生們進入貿易行業比較保險,尤其是需要大量流動性的貿易。另外還有哪些領域現在看來比較安全?

Peter Norvig:我認為更有意義的角度是看任務是什麼,而不是著眼於職業。如果一位雄心勃勃的商業飛行員在 1975 年尋求建議,那麼應該建議:你喜歡起飛和降落嗎?未來很多年你都可以這樣建議。你喜歡長時間穩定飛行嗎?很遺憾,這個任務將幾乎全部實現自動化。所以我認為大多數領域都是安全的,但你在任何工作中所做的任務組合將會發生變化,不同職業之間的報酬差異也將改變,而且每種工作所需要的人數也會發生變化。我們很難預測這些變化。舉個例子,現在有很多人駕駛卡車。未來某個時候,大多數長途駕駛都將被自動化。我認為車裡面仍還會有一個人,但他們的工作將更注重灌卸貨物和客戶關係/推銷,而不是駕駛。如果他們可以在車輛移動的時候在車裡睡覺(終於可以了)和/或編排更大規模的卡車車隊,那麼你可能就會想我們所需的卡車司機更少了,但如果卡車運輸的成本相對於鐵路或海路運輸下降了,那麼需求也會增長。所以現在很難預測幾十年後的事情,最好的建議是保持靈活性併為學習新事物做好準備——不管是某個職業內任務發生變化還是更換職業。

Eric Horvitz:人工智慧的發展將會對經濟中的勞動力產生多重影響。我相信某些改變會是顛覆性的並且可能會以相對快的方式發生——這樣的顛覆可能會出現在駕駛汽車和卡車等工作上。其它影響還包括工作執行的方式和人們執行不同領域的任務的方式。總的來說,關於人工智慧發展對工作分配和工作性質的影響,我的看法是正面的。我看到很多工都得到了更復雜自動化的支援,而不是被它們所取代。其中包括藝術和科學探索領域內的工作以及需要精細身體操作的工作,另外還有很多工作總是需要人之間的相互合作和照顧——包括教學、指導、醫療照護、社會工作和撫養孩子成人。關於後者,我希望在這個日益自動化的世界裡看到更顯著的「關懷經濟(caring economy)興起並獲得支援。

有人可能有興趣瞭解近期一些思考未來狀況的研究。這裡有一份很有意思的研究,思考了機器學習進步在特定功能方面對工作的影響:http://science.sciencemag.org/content/358/6370/1530.full。我推薦這篇文章是因為這是一個很好的範例,能幫助人們瞭解如何將某些結構組合起來預測人工智慧和工作就業的未來。

順便一提:昨天在奧斯汀的 AAAS 上我們有個環節就是關於人工智慧的進步對人類能力的增強和任務的變革的。

Yann LeCun:還有很長時間我們才能有機器人管道工、木匠、零雜工、理髮師等等。一般而言,人工智慧不會取代工作,但會改變工作。最終而言,人工智慧會讓每個工作都更高效。但需要人類創造力、互動能力、情感智慧的工作很長時間內都不會消失。科學、工程、藝術、手工製作等創造性工作還將繼續保留。

問題 2:目前很多機器學習研究似乎都轉向了深度學習。1)這對機器學習研究的多樣性會有負面影響嗎?2)為了支援深度學習研究,需要將其他正規化的研究例如概率圖模型、支援向量機等完全拋棄嗎?有可能這些模型在當前表現不是很好,但在未來會出現突破,正如深度學習在上世紀 90 年代的狀況。

Yann LeCun:隨著我們 AI 技術的成長,我的感覺是深度學習只是其中的一部分。在複雜的(可能是動態的)圖中整合引數化模組並根據資料優化引數的思想並沒有過時。在這層意義上,只要我們還沒有找到不需要使用梯度來優化引數的高效方法,深度學習也不會過時。因此,深度學習並不足以構建完整的 AI。我認為定義動態深度架構(即按程式定義計算圖,其結構隨著新的輸入而改變)的能力可以將深度學習推廣為可微程式設計。

至於問題 2),深度學習和圖模型之間並不存在對立。你可以這樣使用圖模型例如因子圖,其中的因子是完整的神經網路。它們是互不相關的概念。人們曾經在深度學習框架之上構建概率程式設計框架。例如 Uber 的 Pyro 就建立在 PyTorch 之上(概率程式設計可以看成是圖模型的推廣,類似於可微程式設計是深度學習的推廣)。事實證明在圖模型中使用反向傳播梯度進行推理是很有用的。當資料匱乏並可以手動特徵化時,SVM/核方法、樹模型等更好用。

Eric Horvitz:深度神經網路在分類和預測任務上的表現有很多亮點。我們也見證了目標識別、語音識別、翻譯,甚至學習最優策略(結合強化學習思想)的準確率在不斷提高。然而,AI 是一個很寬泛的領域,有大量潛在的分支學科,並且 AI 的機器學習分支也有大量的分支。

我們需要繼續深度開發有潛力的 AI 技術(並結合各自的優勢),包括概率圖模型、決策理論分析、邏輯推理、規劃、演算法博弈論、元推理和控制論等已有的豐富成果。我們還需要將領域進行擴充套件,例如將有限理性模型推廣到開放世界中研究智慧體的限度。

問題 3:如何將任務特定的 AI 突破到更加通用的智慧?目前我們看起來正花費大量的精力用於在圍棋中贏得勝利,或使用深度學習執行特定的科學任務。這種進展很不錯,但相比大多數人們心目中的 AI 來說還很狹隘。我們如何構建通用智慧,使得可以適應任意的任務呢?我認為簡單地整合數百萬個任務特定的應用並不能構建通用的智慧。


Yann LeCun:我認為,讓機器通過觀察來學習預測模型是通用人工智慧(AGI)的最大障礙。人類嬰兒和很多動物似乎都可以通過觀察世界並與其互動獲得一種常識(雖然相比我們的強化學習系統,他們只需要很少量的互動)。我的直覺是,大腦中有很大一部分是預測機器。它訓練自身以預測所有事物(從已見事物預測未見事物)。通過學習預測,大腦精心構建了層次化的表徵。預測模型可以在和世界的最小量互動中用於規劃和學習新的任務。目前的「無模型」強化學習系統,例如 AlphaGo Zero,需要與「世界」進行大量的互動來學習(雖然它們學習得很不錯)。它們在圍棋或象棋中表現得很好,但這樣的「世界」很簡單、很確定性,並且可以同時使用多個計算機快速執行。和這樣的「世界」互動很容易,但無法推廣到現實世界中。你不能在駕駛汽車時通過 5 萬次撞擊學習「不能撞擊」的規則。人類甚至只需要一次經驗就能學習到這樣的規則。我們需要讓機器學習這樣模型。

Eric Horvitz:沒錯,目前的人工智慧現狀就是:智慧而狹隘的「學者」。

我們對於人類智慧的認識還遠遠不足,其中包括人類如何在開放世界中學習(以無監督的方式)、我們形成「常識」的機制以及我們輕易地泛化到新任務的祕密。

我認為有兩種很重要的方法可以促進對通用智慧的發展:一種方法是將多種特定應用有機結合起來,然後探索這些應用的關聯性問題;另一種方法是集中研究一種核心方法論例如 DNN,然後探索其中更加普遍的結構。有一篇論文可以為我們提供一個有趣的通向 AGI 的框架和方向:http://erichorvitz.com/computational_rationality.pdf

問題 4:我是一個正計劃轉向 AI 研究的核工程/等離子體物理學研究生。


  • 關於 AI 領域:AI 研究的下一個里程碑會是什麼?目前為了達到這些里程碑的挑戰是什麼?

  • 關於該領域的專業技能發展:我需要具備哪些關鍵技能/知識才能獲得成功?你對剛入門的人有什麼一般性的建議或推薦學習資源嗎?

Yann LeCun:下一個里程碑:深度無監督學習、可以進行推理的深度學習系統。無監督學習的挑戰:學習世界的層次化表徵,以理解變化的解釋因素。我們需要讓機器學習如何在不完全可預測的世界中進行預測。關鍵技能:對連續型數學(線性代數、多變數微積分、概率統計、優化學等)的掌握/良好直覺。熟練的程式設計技能。熟練的科學方法論。總之:創造力和直覺。

Peter Norvig:我對能真正理解人類語言並能進行實際對話的助理很感興趣,這將是很重要的里程碑事件。其中很大的挑戰是將模式匹配(我們對此很在行)結合抽象推理和規劃,目前我們只能在非常形式化的領域如象棋中才能做的很好,而在現實世界中還遠遠不夠。

作為物理學家是你的一大優勢,有很適合的數學背景以及實驗、建模和處理不確定性、誤差的思維。我見識過很多物理學家在這個領域做出很棒的工作。

問題 5:有哪些場景背後是人工智慧支援的而我們卻未意識到?舉個例子。

Eric Horvitz:有相當一些人工智慧系統和服務「位於引擎蓋下」。我最喜歡的一個例子是我們在微軟研究院與 Windows 團隊緊密合作所得到的一個成果,這項進展叫做 Superfetch。如果你用的是 Windows 機器,你的系統就在使用機器學習來學習瞭解你的工作模式和下一步行動(這個過程是隱私的,在本地進行),它會持續地進行預測,通過預載入和預存取應用來最好地管理記憶體。因為你的機器會在幕後推理你的下一步動作,而且很快還將能推理你在一天的某個時候和一週的某天會做的事,所以速度會更快,非常神奇。這些方法一直在執行,而且自在 Windows 7 上的第一版以來一直在越來越好。微軟研究院的人與 Windows 團隊組成了一個聯合團隊共同努力——使用真實負載來進行實驗讓我們發展很快,能幫助我們選出最好的方法。

Yann LeCun:過濾令人反感的內容、使用衛星影象構建地圖、幫助內容設計師優化設計、使用緊湊的特徵向量來表示內容(影象、視訊、文字)以便索引和搜尋、影象中文字的識別……

Peter Norvig:任何有資料的地方,都有優化的可能性。有些事情你可能已經知道了。另一些則永遠不會被使用者注意到。比如說,我們做了很多工作來優化我們的資料中心——我們如何構建資料中心、我們如何讓工作負載流過它們、我們如何冷卻它們等等。我們應用了各種各樣的技術(深度學習、運籌學研究模型、凸優化等);你可以自己決定將這些看作是「人工智慧」或「只是統計學」。

問題 6:我是一位博士學生,我沒有足夠多的資金來投入多個 GPU 和大型(就計算能力而言)深度學習平臺。作為一位學生,我有發表論文的壓力(我的研究領域是計算機視覺/機器學習),而且我知道我沒法在論文截至日期之前足夠快地在我的「新式模組的」網路上測試完所有超引數。而在 Facebook/谷歌等企業進行研究的人有多得多的資源可用,可以快速出成果發論文。在會議上,我們得到的評價標準都是一樣的——所以我毫無勝算。如果我可以按時做完實驗然後發表的唯一途徑是在大公司做實習生——你們難道不認為這有很大的問題嗎?我住在美國,還好一點。其它國家的人又該怎麼辦?對於解決這個問題,你們有什麼想法?

Peter Norvig:我們可以提供支援:你的教授可以申請谷歌雲:https://cloud.google.com/edu/,其中包括 1000 個 TPU。

如果你的目標是開發一個端到端的計算機視覺系統,那麼作為一個學生,你將難以與公司競爭。這不是深度學習領域獨有的情況。我記得我在讀研究生的時候有一位做 CPU 設計的朋友,而且他們知道他們無法與英特爾競爭。要完成一個大型工程開發專案,需要數百人開發數百個元件,如果有任何一個元件失敗了,你就不是最領先的。但一個學生可以有更好地實現一個元件的新想法並將其展示出來(也許可以使用開源模型並展示由你的新元件所帶來的改進)。

Yann LeCun:我有兩個頭銜:Facebook 的首席人工智慧科學家和紐約大學教授。我在紐約大學的學生可以使用 GPU,但沒有在 FAIR 做實習生所能使用的 GPU 多。你可不要讓自己與大型行業團隊直接競爭,而且有很多不競爭也能做出好研究的方法。很多(甚至大多數)的創新思想仍然來自於學術界。比如說,在神經機器翻譯中使用注意機制的思想來自 MILA。這種方法像颶風一樣席捲了神經機器翻譯領域,並且在幾個月之內就得到了主要公司的採納。在那之後,Yoshua Bengio 告訴 MILA 的成員停止競爭資料更好的翻譯結果,因為與谷歌、Facebook、微軟和百度等公司競爭是沒有意義的。幾十年前,在字元識別和語音識別領域也曾發生過這樣的事。

Eric Horvitz:微軟和其它公司正在努力實現人工智慧的民主化,開發工具和服務來幫助大公司之外的人輕鬆地在人工智慧領域做出偉大成就。我能理解有關計算的問題會出現。在各種專案中,你可能會發現 Azure for Research 和 AI for Earth 很有價值,這能幫你獲取微軟的計算資源。

問題 7:作為一名 ML 從業者,我對最近漫天遍野的「fake AI」越來越厭倦。比如:

Sophia,一個設定預編答案的木偶,卻被呈現為活生生的有意識的存在。涉及機器學習的工作機會中 95% 並不是 AI 職位,只是加上了「AI」或「機器學習」這種流行詞來使該公司看起來更有吸引力罷了。


對我來說,世界上只有很少的幾千人從事機器學習工作,但是卻有 100 倍的人在假裝做 AI。這是一種病,它傷害了所有人,還搶走了近期 ML 真正做出的成果。我們能採取什麼措施制止這種行為嗎?

Peter Norvig:不要擔心。不只是 AI 領域有這種情況。每次出現一個熱詞,一些人就想用不恰當的方式利用它。AI 和 ML 如此,「有機」(organic)、「無麩」(gluten-free)、「正規化轉移」(paradigm shift)、「瓦解」(disruption)、「中樞」(pivot)等也是如此。他們只能得到一些短期的注意力,最終會消失。

Eric Horvitz:我同意 Peter 的觀點。看到大家對 AI 研究的熱情很棒,但是確實存在一些過熱、誤解和隔閡,就像那些以各種方式跳上風口的人一樣(包括給所有事情都加上一個「AI」:-))。

馬克·吐溫有一句名言:「歷史不會重複,但會押韻。」在 1980 年代中期專家系統時代也成出現 AI 過熱的場面。1984 年,一些 AI 科學家提醒大家:被誤導的狂熱和無法達到期望可能導致興趣和資金的崩潰。確實,幾年後,我們進入了一些人所說的「AI 寒冬」。我不認為這次也必然出現這樣的結果。我認為這次大火中會有熾熱的餘燼,閃耀著推動 AI 領域前進,但是 AI 科學家繼續教育多個領域中的人們關於我們確實能夠達到的成果也很重要,以及自「人工智慧」一詞首次使用這 65 年來我們努力試圖解決的困難問題。

Yann LeCun嚴肅的 ML/AI 專家在看到這種情況時,不用猶豫可以直接大喊「bull shit」。我自己一直是這樣做的。是的,「AI」已經成為一個商業熱詞,但是今天 AI/ML 領域仍有大量嚴肅、超酷的工作。

問題 8:貴司會為儲存競爭優勢而保留一些演算法/架構機密嗎?我知道資料集會帶來很大的競爭優勢,那麼演算法也會嗎?也就是說,如果你的公司在某個演算法/架構上取得了突破,比如下一代 CNN 或下一代 LSTM,你們會為了科學發展而公開它呢,還是會為了儲存競爭優勢而保留機密呢?

Peter Norvig:截至目前,你可以看到我們這三家公司(以及其他公司)釋出了很多通用演算法,我認為我們也將繼續這樣做。我認為原因有三:首先,我們相信科學發展;其次,競爭優勢來自於我們使用演算法所做的艱辛工作以及圍繞創造某個產品所有的過程,而非核心演算法本身;第三,你無法將它們作為機密儲存,如果我們能想到,同一研究社群的其他人也能想到。

Yann LeCun:在 FAIR,我們公開我們所做的所有事情。原因如下:

(1)正如 Peter 所說,「我們相信科學發展;競爭優勢來自於我們使用演算法所做的艱辛工作以及圍繞創造某個產品所有的過程,而非核心演算法本身。」我還要加一句,競爭優勢還來自於將演算法/模型轉換成產品或服務的速度。

(2)今天 AI 的主要問題不是一家公司是否領先於另一家(沒有一家公司可以永遠大幅領先),而是 AI 領域本身需要在一些重要方向實現快速進展。我們都不希望孤獨地去解決這一問題,我們需要整個研究社群合作來實現進步。

(3)只有允許科學家釋出成果,你才能吸引到做優秀的科學家;只有以其對更廣闊的研究社群的學術影響力來評估他們(至少佔一部分),你才能保留住他們。

(4)只有告訴他們必須釋出成果,才能得到可靠的研究結果。如果不打算公開結果的話,人們通常會更加草率。

(5)公開創新性研究有助於將該公司塑造成領導者和創新者,這有助於招募最優秀的人才。在技術行業中,吸引最優秀人才的能力意味著一切。

Eric Horvitz:自 1991 年設立以來,微軟研究院就是一個開放的研究實驗室。我們實驗室的一個重要基礎就是研究人員自己決定是否釋出研究成果、共享 idea 與學識,這個基礎深入我們實驗室的 DNA。看到其他公司也在此方向前進,我覺得非常棒。在 Peter 的基礎上,我想說的是,偉大的創新和 IP 是圍繞不同領域實際產品化實現的細節開發出來的,這些可能無法像核心技術進展那樣共享出來。

問題 9:量子計算的進步會驅動人工智慧背後的研究嗎?你如何看待未來二者的融合?

Peter Norvig:我想要做的很多事情都沒有量子計算的幫助。我經常想要通過一個相對簡單的演算法來處理海量文字,而量子計算對此並無幫助。

然而,量子計算可能有助於更高效地搜尋深度網路的引數空間。我不知道是否有人做出了這樣的量子演算法,不用考慮硬體機器能否實現它,但理論上可能是有幫助的。

Yann LeCun:驅動(driving)?當然不。對我而言,根本不清楚量子計算能對人工智慧有任何影響。在短時間內更不可能。

問題 10:傳統統計模型的價值在於易於理解模型的行為、如何得出結論以及推斷/預測的不確定性。而新型深度學習方法在預測方面取得了很好的成果,但我認為它們通常是「黑箱」。目前我們對 ANN 等模型的內部機制有多大程度的理解呢?以及您認為理解其內部機制的重要度如何?我認為這在模型用於制定重大決策時尤為重要,比如汽車駕駛或臨床決策。

Peter Norvig:這是當前研究的重要部分。你可以從 Big Picture 部落格 或 Chris Olah 的 部落格看到谷歌為此努力的多個例子。我認為理解的難度更多地來自於「問題」本身的難度,而非解決方案技術的難度。二維線性迴歸很好理解,但它對於不具備好的線性模型的問題來說並無太大用處。類似地,人們說隨機森林或標準 Python/Java 程式碼中的「if/then」規則易於理解,但是如果真的易於理解,程式碼就不會有 bug 了。而程式碼往往存在 bug。因為這些易於理解的模型同樣易於出現確認偏差(confirmation bias)。

我更傾向於不只用「理解」(understanding)來描述這件事,還有「值得信任」(trustworthiness)。當我們可以信任一個系統時,尤其是該系統作出重大決策時,可以思考以下多個方面:

  • 我能夠理解該程式碼/模型嗎?

  • 它是否長期在大量示例上得到驗證?

  • 我是否確信世界不會變化,將我們帶到模型從未見過的狀態?

  • 該模型是否能夠抵抗對抗攻擊?

  • 該模型是否能夠抵抗退化測試(degradation test),即我們故意削弱其中的一部分,檢視其他部分如何運作。

  • 是否存在類似的技術,在過去被證明是成功的?

  • 該模型是否能夠被連續監控、驗證和更新?

  • 該模型外部存在哪些檢查?輸入和輸出都被其他系統檢查嗎?

  • 我使用哪種語言與該系統交流?我可以詢問它在做什麼嗎?我可以向它提建議嗎?如果它犯了錯,我只能提供數千個新的訓練樣本,還是可以說「不,你把 X 弄錯了,因為你忽略了 Y」。

  • ……

這是一個偉大的研究領域,我希望能看到更多這方面的研究成果。

問題 11:你覺得 Capsule 網路怎麼樣?除了 MultiMNIST,你們成功地在其他資料集上應用過它嗎?輸入更多資料時,它能夠替代 CNN 嗎?

Yann LeCun:這樣的想法在大型資料集上實踐需要時間,Capsule 是個非常酷的想法。Geoff Hinton 已經思考了幾十年(例如,他的學生 Rich Zemel 的博士論文主題是 TRAFFIC 模型)。找到在 MNIST 上有效的方法已經花費他很多時間了,所以使 Capsule 在 ImageNet 資料集(或者別的資料集)上有效也要花費一些時間。此外,還不清楚它是否有效能優勢,在訓練樣本數量上的優勢在實踐中是否有效。Capsule 網路可被看作是一種以特殊方式做池化的卷積網路。


問題 12:我是個 13 歲的學生,我喜歡用 JS 和 Python 自己做遊戲和程式設計。我想要做自己的音樂和機器學習程式,對我這樣的年輕開發者有什麼建議嗎?

Yann LeCun:再學習學習數學和物理。

Peter Norvig:除了學習,做一些開源專案。要麼自己在 Github 上開源一個,或者參與到已有的有趣專案中。

問題 13:Peter,谷歌一直在研究輔助識別影象的人工智慧,效果也相當好,但仍有奇怪的地方。去年我用你們的 API,輸入一張貓的影象,很簡單,效果也不錯。但因為尾巴從頭上面露了出來,API 也猜測是它是一隻獨角獸。這種錯人類不會犯,而人工智慧會,特別是輸入 2D 影象時,你覺得 AI 會克服這種問題嗎?

Peter Norvig:識別影象也就這幾年才做到的,發展很穩定,但就像你說的,即使在一些任務上人工智慧有超越人類的表現,它也會犯一些尷尬的錯誤。隨著我們有更多經驗、更多資料,這種情況會有所改進,且有希望做遷移學習,以便於不用從頭開始做每個模型。相比於靜態影象,視訊可能有更大優勢,這一點提的非常好。我們的計算能力呈指數級增長,但還沒達到能夠輸入大體量視訊的程度。等到能做到的那一天,你會看到極好的進步。

問題 14:能定義下「專家系統」與「人工智慧」嗎?你研究更多的是專家系統還是人工智慧,或者二者都有?你研究專家系統或者人工智慧的目標或者成功標準是什麼?

Peter Norvig:我認為專家系統是通過採訪一位專家,把他所知道的進行編碼的一種程式,包括所在領域的本體論、關於要做什麼、何時達到目標的程式性知識。然後,給定一個新目標,程式可嘗試模仿專家的行為。專家系統在 1980 年代達到頂峰。

相比之下,規範系統只嘗試做「正確的事」,換言之就是「最大化預期效用」,不關心對專家行為的模仿。

此外,「機器學習」系統是通過收集來自全世界的資料建立的,而不是通過手動編碼規則。

今天,我們專注於規範的機器學習系統,因為事實證明它要比專家系統更穩健。

問題 15:你們明顯在致力於人類最終的衰敗。你們為什麼這麼做,有什麼理由?

Yann LeCun:相反,我們致力於讓人類變得更好。人工智慧是對人類智慧的擴充。火、弓箭、農業的出現讓人類衰敗了嗎?Science組織了一場尖銳的Reddit問答,Yann LeCun的回答還是那麼耿直

原文連結:https://www.reddit.com/r/science/comments/7yegux/aaas_ama_hi_were_researchers_from_google/

相關文章