2020年，人工智慧將走向何方？

從左至右：Google AI 主管 Jeff Dean，加州大學伯克利分校教授 Celeste Kidd，Pythorch 主管 Soumith Chintala，Nvidia 機器學習研究主管 Anima Anandkumar，以及 IBM 研究總監 Dario Gil

人工智慧不再準備在未來某一天改變世界——它正在改變世界。在新的十年開始之際，VentureBeat 採訪了人工智慧界最敏銳的頭腦，重新審視 2019 年取得的進展，並展望 2020 年機器學習的成熟路徑。我們採訪了 PyTorch 的建立者 Soumith Chintala、加州大學教授 Celeste Kidd、Google AI 主管 Jeff Dean、Nvidia 機器學習研究主管 Anima Anandkumar 和 IBM 研究主管 Dario Gil。

每個人都有對來年的預測，但這些人創造了今天的未來——在人工智慧界擁有權威的個人，他們過去取得了輝煌的成績。儘管一些人預測了半監督學習和神經符號方法等子領域的進展，但事實上，所有與 VentureBeat 交談過的智囊都同意，2019 年，基於 transformer 的自然語言模型取得了巨大進展，並預測在類似技術的面部識別方面將繼續存在爭議。他們還希望人工智慧技術的評價標準不僅僅是準確性。

Soumith Chintala

Soumith Chintala，Pythorch 董事、總工程師、創始人。

目前，PyTorch 是當今世界上最流行的機器學習框架。PyTorch 是 2002 年推出的 Torch 開源框架的衍生產品，於 2015 年面世，並在擴充套件中穩步增長。

2019 年秋天，Facebook 釋出了 PyTorch 1.3，其中包括量化和 TPU 支援，以及 Captum（一個深度學習的可解釋性工具）和 PyTorch Mobile。當然還有其它東西，比如 PyRobot 和 PyTorch Hub，用於共享程式碼和鼓勵 ML 實踐者接受可複製性。

在 Pythorch 開發者與 VentureBeat 的一次對話中，Chintala 說，他認為 2019 年機器學習幾乎沒有什麼突破性進展。

「實際上，我不認為我們做出了什麼突破性的成果……基本上從 transformer 開始就這樣了。2012 年是 ConvNets 的黃金時間，而對 transformer 來說則是在 2017 年左右。這是我個人的看法。」

他接著稱，DeepMind 的 AlphaGo 在強化學習方面的貢獻是開創性的，但他表示，這些成果很難在現實世界中用於處理實際任務。

Chintala 還認為，機器學習框架的發展，當今 ML 從業者中最受歡迎的工具，如 Pythorch 和 Google 的 TensorFlow，已經改變了研究人員探索自己的想法和工作的方式。

他說：「從某種意義上說，這是一個突破，它們使技術的發展速度比過去快了一兩個數量級。」。

今年，Google 和 Facebook 的開源框架引入了量化來提高模型訓練速度。在未來的幾年裡，Chintala 預計 Pythorch 的 JIT 編譯器和 Glow 等神經網路硬體加速器的重要性和採用率將出現「爆炸式增長」。

「根據 PyTorch 和 TensorFlow，你會發現框架是有點趨同的。量化以及其他一些較低效技術出現的原因，是因為下一場戰爭在框架的編譯器上——XLA、TVM、Pythorch 已經非常出色，很多創新正在等待發生。在接下來的幾年裡，你將看到如何更智慧地量化，如何更好地融合，如何更有效地使用 GPU，以及如何使用新硬體自動編譯。」。

與 VentureBeat 為本文采訪的大多數其他行業領袖一樣，Chintala 預測，到 2020 年，人工智慧社群將更加重視人工智慧模型的精度以外的效能，並開始將注意力轉向其他重要因素，如建立模型所需的消耗、如何向人類解釋輸出以及人工智慧如何更好地反映出人們想要建立的那種社會。

「如果你回想過去的五、六年，我們只關注精確性和原始資料，比如英偉達的模型是否更精確嗎、Facebook 的模模型準確性如何。但實際上，我認為 2020 年將是我們開始以更復雜的方式思考的一年，如果你的模型沒有良好的互操作性機制（或滿足其他標準），那麼它是否更精確 3% 並不重要。」

Celeste Kidd

CelesteKidd 是加州大學伯克利分校 Kidd 實驗室的主任，她和她的團隊在那裡探索孩子們是如何學習。他們正試圖用與撫養孩子不太相似的方式來訓練模型，這項研究有助於構建神經網路。

她說：「人類嬰兒沒有被標記的資料集，但他們做得很好，我們必須瞭解這是如何發生的。」。

2019 年讓 Kidd 感到驚訝的一件事是，有很多神經網路創造者隨意貶低她或其他研究人員的工作，認為他們無法做嬰兒能做的事情。

她說，當你把嬰兒的行為平均化時，你會看到他們理解一些事情的證據，但他們絕對不是完美的學習者。

她說，人類的嬰兒很棒，但他們犯了很多錯誤，她看到的很多比較實驗都是人們隨便做的，他們在人口層面上把嬰兒的行為理想化。「我認為，你現在所知道的和你下一步想了解的事情之間的聯絡可能會越來越受到重視。」

在人工智慧中，「黑匣子」這個詞已經存在多年了。它被用來批評神經網路缺乏可解釋性，但 Kidd  認為， 2020 年可能意味著神經網路不可解釋觀念的終結。

她說：「關於黑匣子的爭論是假的，大腦也是黑匣子，我們在理解大腦如何工作方面取得了很大進展。」。

為了解開這種對神經網路的認識，Kidd 將目光投向了像 MIT-IBM Watson AI Lab 執行主任 Aude Oliva 這樣的人。

「我們討論這個問題時，我說了一些關於這個系統是一個黑匣子的事情，她卻說他們肯定不是黑匣子。當然，你可以把它們拆解開，看看它們是如何工作的，並對它們進行實驗，就像我們理解認知一樣。」Kidd 說。

上個月，Kidd 在全球最大的人工智慧研究會議——NeurIPS 上發表了開幕主題演講。她的演講集中在人類大腦如何堅持信念、處理注意力系統和進行貝葉斯統計。

她說，傳遞資訊的黃金地帶介於一個人的興趣和理解令他們驚訝的事情之間。人們往往不太喜歡過於驚人的內容。

她接著說，因為沒有中立的技術平臺，她把注意力轉向研究內容推薦系統的製造商如何操縱人們的信仰。系統建立在追求最大參與度的基礎上，可以對人們形成的信念和觀點產生重大影響。

Kidd 在演講結束時談到了機器學習中某些男性的誤解，即他們認為與女性同事單獨相處會導致性騷擾指控，結束男性的職業生涯。她說，這種誤解會損害女性在這一領域的事業。

因在羅切斯特大學公開發表性不端行為，Kidd 與其他女性一起在 2017 年被評為「時代人物」，這些女性幫助促成了我們現在的「平等對待婦女的 MeToo 運動」。但在當時，Kidd 本以為這會結束她的職業生涯。

2020 年，她希望看到人們對技術工具和技術決策的現實影響的認識有所提高，並且工具製造商需要對人們使用工具的行為負責。

她說：「我聽到很多人試圖為自己辯護，說『我不是真相的操控者』。我認為必須提高人們對這種不誠實態度的認識。」

「作為一個社會人，特別是正在開發這些工具的人們，確實需要意識到隨之而來的責任。」

Jeff Dean

Dean 領導 Google AI 已經將近兩年了，他在谷歌工作了 20 年，是該公司許多早期搜尋和分散式網路演算法的設計師，也是 Google Brain 的早期成員。

Dean 上個月在 NeurIPS 發表了關於 ASIC 半導體設計的機器學習和人工智慧社群解決氣候變化的方法的演講，他說這是我們這個時代最重要的問題。在談到氣候變化時，Dean 認為人工智慧可以努力成為一個零碳產業，也可以用來幫助改變人類的行為。

他預計 2020 年在多模態學習和多工學習領域將取得進展。

毫無疑問，2019 年最大的機器學習趨勢之一是基於 Transformer 的自然語言模型的持續增長和擴散，Chintala 模型此前被稱為近年來人工智慧領域最大的突破之一。2018 年，谷歌開源 BERT，這是一個基於 Transformer 的模型。而據 GLUE 排行榜，今年釋出的一些表現最好的機型，比如谷歌的 XLNet、微軟的 MT-DNN 和 Facebook 的 RoBERTa，它們都是基於 Transformer 的。

Dean 指出了已經取得的進展，他說：「我認為在實際產生機器學習模型方面已經取得了相當豐碩的成果，這些模型讓我們現在能做比過去更復雜的 NLP 任務。」但他補充說，這還有增長的空間。「我們仍然希望能夠做更多的上下文型別的模型。和現在一樣，BERT 和其他模型可以很好地處理數百個單詞，但不能將 10000 個單詞作為上下文。所以這是一個有趣的方向。」

Dean 說，他希望看到不要太看重最新技術的微小進步，這有利於建立更健壯的模型。

Google AI 還將致力於推進新的研究，比如 DailyRobot，這是一個於 2019 年 11 月推出的內部專案，旨在製造能夠在家庭和工作場所完成共同任務的機器人。

Anima Anandkumar

英偉達機器學習研究總監 Anima Anandkumar 同時在 AWS 擔任首席科學家。Nvidia 的人工智慧研究涉及許多領域，從醫療保健的聯合學習到自動駕駛、超級計算機和圖形。

英偉達和 Anandkumar 在 2019 年的一個重點研究領域是強化學習的模擬框架，該框架正變得越來越流行和成熟。

2019 年，我們看到了英偉達的 Drive autonomus 駕駛平臺和 Isaac 機器人模擬器的崛起，以及從生成對抗網路生成合成資料的模型。

去年，類似人工智慧的 StyleGAN（一種可以讓人們質疑自己是在看電腦生成的人臉還是真人的網路）和 GauGAN（可以用畫筆生成風景）也開始興起。StyleGAN2 於上個月首次亮相。

GANs 是可以模糊現實界限的技術，Anandkumar 相信它們可以幫助解決人工智慧社群正在努力解決的主要挑戰，比如抓握機器人手和自動駕駛。

Anandkumar 還希望在未來一年內看到迭代演算法、自監督和模型自訓練方法的進展，這些模型可以透過使用未標記的資料進行自訓練來改進。

「我認為各種不同的迭代演算法都是未來的發展方向，因為如果你只做一個前饋網路，那麼穩健性就是一個問題。如果你嘗試進行多次迭代，並且根據你想要的資料型別或精度要求來調整迭代，那麼實現這一目標的可能性就大得多。」。

Anandkumar 認為，2020 年人工智慧社群面臨諸多挑戰，比如需要與領域專家一起建立專門針對特定行業的模型。政策制定者、個人和人工智慧社群還需要解決代表性問題，以及確保用於訓練模型的資料集能夠滿足不同人群需求的挑戰。

Anandkumar 說，面部識別最受關注，因為人們很容易意識到這是侵犯個人隱私的，但 2020 年人工智慧社群還將面臨一些其他道德問題。

在 Anandkumar 看來，2019 年最大的驚喜之一是文字生成模型的迅速發展。

「2019 年是語言模型年，現在，我們第一次實現了在段落長度上產生更連貫的文字的目標，這在以前是不可能的。」。

2019 年 8 月，英偉達推出 Megatron 自然語言模型。Megatron 擁有 80 億個引數，被稱為世界上最大的基於 Transformer 的人工智慧模型。Anandkumar 說，人們開始把模型描繪成有個性的人，她對此感到驚訝，她期待看到更多特定行業的文字模型。

「我們還沒有做到對話生成，對話生成是互動的，能夠跟蹤上下文並進行自然的對話。因此，我認為 2020 年將朝著這個方向做出更為認真的嘗試。」。

開發文字生成控制框架將比開發可用於識別人或物件的影像框架更具挑戰性。文字生成模型還可能面臨其它挑戰，例如，為神經模型定義事實。

最後，Anandkumar 說，看到 Kidd 在 NeurIPS 的演講獲得起立鼓掌，以及在機器學習社群中日益成熟和包容的跡象，她感到很振奮。

「我覺得現在是分水嶺時刻，一開始甚至做出小的改變都很難。我希望我們能夠保持這種勢頭，進行更大的結構改革。」

Dario Gil

作為 IBM Research 總監，Gil 領導了一組研究人員，積極為白宮和世界各地的企業提供諮詢。他認為，2019 年的重大飛躍包括圍繞生成模型的進展，以及生成可信語言的質量不斷提高。

他預測，訓練將在精簡結構的情況下，朝著更有效的方向繼續前進。開發更有效的人工智慧模型是 NeurIPS 的一個重點，IBM Research 在 NeurIPS 引入了 8 位精確模型的深度學習技術。

他說：「我們用現有的硬體和 GPU 架構訓練深度神經網路的方式仍然是如此低效。因此，對這一點進行真正根本性的反思非常重要。我們必須提高人工智慧的計算效率，這樣才能做得更多。」。

Gil 引用了一項研究，研究表明，每三個半月，對 ML 訓練的需求就會翻一番，比摩爾定律預測的增長要快得多。

Gil 還對人工智慧如何幫助加速科學發現非常感興趣，但 IBM 的研究將主要集中在機器學習的神經符號方法上。

在 2020 年，Gil 希望人工智慧從業者和研究人員能開發出一種超越精確性的指標，以考慮在生產中部署模型的價值。將領域轉向構建可信系統，而不是優先考慮準確性，這將是繼續採用人工智慧的中心支柱。

「有些社群成員可能會接著說，不用擔心，只要準確就行了。沒關係，人們會習慣這樣一個事實，那就是人類有時不會對我們所做的某些決定做出解釋。我認為，我們集中社群的力量在這方面做得更好是非常重要的。人工智慧系統不能成為關鍵任務應用程式的黑匣子。」。

Gil 相信，要想讓更多具備資料科學和軟體工程技能的人使用人工智慧，就必須擺脫這樣一種觀念，即只有少數機器學習奇才能夠做到這一點。

他說：「如果我們把人工智慧當成一個神話般的領域，只有從事這方面工作的精選博士才能進入，那麼這並不能真正促進人工智慧的應用。」。

Gil 對神經符號人工智慧特別感興趣。在未來的一年裡，IBM 將尋求神經符號方法來增強機率程式設計等功能，人工智慧在其中學習如何操作程式，以及能夠共享決策背後推理的模型。

他說：「透過採用當代新方法的混合方法，透過這些神經符號方法將學習和推理結合起來，將符號維度嵌入到學習程式中，我們已經證明，你可以用所需的一小部分資料來學習。你學習了一個程式，最終得到了一些可解釋的東西，因為你有一些可解釋的東西，你得到了更可信的東西。」

他說，公平性、資料完整性以及資料集的選擇等問題將繼續受到廣泛關注，「任何與生物測定有關的問題」也將繼續受到關注。面部識別得到了很多關注，但這只是個開始。語音資料將越來越敏感，其他形式的生物測定也將如此。

除了神經符號和常識推理外，Gil 表示，在 2020 年，IBM Research 還將探索用於人工智慧的量子計算，以及用於人工智慧的模擬硬體，超越降低精度的體系結構。

最後的想法

機器學習正在繼續塑造商業和社會，VentureBeat 在採訪研究人員和專家時看到了一些即將出現的趨勢：

• 2019 年的重大進展是自然語言模型的進步，Transformer 推動了這一領域的巨大飛躍。2020 年將會有更多基於 BERT 和 Transformer 的模型。
  

• 人工智慧行業應該尋找方法來評估模型的輸出，而不僅限於準確性。
  

• 半監督學習、機器學習的神經符號方法以及多工和多模態學習等子領域可能在未來一年取得進展。
  

• 與生物統計資料（如語音記錄）相關的道德挑戰可能會繼續引起爭議。
  

• 對於 PyTorch 和 TensorFlow 等機器學習框架來說，量化等編譯器和方法作為最佳化模型效能的方法可能越來越受歡迎。
  

via：