Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

AIBigbull2050發表於2020-01-13
2020-01-11 15:38:04
Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

作者 | Jeff Dean

編譯 | AI 科技評論

我們知道谷歌有龐大的研究機構規模, 谷歌的研究人員們有的從事演算法理論研究、有的從事演算法應用研究,而在兩個方向中, 谷歌都是重 要的中堅力量,每年都會產出許多前瞻性的、或者帶來重大改進的、或者有很高應用價值的研究成果。

谷歌 AI 為 核心谷歌研究院的目標就正是“研究長期的、有重大意義的問題,其中重點 關注那些能給普通大眾帶來更好生活的問題”。

20 19 年結束以後, 谷歌研究院副總裁、 谷歌技術傳奇人物 Jeff Dean 和往年一樣執筆(鍵盤)寫下了 谷歌研究院20 19年的年終總結。在這一年中, 谷歌在醫療、 機器人等新興領域做出了大量技術應用成果,也給 谷歌的產品線增加了許多新成員、新功能。

Jeff Dean的年終總結中同時涵蓋了許多產品開發和學術研究成果, 我們關注其中的學術研究成果,這篇文章就把這些學術研究成果翻譯介紹如下。

一、量子計算

20 19年, 谷歌的量子計算團隊首次向世界展示了量子計算機的真正實力:在量子計算機上執行的量子計算演算法可以獲得指數級的加速,只需要200秒就可以完成在世界最快的經典計算機上需要一萬年才能完成的任務。

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

如果量子計算機投入使用,它將可以 大大簡化材料科學、量子化學、大規模優化等問題的難度。不過目前距離那一步還有很遠的距離, 我們需要繼續做出努力,推動這個領域前進。

谷歌的下一個研究重點是在量子計算中實現量子糾錯,這樣可以執行耗時更久的運算。除此之外, 谷歌還在研究如何讓量子演算法更容易表達、如何讓硬體更容易控制,而且他們已經發現了可以藉助深度強化學習之類的機器學習方法,來幫助構建更可靠的量子 處理器。

20 19年的這些量子計算研究成果給人帶來很多激勵,也是讓量子計算更成熟、能解決世界中的真實問題的早期探索。

二、通用演算法和理論

在通用演算法和理論方面, 我們繼續開展從演算法基礎到應用的研究,同時,也做了一些關於圖挖掘和市場演算法的工作。 我們在《圖學習演算法概述》這篇 部落格中詳細介紹了這項工作。

https://ai.googleblog. com/20 19/06/innovations-in-graph-representation.html

VLDB 20 19 上, 我們發表了一篇論文,標題是《Cache-aware load balancing  of data center  applications》,它還有一個備選標題——《Increase  the serving capacity  of your data center by 40%  with th is one cool trick》。這篇論文描述了 我們如何利用圖的均衡分割來專門化網路 搜尋後端 服務系統的快取,從而同樣的快閃記憶體儲存能夠支援的查詢 流量提升了 48%,這讓整個 搜尋後端能支援的查詢 流量提升了40%。

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

在 ICLR 20 19 的論文《A new dog learns old tricks: RL finds classic optimization algorithms》中, 我們發現了演算法和機器學習 之間的新的聯絡,這也顯示了強化學習是如何有效地為線上匹配和分配此類經典的線上優化組合問題,找到最優(在最壞的情況下,一致的)演算法。

我們在可伸縮演算法方面的工作涵蓋了大資料集的並行、線上和分散式演算法:

第一,在最近發表的FOCS 20 19 論文《Near-Optimal Massively Parallel Graph Connectivity》中, 我們提供了一個接近最優的大型平行計算演算法來連線這些部分;

第二, 我們還發表了另一組論文《Coresets Meet EDCS: Algorithms for Matching and Vertex Cover  on Massive Graphs》、《D istributed Weighted Matching via Randomized Composable Coresets》、《Improved Parallel Algorithms for Density-Based Network Clustering》,在理論和實踐中改進了匹配的平行演算法的同時,也改進了密度聚類的平行演算法;

第三, 我們還開展了關於黑箱模型中自適應優化子模組函式的工作(《Categorical Feature Compression via Submodular Optimization》),這項工作目前已在特徵選擇和詞彙壓縮等方面得到了一些應用。

我們還在一篇 SODA 20 19 《Submodular Ma ximization  with Nearly Optimal Appro ximation, Adaptivity and Query Comple xity》論文中,提出了一個子模組最大化演算法,它在近似因子、迴圈複雜度和查詢複雜度這三個方面幾乎都是最優的。

另外,在另一篇FOCS 20 19 論文《Residual Based Sampling for Online Low Rank Appro ximation》中, 我們提供了首個針對PCA(主成分分析)和列子集選擇問題的線上乘法近似演算法。

我們在其他的一些工作中,還引入半線上計算模型,假設未知的未來包括一個可 預測的部分和一個對抗的部分。對於經典的組合問題,如二部圖匹配和快取, 我們通過使用半線上演算法,來確保可以在可能最好的線上和離線演算法 之間流暢地插值。

在市場演算法方面, 我們最近的研究工作包括,全新地理解了學習和市場 之間的相互作用,並在實驗設計上實現了創新。

例如, 我們在《Strategizing against No-regret Learners》這篇 NeurIPS 20 19 Oral 論文中,揭示了策略型智慧體在常見的重複兩人 遊戲中與一個學習智慧體比賽時,具有令人驚訝的競爭優勢。

我們最近聚焦於廣告自動化方面的研究工作,增加了 我們對於自動競價和理解廣告商的反饋行為的興趣。在一組 WINE 20 19 論文《Response Prediction for Low-Regret Agents》、《Autobi dding  with Constraints》中, 我們研究了最大化 代表廣告商的對話的最優策略,以及進一步學習拍賣過程中廣告商發生任何變化的反饋行為。同時, 我們還研究了存在干預行為的實驗設計,在此干預下,某一方的行為可能會影響另一方法的結果。

我們在一篇 KDD 20 19 論文《Randomized Experimental Design via Geographic Clustering》和一篇 NeurIPS20 19 論文《Variance Reduction  in Bipartite Experiments through Correlation Clustering》中,展示瞭如何在保持實驗效果的同時,定義單元以及單元群來 限制干預。

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

三、機器學習演算法

20 19年, 我們在機器學習演算法的許多領域都進行了探索,一個工作重點是瞭解神經網路中的訓練動力學的性質。在《 Measuring  the Limits  of Data Parallel Training for Neural Networks》 一文中, 我們提出了一組實驗,表明(通過批量)擴充套件資料並行量可以有效使模型收斂更快。

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

與將資料分佈在多個計算裝置中的資料並行性相比,模型並行性也是擴充套件模型的一種有效方法。GPipe是一個通過類似於流水線CPU 處理器所使用的方法的庫,它可以使模型並行化更加有效:當整個模型的一部分正在 處理某些資料時,其他部分可以平行計算不同的資料。這種流水線的結果可以組合 在一起,從而來模擬更大的有效批次大小。

當機器學習模型能從原始資料輸入 中學習到較高階別的“經過解耦”的表徵,而且這些表徵就是 我們希望模型能分辨的屬性(貓vs卡車vs牛羚,癌 組織vs正常 組織)時,機器模型就能發揮出很好的效果。

推進機器學習演算法的重點,主要是鼓勵學習更好的表示 形式,這些表示 形式可以更好地推廣到新的樣本、問題或領域。20 19年, 我們在許多不同的 背景下研究了這個問題:

1、《Evaluating  the Unsuperv ised Learning  of D isentangled Representations》

在這篇文章中, 我們檢查了哪些屬性會影響從無監督資料 中學習的表示 形式,以便更好地理解什麼才能造就良好的表示和有效的學習。

2、《Predicting  the Generalization Gap  in Deep Neural Networks》

在這篇文章中, 我們表明可以使用邊緣分佈的統計來 預測泛化差距(模型在資料上的效能來自訓練資料的分佈與其他資料分佈 之間的差距),這有助於 我們可以更好地瞭解哪種模型能夠更有效地泛化。

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

3、 《Learning  to Generalize from Sparse and Underspecified Rewards》

在這篇文章中, 我們研究了為強化學習指定獎勵功能的方法,這些方法使學習系統可以更直接地從真實目標 中學習,且不會因較長的、不理想的動作序列而分心。

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

四、自動機器學習(AutoML)

AutoML,可以使學習演算法實現自動化,並且在某些型別的機器學習元決策方面,與最好的人類機器學習專家相比,通常可以取得更好的結果。20 19我們繼續這樣方面的研究。

1、《EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling》

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

在這篇文章中, 我們展示瞭如何將NAS技術應用到CV問題上,從而獲得更好的結果,包括在ImageNet上獲得最佳結果(84.4% top-1的準確 度),且引數相較於此前最先進的模型少了8倍。

2、《EfficientNet-EdgeTPU: Creating Accelerator-Optimized Neural Networks  withAutoML》

這項工作, 我們展示了神經NAS方法如何找到針對特定硬體加速器的高效模型,從而能夠在移動裝置上執行高精度、低計算量的模型。

3、 《Video Architecture Search》

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

這篇文章, 我們描述瞭如何將AutoML工作擴充套件到 視訊模型的領域,如何找到可實現最新結果的體系結構,以及與手工模型的效能相匹配但計算量減少50倍的輕型體系結構。

4、《  An End- to-End AutoML Solution for Tabular Data at KaggleDays》

我們開發了用於 表格資料的AutoML技術,許多公司和 組織關係資料庫中都擁有一些非常有趣的資料,並且經常希望能夠基於這些資料來開發機器學習模型, 我們這項工作解鎖了這個新的領域。 我們將這項技術 作為一個 谷歌雲 AutoML Tables的產品進行了釋出。(劇透一下:AutoML Tables在74個專家資料科學家團隊中獲得了第二名的排名)。

5、《Exploring Weight Agnostic Neural Networks》

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向) Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

在這篇論文中, 我們展示瞭如何不需要任何訓練步驟,便可以更新有趣的神經網路架構,從而來更新評估模型的權重。這個工作可以使體系結構 搜尋的計算效率提高。

6、《Applying AutoML to Transformer Architectures 》

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

這篇論文探索了用於NLP任務的體系結構,這個結構在效能上遠超最初的Transformer模型, 大大降低了計算成本。

7、《SpecAugment: A New Data Augmentation Method for Automatic Speech Recognition》

這裡我們將自動學習資料增強方法擴充套件到語音識別模型當中。與現有的「ML專家」驅動的資料增強方法相比,所學習的增強方法可以用更少的資料實現更高的準確性。

8、《keyword spotting and spoken language identification using AutoML》

我們推出了第一款語音應用程式,使用AutoML進行關鍵字識別和口語識別。在 我們的實驗中, 我們發現了一種比人工設計更好的模型(效率更高,效能更高)。

五、自然語言理解

在過去的幾年中,自然語言理解、翻譯、對話、語音識別和其他一些相關任務的模型都取得了顯著的進步。20 19年, 我們工作的主題之一是通過 結合各種方式或任務來提高技術水平,以訓練出更強大的模型。 下面是一些研究案例:

1、《Exploring Massively Multilingual, Massive Neural Machine Translation》

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向) Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

在這項工作中, 我們訓練了一個模型,能夠在100種語言 之間進行翻譯(注意並不是 100 個單獨的模型),這個模型能夠顯著提高翻譯質量。

2、《Large-Scale Multilingual Speech Recognition  with a Streaming End- to-End Model》

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

在這篇論文中, 我們展示了將語音識別和語言模型 結合在一起,並在多種語言上進行訓練,結果可以顯著提高語音識別精度。

3、《 Translatotron: An End-to-End Speech-to-Speech Translation Model》

在這個工作中, 我們證明了可以訓練一個聯合模型來很好地(通常是分別)完成語音識別、翻譯和文字到語音生成的任務,例如在生成的翻譯音訊中保留說話者的聲音。

4、《Multilingual Universal Sentence Encoder for Semantic Retrieval》

在這篇論文中, 我們展示瞭如何將許多個不同的目標組合 在一起,從而得到一個在語義檢索方面更好的模型(相較於簡單的單詞匹配技術)。例如在Google Talk  to Books中,查詢“What fragrance brings back memories?”,得出的結果是:“And for me,  the smell  of jasmine along  with  the pan bagnat, it brings back my entire carefree childhood.”

5、《Robust Neural Machine Translation 》

在這篇論文中, 我們用對抗程式顯著地提高了語言翻譯的質量和魯棒性。

隨著對seq2seq、Transformer、BERT、Transformer-XL和ALBERT模型等的研究, 我們的語言理解能力不斷得以提升,這些技術都相繼應用在 我們的核心產品或功能中(例如Google Translate、Gmail、 谷歌搜尋等)。

20 19年, 我們將BERT嵌入在 我們的核心搜尋和排名演算法當中,實現了在過去 五年搜尋質量最大的改進(也是有史以來最大的改進之一)。

六、機器感知

在過去的 十年中,用來理解靜止影像的模型有了翻天覆地的進展。下一個重大研究前沿就是要理解動態變化的世界,而且要有更細的粒度、 更多的細節。這不僅包括對影像和 視訊有更細緻的理解,也包括要有實時的、符合情境的感知;這 代表著,理解世界的速度要足夠快,要來得及和世界 互動,同時也要設身處地地理解使用者所在的空間位置。

20 19年中, 谷歌探索了這個領域中的許多方面,包括:

  • Lens  app 中的細粒度視覺理解,它讓視覺 搜尋功能變得更強大

  • 智慧照相功能,比如 Quick Gestures 擺姿勢照相、Face Match 人臉匹配以及Nest Hub Max上的智慧 視訊通話

  • Lens  app 能實時感知空間資訊,就可以用現實增強為使用者提供幫助

  • 更好的 視訊深度 預測模型

  • 通過時序迴圈一致性學習進行的細粒度時序 視訊理解中也有了更好的表徵

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)
  • 從無標註 視訊中學習時序一致的、包括了文字、聲音、 視訊多種模態的表徵

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)
  • 能觀察已經發生的 視訊預測未來的視覺影像

  • 能更好地理解 視訊中的動作序列的模型,在 谷歌相簿中使用以後能更好地追蹤吹 蠟燭、滑雪之類的特別瞬間

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

七、 機器人技術

用機器學習技術來控制 機器人我們非常重視的一個研究方向。 我們相信這是讓 機器人能在複雜的真實世界環境(比如辦公室、家裡)裡有效執行的必不可少的手段。20 19 年中, 我們的相關研究成果包括:

1、《Long-Range Robotic Navigation via Automated Reinforcement Learning》

論文展示了可以把強化學習和長距離規劃 結合在一起,讓 機器人更高效地在複雜環境中導航(下 圖中的例子是 谷歌的辦公樓)

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

2、《PlaNet: A Deep Planning Network for Reinforcement Learning》

論文展示瞭如何僅僅從影像畫素中高效地學習世界模型,以及如何利用這個模型學到的世界執行的知識,以便用更短的學習過程掌握各種任務。

3、《Unifying Physics and Deep Learning  with TossingBot》

論文表明 機器人可以通過在環境中的反覆嘗試學習到“直覺式”的物理知識,可以不需要先通過程式設計的方式為他們輸入環境資訊和物理規律。

Jeff Dean親筆:2019年,Google AI又顛覆了什麼?(學術向)

4、《Soft Actor-Critic: Deep Reinforcement Learning for Robotics》

論文展示了一種可以同時讓預期回報(標準的強化學習策略)和策略的熵(讓智慧體學到更隨機的行動)最大化的強化學習演算法,可以讓智慧體學習得更快,而且對環境中的變化更魯棒。

5、《Learning  to Assemble and  to Generalize from Self-Superv ised D isassembly》

論文中, 機器人可以用自監督的方式先學會如何拆解東西,然後再學會如何組裝,就和小孩拆東西裝東西一樣。

谷歌還開發了低成本 機器人測試平臺 ROBEL,幫助學術研究人員和企業開發人員更便捷地開發真實世界中工作的 機器人硬體。

八、為整個開發和學術研究界的發展提供助力

“開源”並不僅僅 代表著程式碼,更重 要的是社群中做出貢獻的人。對於整個開源大家庭來說,20 19年有許多值得慶祝的時刻。

在這一年中, 我們正式釋出了TensorFlow2.0,這是目前最大最先進的TensorFlow,它也讓機器學習系統、應用的構建前所未有地簡單; 我們在TF Lite中加入了GPU硬體推理的支援; 我們還發布了 Teachable Machine 2.0,這是一個基於網頁的快捷、便於使用的工具,不需要敲程式碼,只需要點點滑鼠就可以訓練機器學習模型。 我們也釋出了 MLIR,這是一個開源的機器學習演算法編譯器, 作為一個基礎設施,它的設計目標是緩解軟體、硬體日趨明顯的碎片化現象,讓AI應用的構建更容易。

這也是高效能機器學習研究工具 JAX 釋出後的第一年。就在NeurIPS 20 19上, 我們更多的開源社群成員們展示了從 NTK 神經正切核到貝葉斯推理到分子動力學等等各種各樣的使用JAX開發的模型, 我們也釋出了雲TPU上執行的JAX的預覽版。

我們也開源了用來構建多模態感知機器學習應用流水線的框架設計工具MediaPipe,和含有各種高效的浮點神經網路推理操作符的庫 XNNPACK。截止20 19年底, 我們已經通過TensorFlow Research Cloud贊助了超過1 500名研究人員免費使用雲TPU。 我們的TensorFlow入門Coursera課程也迎來了超過10萬名 學生我們在11個不同 國家舉辦了TensorFlow推廣 活動,藉機接觸了上千名使用者; 我們還舉辦了首個TensorFlow世界 大會

在TF的幫助下,全世界各種各樣 背景的人也做出了各種各樣的成果,20 19年裡有一位大學本科生發現了兩個新的行星,他也開源了這個模型,讓 更多的人可以用這個方法發現 更多的行星;一位奈及利亞裔的資料科學家訓練了一個GAN來生成 代表了非洲面具風格的影像;烏干達的一位開發者用TF編寫了Farmers Companion  app,幫助當地 農民對付一種傷害莊稼的 毛毛蟲

在白雪覆蓋的愛荷華州,研究人員們和 政府部門聯手用TF編寫了根據車流行為、視覺資料以及其它資料判斷道路安全狀況的程式;在晴朗乾燥的加州,大 學生們也用TF來發現洛杉磯 一帶的路面凹坑和危險碎石。

九、公開資料集

具有明確和可測量目標的 開放資料集,往往對推動機器學習領域的發展非常有幫助。為了幫助研究界找到有趣的資料集, 我們繼續通過使用Google Dataset Search索引了來自多個不同 組織釋出的各種公開的資料集。

我們還認為很重 要的是,要為社群建立新的資料集用以探索和開發新的技術,並確保能夠有責地共享公開的資料集。這一年, 我們先後新發布了涵蓋多個不同領域的數個公開資料集:

Open Images V5:這是常用的Open Images資料集的更新版本,包括面向 350 個類中的280萬個物件的分割掩膜(所以 現在該資料集擁有 圖片級標籤、物件邊框、物件分割掩膜和視覺 關係標註的 900 萬張影像)。

Natural questions:這是首個使用自然發出的查詢,並通過讀取整個篇章找到 答案而非從短段落中提取 答案的資料集。

Data for deepfake detection: 我們為 FaceForensics 基準貢獻了視覺 deepfakes 的大型資料集(如上文所提到的)。

Google Research Football: 這是一個新穎的強化學習環境,在此環境中,智慧體的目標就是掌握世界上最熱門的 運動——足球。強化學習智慧體要實現其目標,實現足球射門的目標很重要!

Google-Landmarks-v2:該資料集擁有超過  200萬個不同路標的超過 500萬張 圖片(是釋出的首個版本的兩倍)。

YouTube-8M Segments:這是一個分類和實時間 定位的大型資料集,擁有  YouTube-8M 視訊的5秒分割級的人工驗證標籤。

Atomic V isual Actions (AVA) Spoken Activity:這是一個用於對話感知的音訊+視覺的多模態資料集。此外, 我們還面向 AVA 動作識別和 AVA: Spoken Activity 資料集舉辦了一些學術挑戰賽。

PAWS and PAWS-X:為了推動複述識別的進步,這兩個資料集都包括了具有高詞彙重疊的格式 正確的句對,複述約一半的句對,而另一半則不復述。

Natural language dialog datasets:CCPE 和 Taskmaster-1都使用讓兩個人一組進行口語對話的 Wizard- of-Oz平臺,來最小化數字助理的對話水平和人類的差距。

The Visual Task Adaptation Benchmark:VTAB這一基準遵循和ImageNet和 GLUE相同的準則,但是它基於的一個原則是:在域內資料的 限制下,未見過任務上更好的效能優先於更好的表徵。

Schema-Guided Dialogue Dataset:這是最大的面向任務的對話公開語料庫,擁有橫跨1 7個領域的18000多組對話。

十、與研究界的 互動交流

20 19年, 我們也活躍於更廣闊的學術界和研究界。這一年, 谷歌研究人員發表了數百篇論文,參加了多場學術 會議,並獲得了許多獎項和其他榮譽:

  • 在CVPR 上, 谷歌研究者展示了40餘篇論文、演講、海報並舉辦了研討會以及其他 活動

  • 在 ICML上, 谷歌研究者展示了100餘篇論文、演講、海報並舉辦了研討會以及其他 活動

  • 在ICLR 上, 谷歌研究者展示了60餘篇論文、演講、海報並舉辦了研討會以及其他 活動

  • 在ACL 上, 谷歌研究者展示了40餘篇論文,舉辦了研討會以及教學講座。

  • 在Interspeech 上,上百位 谷歌研究者在現場一起展示了 30餘篇論文。

  • 在ICCV 上,200多位 谷歌研究者在現場一起展示了40餘篇論文,更有數位 谷歌研究人員拿下 ICCV 三個獎項。

  • 在NeurIPS上, 500多位 谷歌研究人員合作發表了超過 120 篇論文,並在現場參加了各類研討會和其他 活動

我們還召集了來自全球各地的數百名 谷歌研究人員和教職員工,參加了在 谷歌辦公室舉辦的15個獨立的研究研討會。這些研討會的主題涵蓋了從改善全球洪災預警,到如何使用機器學習建立能更好地為殘疾人 服務的系統,到加速開發用於有噪聲的中等規模量子(NISQ) 處理器的演算法、應用程式和工具。

為了支援 谷歌以外的學術界和研究界, 我們通過“年度 博士獎學金 計劃”在全球範圍內支援了50多名 博士生,與此同時, 我們還成立了158個 專案基金 作為“2018年 谷歌職工研究獎”的一部分,並舉辦了第三屆“ Google AI Residency Program”,還為人工智慧初創企業提供了指導幫助。

十一2020 年及未來的展望

過去的 十年見證了機器學習和電腦科學領域的長足發展, 我們現在已經讓計算機有了比以前更好的看、聽和理解語言的能力( 更多詳細可參考《 The Decade  of Deep Learning》 一文

https://leogao.dev/20 19/12/31/ The-Decade- of-Deep-Learning/

現在我們擁有了唾手可得的先進的計算裝置,從而可以利用這些能力更好地幫助 我們完成日常生活中的許多工。 我們通過開發出專門的硬體,已經圍繞這些機器學習方法從根本上重新設計了現有的計算平臺,從而使 我們能夠解決更大的問題。

這改變了 我們對於既存在於資料中心、同時也搭載於低功耗移動環境中的計算裝置的看法(前者如以推理為中心的TPUv1和以訓練和推理為中心的TPUv2和TPUv3,後者如邊緣 TPU)。

深度學習 革命將繼續重塑 我們對計算和計算機的看法。

與此同時, 現在也還有許多 我們尚且無法 回答的問題以及尚未解決的挑戰。以下是 我們在 20 20年及以後要解決的一些問題以及感到興奮的一些研究方向:

第一,如何建立能夠 處理數百萬任務並且能夠主動學習順利完成新任務的機器學習系統?

目前, 我們基本上都需要為每個新任務訓練單獨的機器模型,從頭開始或者頂多基於為一個或幾個高度相關的任務訓練的模型開始。因此, 我們訓練的模型雖然確實擅長某個任務或者某幾個任務,但並不擅長其他任務。

然而, 我們真正 想要訓練的模型,是那些善於利用它們的專業知識來完成很多工的模型,這樣這些模型就能夠學會用相對較少的訓練資料和計算,來完成一個新的任務。

這是一個真正的巨大挑戰,需要具備橫跨包括固態電路設計、計算機體系結構、以ML為中心的編譯器、分散式系統、機器學習演算法在內的多個領域的專業知識和進展以及其他多個領域的領域專家,來開發出具備能夠獨立解決整個應用領域中的新任務的泛化能力的系統。

第二,如何推動如避免偏見、增加可解釋性和可理解性、改善 隱私和確保安全等當前非常重 要的 AI 研究領域的進步?隨著 我們人類在 社會上越來越多地使用機器學習,這些領域的進步將是至關重 要的

第三,如何應用計算和機器學習來促進重 要的新科學領域的進展?AI 領域通過與例如氣候科學、醫療健康、生物資訊學和許多其他領域的專家進行精誠合作,可以獲 得一些重要進展。

第四,如何才能確保機器學習和電腦科學研究界所追求的理念和方向,是由多種多樣的研究人員共同提出和探索的?

電腦科學和機器學習研究界正在從事的工作,對數十億人都有著廣泛的影響, 我們希望從事 AI 領域的研究人員能夠 代表世界上所有人的經歷、觀點、 關注點和創造熱情。

我們如何才能最好地支援來自不同 背景的新研究人員 進入該領域呢?

總而言之,20 19年對於 谷歌和整個研究界而言,是研究工作取得巨大進展的令人興奮的一年。 我們很高興將在  2020 年以及以後繼續迎接這些研究挑戰,也期待能夠與大家分享 我們後續的研究進展。

AAAI 2020 論文集:

AAAI  2020 論文解讀會 @ 望京(附PPT 下載

AAAI 2020 論文解讀系列:

01. [中科院自動化所] 通過識別和翻譯互動打造更優的語音翻譯模型

02. [中科院自動化所] 全新視角,探究「目標檢測」與「例項分割」的互惠 關係

03. [北理工] 新角度看雙線性池化,冗餘、突發性問題本質源於哪裡?

04. [復旦大學] 利用場景圖針對影像序列進行故事生成

05. [ 騰訊 AI Lab]  2100場王者榮耀,1v1勝率 99.8%, 騰訊絕悟 AI 技術解讀

06. [復旦大學] 多工學習,如何設計一個更好的引數共享機制?

07. [清華大學] 話到嘴邊卻忘了?這個模型能幫你 | 多通道反向詞典模型

17. [上交大] 基於影像查詢的 視訊檢索,程式碼已開源!



https://www.toutiao.com/i6780586350866334216/




來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2673051/,如需轉載,請註明出處,否則將追究法律責任。

相關文章