Google Brain學員計劃第一期有哪些前沿研究？

文 / 副研究員 Luke Metz 和 2016 Google Brain 學員計劃畢業生、軟體工程師 Yun Liu

“我以前擁有統計學、物理學和化學的專業背景，Google Brain 學員計劃是我第一次有機會接觸深度學習和嚴肅程式設計。令我開心的是：在這裡，我可以從五花八門的主題中自主選擇自己想要研究的主題：計算機視覺和語言深度學習、強化學習和理論。我最初打算攻讀統計學博士學位，但我在這裡的體驗激勵我報名參加今年秋季開始的史丹佛 CS 課程！”

- 2016 Google Brain 學員計劃畢業生

這個月，我們第一期 Google Brain 學員計劃圓滿結束了，這一年，我們取得了巨大的成功。這個為期一年的計劃旨在為具備不同教育背景和經驗的人提供深入研究機器學習和深度學習的機會。過去一年中，學員熟悉了文學，按照 Google 標準設計和實現了各種實驗，參與了從理論到機器人再到音樂創作等各種主題的前沿研究。

迄今為止，首期學員課程已經在 ICLR (15)、ICML (11)、CVPR (3)、EMNLP (2)、RSS、GECCO、ISMIR、ISMB 和 Cosyne 等領先的機器學習出版期刊上發表了 30 多篇論文。另有 18 篇論文已投稿到 NIPS、ICCV、BMVC 和 Nature Methods，目前正在審查中。以上論文中有兩篇釋出在 Distill 上，探索了反摺積如何生成西洋跳棋棋盤：

http://distill.pub/2016/deconv-checkerboard

並展示了視覺化手寫生成模型的各種方法：

http://distill.pub/2016/handwriting

▲ 學員們發表的一篇 Distill 文章探討了神經網路如何生成手寫模型

▲ 此模型利用強化學習，通過優化計算任務在各個硬體裝置上的分配對分散式深度學習網路進行大規模訓練。有關更多詳情，請參閱“利用強化學習優化裝置配置”(Device Placement Optimization with Reinforcement Learning)（由 Azalia Mirhoseini 和 Hieu Pham 兩位學員與 Q. Le、B. Steiner、R. Larsen、Y. Zhou、N. Kumar、M. Norouzi、S. Bengio、J. Dean 合著，已投稿至 ICML 2017）。

▲ 此方案旨在自動完成優化方法的探索過程，其重點是優化深度學習架構。“利用強化學習實現神經優化器搜尋”(Neural Optimizer Search with Reinforcement Learning) 的最終版（由 Irwan Bello 和 Barret Zoph 兩位學員與 V. Vasudevan、Q. Le 合著，已投稿至 ICML 2017）即將釋出

學員們還為開放原始碼社群做出了重大貢獻，包括通用序列對序列模型（用作翻譯範例）、音樂合成、模仿人類素描、對序列進行二次抽樣，以用於模型訓練、一種高效的模型“注意力”機制以及時間序列分析（尤其是在神經科學中的應用）。

本計劃年度的結束標誌著我們的學員即將在其職業生涯中再上一個臺階。許多人會作為全職員工加入 Google Brain 團隊，繼續其研究工作。其他人則選擇在史丹佛大學、加州大學伯克利分校、康奈爾大學、牛津大學和紐約大學、多倫多大學和卡內基梅隆大學等學校攻讀炙手可熱的機器學習博士課程。看到他們的努力工作和學習經歷促使他們跨上新的臺階，我們對此感到無比的自豪！

在我們的首期學員“畢業”之際，這周，我們也迎來了下一期 35 名才華橫溢的學員，他們的經驗和教育背景大相徑庭，卻都做出了同樣的選擇：加入我們的課程。我們迫不及待地期待看到他們如何在我們大獲成功的首期課程基礎上繼續推動團隊沿著新的、令人興奮的方向前進。我們期待迎來又一個激動人心的研究和創新之年！

2018 年學員計劃將於 2017 年 9 月開放申請。如需瞭解該計劃的更多資訊，請訪問 g.co/brainresidency。

檢視全文及論文連結，請點選文末“閱讀原文”。

推薦閱讀：

Google推出MultiModel，可同時學習8種不同任務

釋出Tensor2Tensor，加快深度學習研究

TensorFlow Research Cloud能為你帶來什麼好處？

如何教機器繪畫？

點選「閱讀原文」，檢視全文及論文連結