Google在ICLR 2017上展示了哪些機器學習領域的研究成果？

上個月，第五屆國際學習表徵會議 (ICLR 2017) 在法國土倫召開，這是一個關注機器學習領域如何從資料中習得具有意義及有用表徵的會議。ICLR 包含學習會議和專題講座，邀請了嘉賓通過口頭演講和海報展示的形式分享有關深度學習、度量學習、核學習、組合模型、非線性結構化預測，以及非凸優化問題方面的最新研究成果。

站在神經網路及深度學習領域浪潮之巔，Google 關注理論與應用，並致力於開發推動理解與普及的學習方法。作為 ICLR 2017 的白金級贊助商，Google 有超過 50 名研究者出席本次會議（大部分是 Google Brain 團隊和 Google Research Europe 的成員）。除了參加組委會和在講座上演講之外，Google 研究者還通過展示論文及海報的方式為推動學術研究社群的建設做出了貢獻，也從這個社群中收益良多。

下面列舉了 Google 在 ICLR 2017 上展示的研究成果的詳情（Google 員工以藍色突出顯示）。

區域主席：

George Dahl、Slav Petrov、 Vikas Sindhwani

程式委員會主席：

Hugo Larochelle 和 Tara Sainath

投稿論文演講

• 《理解深度學習需要重新思考泛化》(Understanding Deep Learning Requires Rethinking Generalization)（最佳論文獎）

  Chiyuan Zhang*、Samy Bengio、Moritz Hardt、Benjamin Recht* 和 Oriol Vinyals

• 《從私有訓練資料實現深度學習的半監督知識轉移》(Semi-Supervised Knowledge Transfer for Deep Learning from Private Training Data)（最佳論文獎）

  Nicolas Papernot*、Martín Abadi、Úlfar Erlingsson、Ian Goodfellow 和 Kunal Talwar

• 《Q-Prop：使用離策略 Critic 的有效策略梯度》(Q-Prop:Sample-Efficient Policy Gradient with An Off-Policy Critic)

  Shixiang (Shane) Gu*、Timothy Lillicrap、Zoubin Ghahramani、Richard E.Turner 和 Sergey Levine

• 《通過強化學習實現神經架構搜尋》(Neural Architecture Search with Reinforcement Learning)

  Barret Zoph 和 Quoc Le

海報展示

• 《大規模對抗性機器學習》(Adversarial Machine Learning at Scale)

  Alexey Kurakin、Ian J. Goodfellow† 和 Samy Bengio

• 《遞迴神經網路的容量和可訓練性》(Capacity and Trainability in Recurrent Neural Networks)

  Jasmine Collins、Jascha Sohl-Dickstein 和 David Sussillo

• 《通過探索不完美的獎勵來改善策略梯度演算法》(Improving Policy Gradient by Exploring Under-Appreciated Rewards)

  Ofir Nachum、Mohammad Norouzi 和 Dale Schuurmans

• 《超大規模神經網路：稀疏門控專家混合層》(Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layer)

  Noam Shazeer、Azalia Mirhoseini、Krzysztof Maziarz、Andy Davis、Quoc Le、Geoffrey Hinton 和 Jeff Dean

• 《展開的生成式對抗網路》(Unrolled Generative Adversarial Networks)

  Luke Metz、Ben Poole*、David Pfau、Jascha Sohl-Dickstein

• 《基於 Gumbel-Softmax 的分類重引數化》(Categorical Reparameterization with Gumbel-Softmax)

  Eric Jang、Shixiang (Shane) Gu* 和 Ben Poole*

• 《分解運動與內容，實現自然視訊序列預測》(Decomposing Motion and Content for Natural Video Sequence Prediction)

  Ruben Villegas、Jimei Yang、Seunghoon Hong、Xunyu Lin 和 Honglak Lee

• 《Real NVP 密度估計》(Density Estimation Using Real NVP)

  Laurent Dinh*、Jascha Sohl-Dickstein 和 Samy Bengio

• 《潛在序列分解》(Latent Sequence Decompositions)

  William Chan*、Yu Zhang*、Quoc Le 和 Navdeep Jaitly*

• 《利用神經程式設計器學習自然語言介面》(Learning a Natural Language Interface with Neural Programmer)

  Arvind Neelakantan*、Quoc V. Le、Martín Abadi、Andrew McCallum* 和 Dario Amodei*

• 《深度資訊傳播》(Deep Information Propagation)

  Samuel Schoenholz、Justin Gilmer、Surya Ganguli 和 Jascha Sohl-Dickstein

• 《深度學習中的身份問題》(Identity Matters in Deep Learning)

  Moritz Hardt、Tengyu Ma

• 《豐富的藝術風格表徵》(A Learned Representation For Artistic Style)

  Vincent Dumoulin*、Jonathon Shlens 和 Manjunath Kudlur

• 《半監督文字分類的對抗性訓練方法》(Adversarial Training Methods for Semi-Supervised Text Classification)

  Takeru Miyato、Andrew M. Dai 和 Ian Goodfellow†

• 《超網路》(HyperNetworks)

  David Ha、Andrew Dai 和 Quoc V. Le

• 《學習記憶罕見事件》(Learning to Remember Rare Events)

  Lukasz Kaiser、Ofir Nachum、Aurko Roy* 和 Samy Bengio

專題講座摘要

• 《粒子價值函式》(Particle Value Functions)

  Chris J. Maddison、Dieterich Lawson、George Tucker、Nicolas Heess、Arnaud Doucet、Andriy Mnih 和 Yee Whye Teh

• 《通過強化學習實現神經組合優化》(Neural Combinatorial Optimization with Reinforcement Learning)

  Irwan Bello、Hieu Pham、Quoc V. Le、Mohammad Norouzi 和 Samy Bengio

• 《短期與深度：草圖設計和神經網路》(Short and Deep:Sketching and Neural Networks)

  Amit Daniely、Nevena Lazic、Yoram Singer 和 Kunal Talwar

• 《解釋直接反饋比對的學習動態》(Explaining the Learning Dynamics of Direct Feedback Alignment)

  Justin Gilmer、Colin Raffel、Samuel S. Schoenholz、Maithra Raghu 和 Jascha Sohl-Dickstein

• 《訓練預期次取樣機制》(Training a Subsampling Mechanism in Expectation)

  Colin Raffel 和 Dieterich Lawson

• 《通過強化學習迴圈調整神經網路》(Tuning Recurrent Neural Networks with Reinforcement Learning)

  Natasha Jaques*、Shixiang (Shane) Gu*、Richard E. Turner 和 Douglas Eck

• 《REBAR：離散隱變數模型低方差、無偏梯度估計》(REBAR:Low-Variance, Unbiased Gradient Estimates for Discrete Latent Variable Models)

  George Tucker、Andriy Mnih、Chris J. Maddison 和 Jascha Sohl-Dickstein

• 《物質世界中的對抗樣本》(Adversarial Examples in the Physical World)

  Alexey Kurakin、Ian Goodfellow† 和 Samy Bengio

• 《通過對確信輸出分佈進行罰分來規範神經網路》Regularizing Neural Networks by Penalizing Confident Output Distributions)

  Gabriel Pereyra、George Tucker、Jan Chorowski、Lukasz Kaiser 和 Geoffrey Hinton

• 《模仿學習的無監督感知獎勵》(Unsupervised Perceptual Rewards for Imitation Learning)

  Pierre Sermanet、Kelvin Xu 和 Sergey Levine

• 《通過強化學習改變測試時的模型行為》(Changing Model Behavior at Test-time Using Reinforcement Learning)

  Augustus Odena、Dieterich Lawson 和 Christopher Olah

* 在 Google 任職時完成

† 在 OpenAI 任職時完成

瞭解論文或研究成果細節，請點選文末“閱讀原文”。

點選「閱讀原文」，瞭解論文或研究成果細節