相比於鬧得沸沸揚揚的IJCAI審稿爭議，2019 ICLR的評審結果沒有出現太多爭論。並於 2019年5月6日至9日在美國新奧爾良舉行會議。2019年的投稿數量比去年增長了近60%，共收到1591篇，錄取率為31.7%。
此次會議開始後，在Sasha Rush的開場白中，他提到了一些統計資料如下：
只有8.6％的演講者和15％的參與者是女性
有2/3的LGBTQ +研究人員不專業
8位受邀演講者都是白人
來自Sasha Rush開場白的幻燈片
加州大學伯克利分校的助理教授謝爾蓋·萊文（Sergey Levine）可能是今年在ICLR發表論文最多的人，他有15篇被接受的論文。
Sergey Levine於2009年獲得史丹佛大學電腦科學學士和碩士學位，在獲得博士學位後，他於2014年加入加州大學伯克利分校電子工程和電腦科學系。他的研究包括開發結合感知和控制的深度神經網路策略的端到端訓練演算法，用於逆強化學習的可擴充套件演算法，深度強化學習演算法等。
圖片源自谷歌無監督表示學習相關論文入選率低
無監督表示學習的主要目標是從未標記資料中發現有用的資料表示以用於後續任務。在自然語言處理中，它通常通過語言建模來完成。然後將學習的表示用於諸如情感分析，名稱實體識別和機器翻譯之類的任務。
去年發表的一些最具進展性的論文是關於自然語言處理的無監督表示學習，包括如下內容：
Matthew E. Peters等人的《Deep contextualized word representations》
論文摘要：我們引入了一種新的深層語境化詞語表示，它模擬了（1）單詞使用的複雜特徵（例如，語法和語義），以及（2）這些用法如何在語言上下文中變化（即模型多義詞）。我們的單詞向量是深度雙向語言模型（biLM）的內部狀態的學習函式，它是在大型文字語料庫上預先訓練的。我們表明，這些表示可以很容易地新增到現有模型中，並顯著改善六個具有挑戰性的NLP問題的技術發展水平，包括問答、文字蘊涵和情感分析。我們還提供了一個分析，表明暴露預訓練網路的深層內部是至關重要的，允許下游模型混合不同型別的半監督訊號。
Jeremy Howard等人的《Universal Language Model Fine-tuning for Text Classification》
歸納轉移學習極大地影響了計算機視覺，但NLP中的現有方法仍需要從頭開始進行任務特定的修改和培訓。我們提出了通用語言模型微調（ULMFiT），這是一種有效的傳遞學習方法，可以應用於NLP中的任何任務，並介紹了微調語言模型的關鍵技術。我們的方法明顯優於六個文字分類任務的最新技術，將大多數資料集的誤差降低了18-24％。此外，僅使用100個標記示例，它可以在100倍以上的資料上從頭開始匹配訓練的效能。我們開源我們的預訓練模型和程式碼。
儘管大多數大牌研究實驗室已經在研究“我們怎樣才能讓無監督的代表學習為影象工作？”，但ICLR只選了一篇論文：“無監督表徵學習的元學習更新規則”（Metz等人）。他們的演算法不是更新權重，而是更新學習規則。然後對從學習的學習規則中學習到的表示在少量標記樣本上進行微調，以完成影象分類任務。他們能夠找到學習規則，在MNIST和Fashion MNIST上達到準確率> 70％。外部迴圈需要大約100k個培訓步驟，256個CPU需要200個小時。
元學習的內迴圈和外迴圈（Metz等）在不久的將來，也許我們會看到更多這樣的論文。可以用於無監督學習的一些任務包括：自動編碼，預測影象旋轉（Spyros Gidaris等人的《Unsupervised Representation Learning by Predicting Image Rotations》在ICLR 2018已經命中），預測視訊中的下一幀。
基礎語言學習相關論文捲土重來
麻省理工學院媒體實驗室的基礎語言學習和理解專案於2001年停止，但基礎語言學習的相關論文今年捲土重來，有兩篇論文穿著強化學習的衣服：
《DOM-Q-NET: Grounded RL on Structured Language》 - 一種RL演算法，通過填充欄位和點選連結來學習瀏覽網頁，給出用自然語言表達的目標。
《BabyAI: A Platform to Study the Sample Efficiency of Grounded Language Learning》 - OpenAI Gym相容平臺，帶有手工製作的機器人代理，模擬人類老師指導代理人學習合成語言。
確定有窮自動機（DFA）今年也在深度學習領域找到了自己的位置，有兩篇論文：
《Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks》
論文摘要：我們研究了遞迴神經網路（RNN）在學習識別常規形式語言時所使用的內部表示。具體來說，我們從常規語言訓練RNN的正面和負面示例，並詢問是否存在將該RNN的狀態對映到該語言的最小確定性有限自動機（MDFA）的狀態的簡單解碼函式。我們的實驗表明，這樣的解碼函式確實存在，並且它將RNN的狀態對映到MDFA狀態，而是對映到通過將小的MDFA狀態集合成“''''superstates''獲得的{\ em抽象}的狀態。 。定性分析表明，抽象通常有一個簡單的解釋。總的來說，結果表明RNN和有限自動機使用的內部表示之間存在強烈的結構關係。
《Learning Finite State Representations of Recurrent Policy Networks 》
論文摘要：迴圈神經網路（RNN）是控制策略的有效表示，用於廣泛的強化和模仿學習問題。然而，由於使用連續值記憶向量和觀察特徵，RNN策略特別難以解釋，理解和分析。在本文中，我們介紹了一種新技術，即量化瓶頸插入，以學習這些向量和特徵的有限表示。結果是RNN的量化表示，可以對其進行分析，以提高我們對記憶使用和一般行為的理解。我們在合成環境和六個Atari遊戲中展示了這種方法的結果。在某些情況下，所得到的有限表示非常小，使用少至3個離散儲存器狀態和10個完美Pong策略的觀察結果。
從RNN學習DFA的三個階段（Koul等）
提取的自動機（Koul等人）RNN相關論文數量下降幅度最大
從2018年到2019年，提交主題的相對變化表明RNN的下降幅度最大。這並不奇怪，因為雖然RNN對於順序資料是直觀的，但它們存在巨大的缺點：它們無法並行化，因此無法利用自2012年以來推動研究進步的最大因素：計算能力。RNN從未在CV或RL中流行，對於NLP，它們正在被基於注意力的架構所取代。
圖片來自ICLR 2019的補充統計資料這是否意味著RNN在研究界“死”了？並不是的。今年兩個最佳論文獎之一是《Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks 》。除了本文和上述兩篇關於自動機之外，今年還有9篇關於RNN的論文被接受，其中大部分都深入研究了RNN的數學基礎，而不是發現RNN的新應用。
但是RNN在行業中仍然非常活躍，特別是對於那些處理貿易公司等時間序列資料的公司，不過這些公司通常不會公佈他們的工作。雖然RNN目前對研究人員沒有吸引力，誰知道它在未來會不會捲土重來呢？
GAN仍在繼續發展
儘管GAN與去年相比呈現負相對變化，但實際上相關論文數量從約70增加到約100。
整個海報會議第一次專門討論GAN。內容包含了新的GAN架構、舊GAN架構的改進、GAN分析。從影象生成到文字生成到音訊合成的GAN應用有PATE-GAN、GANSYnth、ProbGAN、InstaGAN、RelGAN、MisGAN、SPIGAN、LayoutGAN和KnockoffGAN等。
強化學習仍然是提交論文中最受歡迎的主題
RL社群正在從無模型方法轉向基於樣本的模型和元學習演算法。大部分被接受的論文，連同RL研討會的整個結構和入門，致力於將有關環境的一些知識整合到學習演算法中。雖然早期深度RL演算法的主要優勢之一是通用性（例如，DQN對所有Atari遊戲使用相同的架構而不瞭解任何特定遊戲），新演算法表明，結合先前知識有助於完成更復雜的任務。例如，在運輸者網路（Jakab等人）中，代理人使用先驗知識進行更具資訊性的結構探索。
在多個任務之間執行快速轉移學習的元學習演算法在樣本效率和效能方面也得到了很大改善。當我們可以使用從其他任務中學習的控制策略而不是從頭開始訓練它們時（這對於複雜的任務是不可能的），這些改進使我們更接近“ImageNet的RL時刻”。
PEARL在六個基準任務的漸近效能和元訓練樣本效率方面都優於以前的meta-RL方法總而言之，在過去的5年中，RL社群開發了各種有效的工具，用於在無模型設定中解決RL問題。現在是時候提出更多樣本效率和可轉移的演算法來將RL應用於現實世界的問題。
ICLR 2019的補充統計資料中的這張圖特別具有指示性。也許有人應該寫一篇關於“用於普遍的，可轉移的無監督元學習的強大概率框架”的論文。
