NeurIPS 2018 開幕重磅：四篇最佳論文正式揭曉，論文接受全方位資料公開

大資料文摘出品

作者：錢天培、Aileen

今年的NeurIPS(原名NIPS)會議開幕了！

開幕式上公佈了4篇最佳論文，其中一篇最佳論文一作來自華為諾亞方舟實驗室，另外幾篇最佳論文被來自多倫多、谷歌AI的研究者包攬。

本次NeurIPS大會一共有6個Poster部分，3個並行的主方向，歷時三整天。在開始銷售門票後的短短11分鐘28秒後，所有的參會資格就已被搶購一空，一票難求，盛況空前。

昨天大會的第一日，阿里巴巴霸氣演示全中文demo，以及谷歌聯合NeurIPS釋出“找新娘圖片識別競賽”也算是為接下來的精彩拋磚引玉。

附上大會直播連結：

https://www.facebook.com/nipsfoundation/

與去年一樣，今年也評出了4篇最佳論文獎，當然，還有一篇時間檢驗獎。

四篇最佳論文（Best Papers）

四人均來自多倫多大學向量研究所

https://arxiv.org/abs/1806.07366

摘要：我們介紹了一系列新的深度神經網路模型。我們使用神經網路引數化隱藏狀態的導數，而不是指定隱藏層的離散序列。我們使用黑盒微分方程求解器（black-box differential equation solver）計算網路的輸出。這些連續深度模型具有恆定的記憶體成本，根據輸入採取相應的評估策略，並且可以直接通過降低數值精度來提升速度。我們在連續深度殘差網路（continuous-depth residual networks）和連續時間潛變數模型（continuous-time latent variable models）中證明了這些性質。我們還構建了連續歸一化流（continuous normalizing flows），這是一種可以通過最大似然進行訓練的生成模型，無需對資料維度進行分割槽或排序。對於模型訓練，我們展示瞭如何通過任何ODE求解器進行規模化地反向傳播，而無需知道其內部操作。這允許我們在較大模型中對ODE進行端到端訓練。

六位作者，均是加拿大系

https://nips.cc/Conferences/2018/Schedule?showEvent=11343

摘要：我們證明了Θ（kd^2 /ε^2）個樣本對於學習d維下的k個高斯混合模型（mixture of k Gaussians）是必要充分的，這裡我們允許總變差距離（total variation distance）誤差在ε以內。這一結果對該問題的已知上限和下限作出了改進。對於軸對齊高斯分佈的混合（mixtures of axis-aligned Gaussians），我們證明O（kd /ε^2）個樣本就足夠了，這與已知下限相符。對於上限，我們提出了一種基於樣本壓縮概念的分散式學習的新技術。對於允許這種樣本壓縮方案的任何分佈，我們都可以用很少的樣本來學習。此外，如果一類分佈具有這樣的壓縮方案，那麼這些分佈的乘積或混合也同樣可以運用這種方案。我們主要結果是表明了d維下的高斯類具有有效的樣本壓縮。

這篇文章的5位作者中：Kevin Scaman來自華為諾亞方舟實驗室，Francis Bach和Laurent Massoulié來自巴黎文理研究大學、Sébastien Bubeck以及Yin Tat Lee來自微軟研究院。

https://arxiv.org/abs/1806.00291

摘要：在這項工作中，我們使用一個計算單元網路，對非光滑凸函式進行了分散式優化。我們在假設下研究這個問題：（1）全域性目標函式的Lipschitz連續性，以及（2）區域性個體函式的Lipschitz連續性。在區域性性假設下，我們提出了第一個最優一階分散演算法，稱為多步原始對偶（multi-step primal-dual，MSPD），及其相應的最優收斂速度。該結果的一個值得注意的方面是，對於非平滑函式，當誤差的主導項為O（1 /√t）時，通訊網路（communication network）結構僅影響O（1 / t）中的二階項，其中t是時間。換句話說，即使在非強凸（non-strongly-convex）目標函式的情況下，由於通訊資源（communication resources）中的限制而導致的誤差也會以較快的速率降低。在全域性性假設下，我們提供了一種簡單而有效的演算法，稱為基於目標函式區域性平滑的分散式隨機平滑（distributed randomized smoothing，DRS），並表明DRS和最優收斂速度只差一個d^(1 / 4)的乘法項，其中d是維度。

三位作者，均來自Google AI

https://papers.nips.cc/paper/8200-non-delusional-q-learning-and-value-iteration

摘要：我們確定了Q-learning和其他形式涉及近似函式（function approximation）的動態規劃中的基本誤差來源。當近似架構限制了可表達的貪婪策略的類別時，妄想偏差（delutional bias）就會出現。由於標準Q-updates對可表達的策略類別進行全域性不協調的行動選擇，因此可能導致不一致甚至衝突的Q-value估計，從而出現諸如估計過高/過低，不穩定甚至不收斂的各種問題。為了解決這一問題，我們引入了一個新的策略一致性（policy consistency）概念，並定義了一個區域性備份（local backup）過程，通過使用資訊集來確保全域性一致性，這些集合記錄了與備份Q-value一致的策略約束。我們證明了，不管是基於模型的還是不基於模型的演算法，都可以使用這一“備份”的方法來消除妄想偏差（delutional bias），從而提出了第一個可在一般條件下保證最佳結果的演算法。此外，這些演算法僅需要的資訊集數量只是多項式級別的。最後，我們也提出了關於價值迭代（value iteration）和Q-learning在實際應用中的幾個小建議，這些建議都可以被用來減少妄想偏差（delutional bias）。

時間檢驗獎（Test-of-time award）

這篇論文是出自2007年，作者是Leon Bottou和Olivier Bousquet，分別來自NEC美國實驗室和Google。

https://leon.bottou.org/publications/pdf/nips-2007.pdf

摘要：該研究開發了一個理論框架，用以研究近似優化對學習演算法的影響。該分析顯示了小規模和大規模學習問題在這方面的明顯不同。小規模學習問題受到常見的近似估計權衡（approximation–estimation tradeoff）的影響，而大規模學習問題則受到其對應的優化問題計算複雜性的嚴重影響。

注：今年大會全部論文

https://papers.nips.cc/book/advances-in-neural-information-processing-systems-31-2018

會議整體情況

總共有4854篇論文提交，相比去年增長了50%，也是今年ICML投稿數的兩倍。這些論文中，26%為重新提交稿件，69%的論文公開了程式碼，42%的論文公開了資料。

另外，3045個論文評審員 （比往年增長45%）、242個領域主席（比往年增長32%）、35個高階主席（比往年增長35%）（高階主席不受雙盲限制）、1萬5千篇論文評論（大約每篇文章3篇評論）、85%的評論表示，對該論文的可複製性有信心。

論文接受情況：1010篇論文被接收（比往年增長49%），其中，30篇論文被分到了oral presentation，168篇為spotlight，812篇論文被分到了poster presentation。

分領域統計的論文投稿數和接收數

整體接收率為21%，與去年持平。其中，此前未在網上（arxiv）發表的論文的接收率為16%，低於整體接收率。在網上發表、但未被評審員看到的論文接收率為20%。最後，在網上發表、並被評審員讀到的論文接收率高達34%。

在被接收論文中，25%是重新提交稿件，55%的論文已在arxiv上發表，其中35%的論文在此前被評審員讀過。另外，44%的論文提供了程式碼或資料。

在公佈完這組資料後，主持人也提醒大家不要過度解讀。

針對今年廣受詬病的visa問題，大會也非常直接的提出了回應，並指出了改正方法：

大會公佈了接下來的主席和聯合主席：

大會主席以及聯合主席