NeurIPS 2018 開幕重磅：四篇最佳論文正式揭曉，論文接受全方位資料公開

大資料文摘出品

作者：錢天培、Aileen

今年的NeurIPS(原名NIPS)會議開幕了！

開幕式上公佈了4篇最佳論文，其中一篇最佳論文一作來自華為諾亞方舟實驗室，另外幾篇最佳論文被來自多倫多、谷歌AI的研究者包攬。

本次NeurIPS大會一共有6個Poster部分，3個並行的主方向，歷時三整天。在開始銷售門票後的短短11分鐘28秒後，所有的參會資格就已被搶購一空，一票難求，盛況空前。

昨天大會的第一日，阿里巴巴霸氣演示全中文demo，以及谷歌聯合NeurIPS釋出“找新娘圖片識別競賽”也算是為接下來的精彩拋磚引玉。

附上大會直播連結：

與去年一樣，今年也評出了4篇最佳論文獎，當然，還有一篇時間檢驗獎。

四篇最佳論文（Best Papers）

四人均來自多倫多大學向量研究所

摘要：我們介紹了一系列新的深度神經網路模型。我們使用神經網路引數化隱藏狀態的導數，而不是指定隱藏層的離散序列。我們使用黑盒微分方程求解器（black-box differential equation solver）計算網路的輸出。這些連續深度模型具有恆定的記憶體成本，根據輸入採取相應的評估策略，並且可以直接透過降低數值精度來提升速度。我們在連續深度殘差網路（continuous-depth residual networks）和連續時間潛變數模型（continuous-time latent variable models）中證明了這些性質。我們還構建了連續歸一化流（continuous normalizing flows），這是一種可以透過最大似然進行訓練的生成模型，無需對資料維度進行分割槽或排序。對於模型訓練，我們展示瞭如何透過任何ODE求解器進行規模化地反向傳播，而無需知道其內部操作。這允許我們在較大模型中對ODE進行端到端訓練。

六位作者，均是加拿大系

摘要：我們證明了Θ（kd^2 /ε^2）個樣本對於學習d維下的k個高斯混合模型（mixture of k Gaussians）是必要充分的，這裡我們允許總變差距離（total variation distance）誤差在ε以內。這一結果對該問題的已知上限和下限作出了改進。對於軸對齊高斯分佈的混合（mixtures of axis-aligned Gaussians），我們證明O（kd /ε^2）個樣本就足夠了，這與已知下限相符。對於上限，我們提出了一種基於樣本壓縮概念的分散式學習的新技術。對於允許這種樣本壓縮方案的任何分佈，我們都可以用很少的樣本來學習。此外，如果一類分佈具有這樣的壓縮方案，那麼這些分佈的乘積或混合也同樣可以運用這種方案。我們主要結果是表明了d維下的高斯類具有有效的樣本壓縮。

這篇文章的5位作者中：Kevin Scaman來自華為諾亞方舟實驗室，Francis Bach和Laurent Massoulié來自巴黎文理研究大學、Sébastien Bubeck以及Yin Tat Lee來自微軟研究院。

摘要：在這項工作中，我們使用一個計算單元網路，對非光滑凸函式進行了分散式最佳化。我們在假設下研究這個問題：（1）全域性目標函式的Lipschitz連續性，以及（2）區域性個體函式的Lipschitz連續性。在區域性性假設下，我們提出了第一個最優一階分散演算法，稱為多步原始對偶（multi-step primal-dual，MSPD），及其相應的最優收斂速度。該結果的一個值得注意的方面是，對於非平滑函式，當誤差的主導項為O（1 /√t）時，通訊網路（communication network）結構僅影響O（1 / t）中的二階項，其中t是時間。換句話說，即使在非強凸（non-strongly-convex）目標函式的情況下，由於通訊資源（communication resources）中的限制而導致的誤差也會以較快的速率降低。在全域性性假設下，我們提供了一種簡單而有效的演算法，稱為基於目標函式區域性平滑的分散式隨機平滑（distributed randomized smoothing，DRS），並表明DRS和最優收斂速度只差一個d^(1 / 4)的乘法項，其中d是維度。

三位作者，均來自Google AI

摘要：我們確定了Q-learning和其他形式涉及近似函式（function approximation）的動態規劃中的基本誤差來源。當近似架構限制了可表達的貪婪策略的類別時，妄想偏差（delutional bias）就會出現。由於標準Q-updates對可表達的策略類別進行全域性不協調的行動選擇，因此可能導致不一致甚至衝突的Q-value估計，從而出現諸如估計過高/過低，不穩定甚至不收斂的各種問題。為了解決這一問題，我們引入了一個新的策略一致性（policy consistency）概念，並定義了一個區域性備份（local backup）過程，透過使用資訊集來確保全域性一致性，這些集合記錄了與備份Q-value一致的策略約束。我們證明了，不管是基於模型的還是不基於模型的演算法，都可以使用這一“備份”的方法來消除妄想偏差（delutional bias），從而提出了第一個可在一般條件下保證最佳結果的演算法。此外，這些演算法僅需要的資訊集數量只是多項式級別的。最後，我們也提出了關於價值迭代（value iteration）和Q-learning在實際應用中的幾個小建議，這些建議都可以被用來減少妄想偏差（delutional bias）。

時間檢驗獎（Test-of-time award）

這篇論文是出自2007年，作者是Leon Bottou和Olivier Bousquet，分別來自NEC美國實驗室和Google。

摘要：該研究開發了一個理論框架，用以研究近似最佳化對學習演算法的影響。該分析顯示了小規模和大規模學習問題在這方面的明顯不同。小規模學習問題受到常見的近似估計權衡（approximation–estimation tradeoff）的影響，而大規模學習問題則受到其對應的最佳化問題計算複雜性的嚴重影響。

注：今年大會全部論文

會議整體情況

總共有4854篇論文提交，相比去年增長了50%，也是今年ICML投稿數的兩倍。這些論文中，26%為重新提交稿件，69%的論文公開了程式碼，42%的論文公開了資料。

另外，3045個論文評審員 （比往年增長45%）、242個領域主席（比往年增長32%）、35個高階主席（比往年增長35%）（高階主席不受雙盲限制）、1萬5千篇論文評論（大約每篇文章3篇評論）、85%的評論表示，對該論文的可複製性有信心。

論文接受情況：1010篇論文被接收（比往年增長49%），其中，30篇論文被分到了oral presentation，168篇為spotlight，812篇論文被分到了poster presentation。

分領域統計的論文投稿數和接收數

整體接收率為21%，與去年持平。其中，此前未在網上（arxiv）發表的論文的接收率為16%，低於整體接收率。在網上發表、但未被評審員看到的論文接收率為20%。最後，在網上發表、並被評審員讀到的論文接收率高達34%。

在被接收論文中，25%是重新提交稿件，55%的論文已在arxiv上發表，其中35%的論文在此前被評審員讀過。另外，44%的論文提供了程式碼或資料。

在公佈完這組資料後，主持人也提醒大家不要過度解讀。

針對今年廣受詬病的visa問題，大會也非常直接的提出了回應，並指出了改正方法：

大會公佈了接下來的主席和聯合主席：

大會主席以及聯合主席