NeurIPS 2019公佈獲獎論文！新增傑出新方向獎項，微軟華裔研究員斬獲經典論文

大資料文摘出品

備受矚目的NeurlPS 2019週日一早在溫哥華拉開序幕，今天，組委會通過一篇部落格公佈了包括傑出論文獎、傑出新方向論文獎等五大類獎項。

NeurIPS，全稱神經資訊處理系統大會(Conference and Workshop on Neural Information Processing Systems），自1987年誕生至今已有32年的歷史，一直以來備受學術界和產業界的高度關注。NeurIPS為人工智慧領域的A類會議，同時也是人工智慧領域最富盛名的年度會議之一。

據官方訊息，今年NeurIPS會議的論文投稿量再創造新高，共收到6743篇投稿，最終錄取1428篇論文，36篇oral，錄取率為21.2%。

今年的參會人數也再創新高，參會總人數已經突破了13000人，相比去年參會的9000人增加了近一半。由於報名人數過多。今年大會組織者甚至更改了搶票規則，將“先到先得”原則更改為“抽獎”原則。正如NeurIPS在公告中所說，用新規則搶票的NeurIPS 2019可以在一定程度上避免時區問題。

今年開幕式的註冊長隊，圖：HooraRM @ NeurIPS2019

而如此高的投稿率和參會率，也能從側面反應了人工智慧研究的火爆程度只增不減。

如此龐大的投稿量，組委會再稽核和評選過程中也面臨不小的壓力。在揭曉獎項的官方博文中，NeurlPS 2019也宣告瞭獎項評審過程中的相關標準和評選過程，從這些標準中我們可以也看出，哪些研究更NeurIPS 2019所認可或者不被鼓勵。

評審委員會一致通過的評審標準包括，鼓勵以下9種研究特質：

• 持久的潛力ーー專注於主要工作，而不是邊邊角角。 在未來的幾十年裡，人們可能仍然會關心這個問題；

• 洞察力——提供新的（最好是深入的）理解；不僅僅是為了模型表現出幾個百分點的改進；

• 創造力——以創造性的新方式看待問題，給出一個真正讓讀者感到驚訝的結果；

• 革命性ーー將從根本上改變人們未來的思維方式；

• 嚴謹性ーー無懈可擊的嚴謹和考慮；

• 優雅感ーー美麗、乾淨、光滑、優雅；

• 現實性ーー不過分強調其重要性；

• 科學性——在實際上是可證偽的；

• 可重複性ーー結果是可重現的；程式碼是可用的，並且可以在各種機器上使用；資料集是可用的；證明細節是完整的。

組委會還公佈了一些他們不鼓勵的3種論文特質:

• 低效ーー遠離那些僅僅因為資源浪費而脫穎而出的工作（主要是因為浪費了大量資源而獲得了較高的排名）

• 趨附大勢——因為一個想法很時尚所以採用某種方法，但可以通過其他方法以不同的更有效的方式獲得。

• 過於複雜ーー論文有非必要的複雜性。

此外，組委會今年還新增加了一個傑出新方向論文獎，以突出在為未來的研究設定一個新的途徑方面出色的工作。

一起來看看5大獎項的獲獎論文。

獲獎論文：

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

論文連結：

https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise.pdf

論文作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos

機構：威斯康辛大學麥迪遜分校、馬普所

具體而言，研究人員給定了一組帶標籤樣本（x, y），取樣R^d+1維的分佈D，如此，未帶標籤點x上的邊緣分佈是任意的，並且標籤y通過一個未知半空間生成，這個未知半空間被Massart噪聲破壞，其中噪聲率η<1/2。這樣一來，問題就變成了尋找到假設h，使得誤分類誤差（misclassification error）得以最小化。

在本篇論文之前，即使是對於析取類（the class of disjunctions），也沒有一個有效的弱（分佈獨立）學習器模型。這種半空間（甚至析取類）的演算法在各項研究中始終未能得到解決，從Sulon（1988）、Cohen（1997），一直到Avrim Blum的FoCS 2003教程，都在強調這個問題。

該論文研究了在訓練資料中存在未知有界標籤噪聲情況下，二值分類線性閾值函式的學習問題。論文提出，通過匯出一個有效的學習演算法，能解決基本的、長期存在的開放問題。

本文在機器學習領域長期存在的開放性問題上取得了重大進展，即“在Massart噪聲下有效地學習半空間問題進行了研究”。舉一個簡單的例子，在1%的Massart噪聲下，即使是弱學習析取（weak learning disjunctions）（誤差率49%）也是開放的。

本文展示瞭如何有效地實現與Massart噪聲水平加epsilon（和執行時間poly（1/epsilon））相等的超額風險。演算法方法的複雜，使得在技術上難以確定。最終目標是能夠有效地獲得等於epsilon（in-time poly（1/epsilon））的超額風險。

獲獎論文：

Uniform convergence may be unable to explain generalization in deep learning

論文連結：

https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning.pdf

論文作者：Vaishnavh Nagarajan、J. Zico Kolter

機構：卡耐基梅隆大學、博世人工智慧中心

為了解釋過引數化深度網路的泛化行為，最近許多論文為發展了深度學習設定了泛化邊界，所有邊界的制定都基於一致收斂的基本學習理論技術。

現有邊界的數值是巨大的，通過大量的實驗，研究人員揭示了除了邊界外更值得關注的一個方面：實踐中，這些界限可以隨著訓練資料集的增大而增大。觀察結果指出，研究人員給出超引數線性分類器和梯度下降（GD）訓練的神經網路的例子，但其中一致收斂證明不能解釋泛化——即使我們儘可能充分考慮GD{\em的隱式偏差。更準確地說，即使我們只考慮GD輸出的一組分類器，它們的測試誤差在我們的設定中小於一些小的值，我們也表明，對這組分類器應用（雙邊）一致收斂只會產生大於的空泛化保證。通過這些發現，我們對基於一致收斂的泛化界的能力提出了質疑，以提供一個完整的圖片說明為什麼過度引數化的深層網路泛化良好。

針對許多現有的（基於範數的）邊界深度學習演算法的效能否做到他們所聲稱的那樣，本文給出了否定的回答。他們認為，當他們繼續依賴於雙邊一致收斂機制（the machinery of two-sided uniform convergence）時，他們就不能做自己宣稱的事情。

獲獎論文：

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

論文連結：

論文作者：AnanyaUppal、 ShashankSingh、BarnabásPóczos

機構：卡內基梅隆大學

該論文以嚴格的理論方法證明，在密度估計方面（就收斂速度而言），GAN的效能優於線性方法。利用先前關於小波收縮的結果，本文為GAN的表示能力提供了新的思路。具體來說，作者在大型函式類別（Besov空間）內的大型損失類別（所謂的積分概率度量）下，得出了用於非引數密度估計的最小極大收斂速度。審稿人認為，這篇論文將對從事非引數估計和GAN的研究人員產生重大影響。

獲獎論文：

Fast and Accurate Least-Mean-Squares Solvers

論文連結：

https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

論文作者：AlaaMaalouf、IbrahimJubran、DanFeldman

機構：海法大學電腦科學系機器人與大資料實驗室

最小均方求解是許多機器學習演算法的核心，從線性和Lasso迴歸到奇異值分解和彈性網路。本文展示瞭如何將它們的計算複雜度降低一到兩個數量級，而又沒有精度損失和改善的數值穩定性。 該方法依賴於Caratheodory定理，建立了一個核心集（d維的d2 + 1個點的集合）足以表徵凸包中的所有n個點。該文的新穎之處在於提出的分治法，該演算法可提取具有可承受的複雜性的核集（O（nd + d5 log n），前提是d << n）。審稿人強調了該方法的重要性，因為該方法的遞迴劃分原理而使其易於推廣，從業人員可以輕鬆實現該方法以改進現有演算法，並且可以將其擴充套件到其他演算法。

獲獎論文：

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

論文地址：

論文作者：Sindy Löwe、Peter O'Connor、Bastiaan Veeling

自我監督表示學習的新型深度學習方法，該方法不需要標籤或端到端反向傳播，而是利用資料中的自然順序。受生物神經網路似乎在學習時不會反向傳播全域性誤差訊號的觀察啟發，我們將深度神經網路拆分為若干梯度獨立模組。訓練過程中，每個模組都利用 Oord 等人 [2018] 提出的 InfoNCE 邊界最大限度地保留該模組的輸入資訊。儘管這是一種貪婪的訓練方式，但我們證明了每個模組都可以在前一模組輸出上得以提高，並且頂級模組建立的表示形式在音訊和視訊領域的下游分類任務上可產生極具競爭力的結果。 該提議使非同步優化模組成為可能，從而允許非常深的神經網路在未標記資料集上進行大規模分散式訓練。

評論：本文依據van Oord等人提出的自我監督的標準，重新討論了深度網路的分層構建，特別是當前輸入表徵與時空輸入表徵之間的互動資訊。感知網路中的這種自組織可能會在演算法視角(迴避端到端優化、其巨大的記憶體佔用和計算問題)和認知視角(利用所謂的慢特性的概念，向更“生物學上合理的”學習過程發展)的結合方面提供了新的啟發。

獲獎論文：

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

論文連結：

論文作者：Vincent Sitzmann 、Michael Zollhöfer、Gordon Wetzstein

機構：史丹佛大學

生成模型的無監督學習有著發現3D場景的豐富表徵的潛力。雖然幾何深度學習探索了場景幾何的3D結構感知表示，但是這些模型通常需要明確的3D監督。新興的神經場景表示只能通過擺姿勢的2D影像進行訓練，但是現有方法忽略了場景的三維結構。我們提出了場景表示網路（SRN），這是一種連續的3D結構感知場景表示，可對幾何形狀和外觀進行編碼。 SRN將場景表示為將世界座標對映到區域性場景屬性的特徵表示的連續函式。通過將影像形式表述為可區分的光線行進演算法，可以僅從2D影像及其相機姿態端對端地訓練SRN，而無需深度或形狀。這種表達方式自然可以跨場景進行泛化，在此過程中學習強大的幾何形狀和外觀先驗。我們通過評估SRN的新穎檢視合成，幾次快照重建，關節形狀和外觀插值以及非監督性非剛性人臉模型來證明SRN的潛力。

本文介紹了CV中兩種廣泛方法的完美結合：多檢視幾何和深層表示。 具體來說，本文做出了三點貢獻：1）每個畫素的神經渲染器，它可以以3D感知的方式實現無解析度的場景渲染； 2）可微分的光線行進演算法，解決了沿著相機投射的光線尋找表面相交的難題。 3）潛在場景表示，它使用自動編碼器和超網路來回歸場景表示網路的引數。

論文名稱：

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文連結：

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/xiao10JMLR.pdf

論文作者：Lin Xiao，微軟研究院的高階首席研究員，曾就讀於北京航空航天大學和史丹佛大學。他目前的研究方向包括：大規模優化的理論和演算法、機器學習和線上演算法、並行和分散式計算。

本文認為正規化隨機學習和線上優化問題,目標函式是兩個凸的和術語:一個是損失函式的學習任務；另一個是一個簡單的正則化項。研究中開發了Nesterov的雙重平均方法的擴充套件，可以利用線上設定的正則化結構。在這些方法的每次迭代中，通過解決一個簡單的最小化問題來調整學習變數，該問題涉及到損失函式過去所有次梯度的執行平均值和整個正則化項，而不僅僅是其次梯度。對於ℓ1的正則化，該方法能夠有效的獲得稀疏效果。研究還證明這些方法達到了隨機學習標準的最優收斂速度。對於損失函式具有Lipschitz連續梯度的隨機學習問題，研究者提出了對偶平均法的加速版。

該論文提出了一種全新線上演算法——正則化雙重平均演算法（RDA），研究實驗證明，RDA 對於ℓ1 正則化的稀疏線上學習非常有效。

經典論文獎的授予原則為：具有重要貢獻、持久影響和廣泛吸引力。官方設定了專門的委員會負責篩選對社會產生重大且持久影響的論文。Amir Globerson, Antoine Bordes, Francis Bach和Iain Murray承擔參與到評選工作中。

委員會從18篇被接受的論文開始進行評選工作——到2009年NeurIPS，這些論文自發表以來被引用次數最多。然後，他們把搜尋的重點放在那些已經產生了持續影響的論文上，即那些在最近的論文仍然被引用的論文。委員會還希望能夠確定對該領域的準確貢獻，使選定的論文脫穎而出；並確保該論文寫得足夠好，使當今社會的大多數人都能閱讀。