NIPS論文排行榜出爐，南大周志華5篇論文入選

作者 | 非主流

出品 | AI科技大本營

作為人工智慧領域的頂會，已經有 30 年曆史的 NIPS 今年以來一直風波不斷。先是被爆出 NIPS 2017 出現了性騷擾行為，然後又被 diss 會議名稱太色情，需要改名。之後，又有人在網上爆出，一名剛剛畢業的本科生成為大會論文同行評審，立馬遭到新一輪的 diss。

不過，大家似乎都是口是心非。NIPS 並沒有因此而門前冷落，反而火爆異常。僅僅 11 分 38 秒，NIPS 正會門票就賣光了。不僅如此，今年的 NIPS 收到了 4856 篇論文投稿，比去年的 3240 篇增長了近 50%。本次大會接收的論文總共 1011 篇，去年只有 679 篇，不過接收率倒是維持在 20% 左右。

瘋狂的不只是論文總數，還有學術壟斷。

IBM 工程師 Inkit Padhi 統計的資料顯示，本屆 NIPS 大會 Google Research 以 107 篇論文位列第一，幾乎佔據了接收論文總數的 10%，而去年這個數字還是 60。除此之外，MIT、史丹佛、CMU 等美國名校分別以 68、57、53 的位列前四。

通過下面的兩張圖可以發現，美國的幾大科技公司和幾大名校一如既往地佔據了本屆 NIPS 的半壁江山，相比去年，並沒有任何改善的跡象。當然，這也與這些美國機構強大的經濟和科研實力有關。

      

              

當然，國內的清華大學和騰訊也有不錯的表現，其中清華大學共有 21 篇論文被接收，騰訊的 AI Lab 共有 17 篇論文被接收。但是跟美國同行比，還是有很大的差距。

要知道，在 7 月份的 IJCAI 大會上，中國學者獲多篇 Distinguished Paper 獎，中國人論文46%，華人一作論文佔總接收論文的 65.5%。而且南京大學教授周志華還當選 IJCAI 2021年 程式主席，成為 IJCAI 史上第二位華人大會程式主席。

不過，這並不代表中國沒有進步。在 NIPS 2017 上，清華大學還只有 12 篇論文被接收，而騰訊的 AI Lab 也只有 9 篇，今年雖然論文的絕對數量和美國同行還有差距，但增長迅速，未來可期。

與此同時，作為國內機器學習領域的領軍人物，南京大學的周志華教授本次也有 5 篇論文被接收。通過這些論文，讀者可以一窺目前 AI 領域比較前沿的研究方向。受文章篇幅所限，本文只對這 5 篇論文的摘要進行了介紹，想要詳細瞭解的可以檢視完整論文。

1、Unorganized Malicious Attacks Detection

論文作者：Ming Pang · Wei Gao · Min Tao · Zhi-Hua Zhou

       

論文摘要：在過去十年裡，推薦系統領域備受關注。許多攻擊檢測演算法被開發，以便獲得更好的推薦系統，其中大部分研究主要是著眼於 shilling attacks。shilling attacks 主要是一類通過相同策略生成大量使用者配置檔案以提升或降低推薦專案位置的攻擊。在本文中，我們考慮了不同攻擊方式：無組織的惡意攻擊，即攻擊者在無組織的情況下單獨使用少量的使用者配置檔案來攻擊不同的專案。這種攻擊型別在許多實際應用中都非常常見，但對其的相關研究卻較少。我們首先將無組織惡意攻擊檢測構建為矩陣補全問題，並提出無組織惡意攻擊的檢測方法 (UMA) ，即近似交替分裂增廣拉格朗日法。在大量的實驗中，我們從理論和實證的角度分別驗證了所提方法的有效性。

2、Preference Based Adaptation for Learning Objectives

論文作者：Yao-Xiang Ding · Zhi-Hua Zhou

       

論文摘要：在許多實際的學習任務中，我們很難直接優化真實的工作指標，也很難選擇正確的替代目標。在這種情況下，我們可以基於對真實測量值和目標之間進行弱關係建模，再將目標優化過程融入到迴圈學習中。在本文，我們研究一種目標自適應的任務，其中學習者通過迭代的方式來適應來自於 oracle 的偏好反饋的真實物件。實驗證明，當目標可以進行線性引數化時，該學習問題能夠通過利用 bandit model 得到解決。此外，我們還提出了一種基於 DL^2M 演算法的新穎取樣方法，用於學習優化的引數，其具有較強的理論證明和有效的實踐應用。為了避免在每個目標函式更新後都要從頭開始學習理論假設，我們進一步提出了一種改進的自適應方法，來有效地將每個預學習的元素假設遷移到當前目標中。我們將以上的方法應用於多層標籤學習中，並證明了該方法在各種多標籤的工作指標下能夠展現出高效的效能。

3、Multi-Layered Gradient Boosting Decision Trees

論文作者：Ji Feng · Yang Yu · Zhi-Hua Zhou

            

論文摘要：多層表徵方法被認為是深度神經網路的關鍵要素，尤其是類似於計算機視覺的感知任務。雖然，諸如梯度增強決策樹 (GBDT) 之類的非可微模型是針對離散或列表資料進行建模時所採用的主要方法，但是它們很難與這種表示學習能力相結合。本文，我們提出了一種多層的增強決策樹模型，該模型主要通過將多層迴歸的 GBDT 模型疊加一起作為其構建模組來研究學習層次表示的能力。在沒有進行反向傳播和可微分特性的情況下，該模型可以結合跨層目標傳播的變體進行訓練。實驗結果表明我們所提出的模型在效能和表示學習能力方面具有高效的效能。

4、Adaptive Online Learning in Dynamic Environments

論文作者：Lijun Zhang · Shiyin Lu · Zhi-Hua Zhou

      

論文摘要：在本文中，我們研究了動態環境下的線上凸優化問題，旨在對任何比較器序列的 dynamic regret 進行界限。先前的工作表明，線上梯度下降演算法具有的 dynamic regret 值為，其中 T 是迭代次數，P 代表的是比較器序列的路徑長度。然而，這個結果並不讓人滿意，因為這與我們論文中建立的  dynamic regret 的下界值存在很大差距。為了解決這一缺陷，我們提出了一種名為動態環境自適應學習演算法 (Ader)， 旨在將下界與雙對數因子相匹配，以實現 dynamic regret 值為。此外，我們還基於替代損失提出了一種改進的 Ader 演算法，以這種方式，每輪訓練的梯度評估量會從 O(logT) 減少到1。最後，我們將 Ader 演算法進一步擴充套件到一系列可用於表徵比較器設定的動態模型中。

5、ℓ1-regression with Heavy-tailed Distributions

論文作者：Lijun Zhang · Zhi-Hua Zhou

       

論文摘要：在本文中，我們探索了 heavy-tailed 分佈下的線性迴歸問題。與先前使用平方損失來評估效能的研究不同，我們採用了絕對值損失來評估效能，這能夠在預測誤差較大時展現更強的魯棒性。為了解決輸入和輸出都可能帶來的 heavy-tailed 問題，我們將其轉化為一個截斷最小化問題，並證明它具有的超額風險，其中 d 代表維度，n 代表樣本量。與傳統的在 l1 迴歸上所做的工作相比，我們所提出的的方法能夠在輸入和輸出之間沒有指數矩的條件下，還能夠實現高概率的風險約束。此外，當輸入有界時，我們也能證明：我們的方法即使 heavy-tailed 輸出的情況下，經驗風險最小化也能匹敵 l2 迴歸。

--【完】--

2018 AI開發者大會

AI熱潮下，技術和落地相輔而進。

2018 AI開發者大會以『AI技術與應用』為核心，力邀國內外一線大牛，帶你從專案中貫通AI。

即刻掃碼，搶購福利票！

點選「閱讀原文」，精彩資訊搶先看