這屆NeurIPS裡有哪些變與不變?

naojiti發表於2019-12-22

今年的第33屆神經資訊處理系統大會(NeurIPS 2019),來得似乎比往年都要猛烈一些。

首先是參會人數急劇增加。2018年的參會人數達到9000人左右,這已經讓主辦方開心得合不攏嘴,沒想到的是今年則直接來到了13000人,比去年猛增40%;而申請抽獎的人數則更是達到了15000人,NeurIPS官網甚至因此而一度癱瘓。

其次,則是論文大豐收。論文投稿量達到6743篇,較去年的4856篇增加了近40%;收錄論文1429篇,較去年增加了41%,論文收錄比例在21%左右。無論是投稿數量還是論文收錄,均重新整理了歷史紀錄。而與之相比,同樣為AI頂會的ICML只有3424篇論文投稿,最終收錄774篇,投稿和收錄數量均只有NeurIPS的一半左右。

大會召開期間,隨便在社交網站上去搜尋關於NeurIPS的關鍵詞,隨處可見被其收錄一篇論文成為相關專業同學的最大夢想。

所以,今年如果誰還再次大放AI寒冬的厥詞,不說別的,只要把NeurIPS的資料一扔,就能啪啪打臉了。

當然,各方面資料的光線亮眼也只是大會的一個方面,我們更加看重的是,從這次大會的結果,能不能看出一些關於AI的玩家變化和旗幟方向?那麼,今天我們就拋棄冷冰的理論自研和複雜公式,去看一下這屆大會較以往,存在哪些變與不變?AI在現實世界中又有著怎樣的發展趨勢?

不變的是玩家:萬年的流水,鐵打的谷歌

相信不用說讀者朋友們也能猜到,今年的NeurIPS又被谷歌給霸榜了。

谷歌在各種AI學術頂會上霸榜大家也已經見怪不怪了。相較於去年的137篇論文,今年的谷歌收錄論文來到了180篇,增加了接近31%,增長速度十分穩定,這也大大增加了其他機構單位的追趕難度。更何況還有一個不計成本養著炫技的Deepmind,谷歌這個秀兒恐怕還要接著享受很長一段時間身為王者的孤獨。

工業界能與谷歌掰掰手腕的大概只能屬於微軟了,今年表現也不錯,入選76篇。

而美國學術三強的實力仍然不俗,麻省理工入選86篇,史丹佛則以85篇緊隨其後,比起去年落後11篇已經進步很大,這也反映出史丹佛這一年在人工智慧領域的孜孜求進;CMC則入圍79篇,無愧於名列美國學術三強之列。

此外,伯克利、facebook、普林斯頓、IBM等6位玩家均有超過40篇論文入選。前十席中美國的大學和企業佔據了8席,留下第9和第10給了英國的劍橋和牛津。

這也啟示我們,當面對各種看衰美國的聲音和分析、心態有點飄了的時候,還是得看看這些研究資料:美國的科研實力獨自一檔,這是未來幾十年都難以發生大的變化的現實。認清現實,方能按部就班地追趕。

當然,中國今年的表現也很亮眼。工科王者清華入選33篇,總排名來到了第13,北大入選23篇,中科大、浙大、香港中文大學、復旦等大學也各有斬獲。企業方面,騰訊、阿里、百度、華為也均有不俗的表現。遺憾的是,與去年華為方舟實驗室摘得最佳論文之一相比,今年最佳論文則沒有了中國的身影。當然,最佳論文實力是一方面,運氣也是一方面,只有我們整體實力提升了,最佳論文也是一件水到渠成的事情。所以也再次期待中國軍團能在以後的會議中在論文的數量和質量上都能再次躍遷。

此外,NeurIPS官方資料還提到,本次提交論文的女性作者總體比例來到了13%,女性群體正在作為一隻不可或缺的重要力量越來越多地參與到AI與世界的變革當中。

變化的是標準:“水文”多了,審稿也嚴了

會議越辦越火,投稿越來越多,不一定是件好事,今年的論文光是評審意見,NeurIPS委員會就給出了20000篇,審稿人簡直是忙到頭禿,甚至一度在今年夏天被人詬病審稿“太水”。

其實也完全可以理解。畢竟在NeurIPS2019論文投稿和錄用數量劇增之下,難免會有大量的“水文”出現,改改模型、加幾個資料想矇混過關的不在少數。在這種情況下,今年的論文審稿則與往年相比發生了一些新的變化。

比如評審委員會鼓勵論文研究的創造力。其中特別強調要要以創造性的新方式去看待問題,在這種研究前提之下,可以得出一個能真正讓讀者感到驚訝的結果。這傳達出論文的可讀性的方向。此次獲得“傑出新方向論文獎”的《Uniform convergence may be unable to explain generalization in deep learning》,由卡耐基梅隆大學、博世人工智慧中心的Vaishnavh Nagarajan和J. Zico Kolter共同完成,呈現出部分深度學習研究者的成果存在誇大的問題。換句話說,它毫不留情地揭開了一些研究者的研究成果中對的虛假外衣,可以讓讀者乃至普通人都可以更客觀地保持對深度學習效果的認知。

又比如要求論文儘可能不過分強調理論的重要性或者意義,而更加重視其現實針對性。或者說,要有一定的問題指向。這也一定程度上和人工智慧的產業化實踐愈加深刻的現實相貼合。

同時,評審委員會明確表示不三種論文:第一是“資源密集型”的論文研究,即動用了大量的資源得到的成果;第二是明明可以以一種快捷有效的方法得出結論,卻偏偏選擇了曲折迂迴的“旁門左道”,或者稱之為“炫技”;第三則是強調論文的簡化,即能做到簡明扼要地表達,就儘量縮短篇幅,縱觀本屆大會的優秀論文,很多篇幅都不超過10頁,和動輒幾十頁的讓人讀倒頭大的“水文”相比,簡直不要太良心。

總之,林子大了什麼鳥都有,今年NeurIPS論文數量的急劇增加引起評審委員會對質量的把控而對審稿標準進行修改,也是情理之中的事情,對保持會議收錄論文的權威性是個明智而必然之舉。

趨勢是應用:演算法愈受青睞,實踐成為標的

從整體上來看,演算法、深度學習、應用三個領域的論文成果佔據著前三甲,這與往年相比並未發生太大的變化。然而三個領域自身卻有些微妙的變化,從中或許也可以看到當今AI研究的一點趨勢。

變化較為明顯的當屬演算法研究。演算法研究領域的論文在2018年提交佔比接近25%,2018年則增加到27%左右;錄取佔比2018年約為21%,2019年則達到28%左右,是所有研究領域當中無論是論文提交數量還是最終錄取都呈現增長的領域。

與之相比,有關深度學習的論文數量佔比無論是提交還是最終錄取,其均呈現出一定的下降趨勢,雖然這個趨勢並不明顯。而應用研究領域在論文提交量佔比基本不變的情況下,反而錄取率下降了約2個點,這也可能和總量龐大之下水文難免作妖有一定的關係。

而在強化學習、理論、機率和統計、神經網路方面,其論文錄取率大多則呈現出了下降的苗頭。

這樣的趨勢或許並不難解釋。隨著人工智慧產業化的不斷加速,世界範圍內的AI落地正在如火如荼地進行,其也早已經從實驗室中的純理論研究走向了產業實踐,因此必然會面臨更多的實際問題。因此,不斷進行演算法層面的創新研究,顯然是符合當下AI的總體走勢的。

在2019年AI產業化不斷深入的趨勢下,明年的NeurIPS論文的實踐指向或會更加明顯。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2669898/,如需轉載,請註明出處,否則將追究法律責任。

相關文章