2018 年，AAAI、IJCAI、NeurIPS 等學術會議愈加火熱。本文中，機器之心將概述 2018 年十大學術會議，包括論文提交與接收情況、備受關注的論文評審制度，以及論文主題分佈等。我們希望讀者能透過這篇文章遍歷機器學習在一年中的起伏與風雨，同時也希望追隨學術會議開闢的道路繼續向前。
年度學術會議配合年度研究進展服用效果更佳：
2018 頂會概覽
頂會論文提交與接收情況
2018 年頂會論文提交與接收情況一覽。紫色為論文提交數量，藍色為論文接收數量。其中 AAAI 2018 論文提交數量為 3808 篇，較去年的 2571 提升了 47%；ICML 2018 共收到 2473 篇提交論文，比去年的 1676 篇提高 47.6%；EMNLP 2018 收到論文 2100 多篇（數量比去年多出 46%）；NeurIPS 2018 共收到 4856 篇投稿，創歷史最高記錄。
接下來我們簡要介紹這些會議及其今年接收論文的情況。
1. 綜合性會議
ICML 是電腦科學領域的頂會之一。據統計，ICML 2018 共評審了 2473 篇論文（比去年的 1676 篇提高 47.6%，增幅顯著），接收論文 621 篇，接收率為 25.1%，與去年的 26% 基本持平。
NeurIPS 2018 共收到 4856 篇論文投稿，創歷史最高記錄，最終錄取了 1011 篇論文，其中 Spotlight 168 篇 (3.5%)，oral 論文 30 篇 (0.6%)。接收率為 20.8%，與去年的 20.9% 基本持平。
AAAI 是人工智慧領域一年一度的頂級盛會，圍繞人工智慧的研究與發展，吸引了全球的人工智慧精英。AAAI 2018 收到的投遞論文有 3808 篇（比去年的 2571 提升了 47%），其中 938 篇論文被大會接收，接收率 24.6%，與去年持平。
IJCAI（人工智慧國際聯合大會）是人工智慧領域的頂級綜合會議，被中國計算機學會推薦國際學術會議列表認定為 A 類會議。今年 IJCAI 共收到 3470 篇論文投稿（比去年增加了 37%），最終錄取了 710 篇，接收率約為 20.5%（相比之下，去年的論文接收率為 26%，今年 IJCAI 論文錄取率與去年有所下降）。
2. 計算機視覺領域會議
根據谷歌釋出的 2018 版學術指標，在計算機視覺與模式識別領域，CVPR 是影響力最大的論文釋出平臺。CVPR 全稱為「IEEE Conference on Computer Vision and Pattern Recognition」（計算機視覺與模式識別會議），是近年來計算機視覺領域全球最影響力、內容最全面的頂級學術會議。今年的 CVPR 收到超過 3300 篇大會論文投稿，接收 979 篇（接收率約為 29%，其中包括 70 篇 Oral 和 224 篇 Spotlight 論文）。
歐洲計算機視覺大會（European Conference on Computer Vision，ECCV），與計算機視覺模式識別會議（CVPR）和國際計算機視覺會議（ICCV）並稱計算機視覺方向的三大頂級會議。據統計，本屆 ECCV 共收到 2439 篇論文的投稿，接收 776 篇，接收率 31.8%（去年的論文接收率為 29%），包括 59 篇 oral 論文，717 篇 Poster 論文。今年大會參會人數近 3200 人，是上屆（2016）的兩倍。
3. 自然語言處理領域會議
國際計算語言學協會 (ACL，The Association for Computational Linguistics) 是世界上影響力最大、最具活力的國際學術組織之一。今年 ACL 收到 1544 篇提交論文，其中 1018 份長論文接收了 258 篇，526 份短論文接收了 126 篇，總體接收率為 24.9%，與去年的論文接收率 24% 基本持平。
EMNLP 是自然語言處理領域的頂級會議。今年 EMNLP 共收到論文 2100 多篇（數量比去年多出 46%），收錄 549 篇，接收率為 24.6%（去年的論文接收率為 22%）。
4. 深度學習領域會議
ICLR 是深度學習領域的盛會，每年舉辦一次。2013 年，深度學習巨頭 Yoshua Bengio、Yann LeCun 主持舉辦了第一屆 ICLR 大會。經過幾年的發展，在深度學習火熱的今天，ICLR 已經成為人工智慧領域不可錯過的盛會之一。
ICLR 2018 共收到超 900 篇提交論文（去年為 507 篇），接收論文 337 篇，其中 23 篇為 oral 論文、314 篇為 Poster 論文。
5. 資料探勘領域會議
KDD 是國際資料探勘領域的頂級會議。據統計，KDD 2018 共收到 1480 篇論文投遞，收錄 293 篇，錄用率 19.8%。
頂會中的華人力量
在綜合性頂會和深度學習頂會中，今年獲獎的華人很多。尤其是 IJCAI 2018，來自中國的研究人員為本屆 IJCAI 貢獻了主要力量，在七篇傑出論文中，華人學者的研究佔據四席；陳天琦獲得 NeurIPS 2018 最佳論文的研究《Neural Ordinary Differential Equations》也引發了社群的熱議。
ICML 2018：獲得 Best Paper Runner Up Awards 獎的三篇論文中有兩篇有華人學者的參與：復旦大學副教授黃增峰一人署名的論文《Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices》；史丹佛大學的論文《Fairness Without Demographics in Repeated Loss Minimization》，作者之一 Percy Liang 是著名華人學者、史丹佛大學計算機系助理教授、史丹佛人工智慧實驗室成員。
NeurIPS 2018：本屆 NeurIPS 大會共有 4 篇最佳論文，其中《Neural Ordinary Differential Equations》的作者之一是來自多倫多大學向量研究所的陳天琦；《Optimal Algorithms for Non-Smooth Distributed Optimization in Networks》的作者來自華為諾亞方舟實驗室、PSL 研究大學和微軟研究院，其中 Yin Tat Lee 本科畢業於香港中文大學，現任華盛頓大學助理教授。
AAAI 2018：傑出論文《Memory-Augmented Monte Carlo Tree Search》作者分別為 Chenjun Xiao、梅勁騁與 Martin Müller。其中，Chenjun Xiao 和梅勁騁均為華人。梅勁騁本科畢業於華南理工大學，研究生赴上海交通大學，師從計算機系呂寶糧教授。2015 年起，他來到阿爾伯塔大學攻讀博士，師從 Dale Schuurmans 教授。Chenjun Xiao 研究生與博士階段均師從於 Martin Müller 教授。
IJCAI 2018：據大會官方統計，今年的接收論文中，46％的論文包含來自中國的通訊作者，57％的論文來自亞洲。而在七篇傑出論文中，華人學者的研究佔據四席，來自北京大學、武漢大學、清華大學、北京理工大學的研究榜上有名。
SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks
作者：Ke Wang、萬小軍
研究機構：北京大學
R-SVM+: Robust Learning with Privileged Information
作者：Xue Li、Bo Du、Chang Xu、Yipeng Zhang、 Lefei Zhang、陶大程
研究機構：武漢大學、悉尼大學
What Game are We Playing? End-to-end Learning in Normal and Extensive from Games
作者：C. K. Ling、J. Z. Kolter、方飛
研究機構：卡內基梅隆大學（CMU）
Commonsense Knowledge Aware Conversation Generation with Graph Attention
作者：Hao Zhou、Tom Young、Minlie Huang、Haizhou Zhao、Jingfang Xu、朱小燕
研究機構：清華大學、北京資訊科學與技術國家研究中心、北京理工大學
論文地址：http://coai.cs.tsinghua.edu.cn/hml/media/files/2018_commonsense_ZhouHao_3_TYVQ7Iq.pdf
計算機視覺是華人廣泛研究的領域，在此類頂會上常會看到華人的身影。例如，何愷明曾獲得 CVPR 2009、2016 的最佳論文獎，而他也獲得了本屆 CVPR 的 PAMI 青年研究員獎。今年，華人在計算機視覺頂會上的獲獎情況如下：
CVPR 2018：最佳論文《Taskonomy: Disentangling Task Transfer Learning》作者是來自史丹佛大學加州大學伯克利分校的研究者。該論文的共同二作 William Shen（沈博魁）為華人，研究興趣為計算機視覺和機器人學習（robotics learning）。
此外，FAIR 研究科學家何愷明獲得本屆 CVPR 的 PAMI 青年研究員獎，該獎項頒發給 7 年內獲得博士學位且早期研究極為有潛力的研究人員。
論文《SPLATNet: Sparse Lattice Networks for Point Cloud Processing》獲得 CVPR 2018 最佳論文榮譽提名獎。其中 Hang Su、Deqing Sun、Ming-Hsuan Yang 均為華人。
ECCV 2018：FAIR 研究工程師吳育昕與研究科學家何愷明合作的《Group Normalization》獲得了最佳論文榮譽提名獎。
華人在自然語言處理頂會上的獲獎情況如下：
ACL 2018：最佳長論文之一《Let』s do it「again」: A First Computational Approach to Detecting Adverbial Presupposition Triggers》共同一作 Yulan Feng 本科畢業於麥吉爾大學，研究領域為自然語言理解。最佳短論文之一《Know What You Don't Know: Unanswerable Questions for SQuAD》作者之一是著名華人學者 Percy Liang。
EMNLP 2018：最佳資源論文《MultiWOZ - A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling》的作者 Tsung-Hsien Wen、Bo-Hsiang Tseng 為華人。
而在資料探勘領域會議 KDD 中，由中國科學技術大學、微軟和蘇州大學的研究者合著的《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》獲得最佳學生論文獎。
頂會論文主題分析
這部分將介紹部分學術會議的論文主題分佈情況，包括 ICML 2018、NeurIPS 2018、AAAI 2018、IJCAI 2018 和 ACL 2018。
ICML
下圖展示了 ICML 2018 論文子領域統計情況。可以看出神經網路架構和強化學習兩個子領域的投稿數量最多，強化學習領域的論文接收數量最多，其它熱門方向還有深度學習理論、最最佳化方法、監督學習、線上學習、統計學習理論等等。
圖源：https://www.msra.cn/zh-cn/news/features/icml-2018
NeurIPS
NeurIPS 2018 接收了 1011 篇論文，其中 Spotlight 168 篇 (3.5%)，oral 論文 30 篇 (0.6%)。如下圖所示，演算法、深度學習和應用領域的投稿數量最多。
機器之心在梳理論文接收列表時重點關注了 30 篇 Oral 論文，從中可以看到總體上有幾個比較突出的方面：首先對神經網路、模組及損失函式的理論分析比較多，此外對反向傳播及最最佳化過程的研究也比較多，最後從策略到結構對強化學習的整體研究就更多了。
AAAI
AAAI 2018 收到的投遞論文有 3808 篇，接收論文 938 篇。其中機器學習方法的論文在論文提交和接收量上都居首位，而視覺領域的論文穩居第二，且相比 2017 年該領域論文提交量增長了 257%、接收數量增長了 285%，實現了飛躍。緊隨其後的是 NLP 與機器學習、AI 與網路、機器學習應用等。
圖源：https://youtu.be/JbUuB72pA-c?list=PL_9a5ic6GUim0HB71cILHmQwfdKiwZ-MG
IJCAI
IJCAI 2018 共收到 3470 篇論文投稿，最終錄取 710 篇。其中機器學習論文在論文提交和接收量上都是第一，分別是 1808 篇和 356 篇。緊隨其後的子領域有：計算機視覺、機器學習應用、多智慧體系統、自然語言處理、知識表徵等。
ACL
ACL 2018 收到 1544 篇提交論文，其中 1018 份長論文接收了 258 篇，526 份短論文接收了 126 篇，總體接受率為 24.9%。
接收論文標題關鍵詞（左：ACL 2017 獨有，中：ACL 2017 和 ACL 2018 共有，右：ACL 2018 獨有）（圖源：https://www.msra.cn/zh-cn/news/features/acl-2018）
從上圖對接收論文標題的詞雲分析中可以看出，在 ACL 2017 和 2018 上持續熱門的關鍵詞有深度（deep）、解析（parsing）、語言（language）、知識（knowledge）、注意力機制（attention）、提取（extraction）、序列（sequence）等。而 ACL 2018 獨有的關鍵詞包括嵌入（embedding）、情感（sentiment）、建模（modeling）、圖（graph）等。
從頂會大事件中看趨勢
大家都關心也都「吐槽」的評審制度
1. 同行評審制度
近年來，機器學習和深度學習研究火熱，相關頂會的投稿數量激增，很多人開始擔憂論文評審的質量。常見的評審制度有單盲評審（single-blind）、雙盲評審（double-blind）和開放式評審（open review）等。單盲評審即評審人員對文章進行匿名評審，評審人員知道文章作者的資訊。雙盲評審即評審人和文章作者互相都不知道對方的資訊，完全匿名。而在開放式評審中，所有提交的論文都會公開姓名等資訊，並且接受所有同行的評價及提問（open peer review），任何學者都可匿名或實名評價論文。而在公開評審結束後，論文作者也能夠對論文進行調整和修改。
我們比較熟悉的學術會議大多采用雙盲評審制度，其中 ICLR 經歷了從 open review 到雙盲評審的轉變。ICLR 2017 多篇論文引發爭議，比如 2016 年火爆的 DeepMind LipNet 論文遭拒（然而今年 DeepMind 的新唇讀系統論文又被 ICLR 拒了）、最佳論文《UNDERSTANDING DEEP LEARNING REQUIRES RETHINKING GENERALIZATION》遭受質疑。自 2018 年開始，ICLR 採取採取雙盲評審，但該會議不禁止作者在 arXiv 或其他公共論壇上發表文章，大會將只進行一輪論文評審，初步評審結束後，作者和審稿人之間仍將有一個討論期，作者可以繼續對論文進行修改。
雙盲評審可以有效減少評審人因知道作者資訊而產生的刻板印象，但 ICLR 採用雙盲評審後依然引起了爭議。前不久，ICLR 2019 結束論文投稿，所有論文被放在開放平臺 Openreview 上，以匿名方式供所有人審閱。但是，一篇 9 月 28 號提交到 Openreview 上參與 ICLR 2019 雙盲評審的論文引起了評論區的非正面交鋒：評論區疑似出現匿名或非匿名的刷屏式好評。
針對這種情況，有網友指出：在真正的評審結果面世之前釋出可見的評論是一個可怕的想法，有很多方式可以對評審員造成影響。
論文的好評（如果是真的，一定會有影響，如關於熱門論文 BigGAN 的評論）
在對手論文下發布刻薄、詳細的評論（如果別人的論文和你的類似，你必須發現甚至連評審者都沒發現的缺陷，這樣他們就不會忽視你的評論）
在對手論文下發布看起來過於浮誇的評論使之看起來像在作弊
也就是說過早的反饋可能會使評審過程變得不公平。評審人員由於自身經驗關係，不可能做到完美的公正。而無論是虛假的吹捧或真實的指摘，作為先入之見，最後都會讓評審人員留下對論文的負面印象。而論文的熱度、好評也可能會影響評審結果。
ICLR 2018 評論和討論階段對論文分數的影響。（圖源：https://news.cnblogs.com/n/595597/）
如前所述，自 2018 年 ICLR 開始實行雙盲評審制度之後，爭議仍然存在，比如 LipNet 論文作者再投 ICLR 再次失敗、ICLR 2019 評審階段評論區疑似有水軍出沒等，且允許作者在 arXiv 等平臺釋出論文的做法使*雙盲*形同虛設。而同樣實行雙盲評審制度的 ACL 大會規定投遞論文在一定期限內不得上傳到開放平臺。
此外，關於投稿論文是否應該開原始碼、評審人員是否應該復現論文結果也引發了大量爭論。
那麼，在當前人工智慧領域各大頂會投稿量飛速增長的情況下，如何從制度層面上確保原本旨在促進開放研究的同行評審制度發揮其本來作用，減少在執行過程中出現的問題，不斷最佳化其執行過程和效果，同時在機器學習大發展的當下，同行評審不會限制新研究的創新性，這值得我們思考和討論。
2. 論文數量增多與合格論文評審人員數量不足之間的矛盾
從本文第一部分，我們可以看到這些學術頂會的論文提交數量不斷增長，有些增幅甚至超 40%。那麼一年過去了，合格的論文評審人員的增幅是否趕得上論文的增幅呢？
答案顯而易見。今年 5 月，本科畢業生成為 NeurIPS 2018 論文同行評審的事情引發爭議；7 月份，NeurIPS 2018 論文評審結果出來後，很多人吐槽評審意見不專業。幾天後，GAN 之父 Ian Goodfellow 發推質疑同行評審機制的作用，他認為同行評審導致 AI 頂會論文質量下降，而主要原因正在於評審人員水平不一。此前發表過「機器學習之怪現狀」的 Zachary Lipton 同意 Goodfellow 的看法，認為同行評審機制的退化是機器學習怪現狀的原因之一。
除了 Ian Goodfellow、Zachy Lipton 以外，Geoff Hinton 前不久接受採訪時稱，現在的評審制度和既定路徑不利於創新性想法的提出和傳播，junior 論文評審者可能壓根無法理解創新性論文。關於此，國內學者也有類似看法，著名自然語言處理專家劉群教授說過：「審稿的時候……通常比較 junior 的審稿人會更嚴厲一些，發現一些小問題就會傾向於給低分，而 senior 的審稿人反倒寬鬆一些，如果覺得論文確有可取之處，通常不會太計較一些小問題。」此前，南京大學周志華教授稱：「senior 知道論文價值就是那點新火花，有毛病沒關係。前沿研究要有長處，系統開發要無短處。」
AAAI 2019 程式主席、南京大學周志華教授在談到 AAAI 2019 7700 多篇論文提交量的時候，評論道：
當前主要矛盾是夠水平的審稿人數遠不足以應付快速增長的巨量投稿數。隨便什麼高水平會議，幾千個投稿湧過去足以沖垮防線。除非不公開徵文，否則似乎無解。這是會議機制本身的問題。CS 重視會議的傳統形成於 CS 還是小學科的時候，從業者多了之後問題就顯現出來了，相對較大的子領域先遭殃。
那麼如何改善評審質量參差不齊這一現象呢？
之前，CVPR 2019 程式委員會發布了一個關於如何寫好 CVPR 論文評審的教程：《How to Write Good Reviews for CVPR》，對論文評審的工作或許具備普遍意義。該教程從評審人工作的重要性、論文決策流程、如何寫好論文評審意見等方面展開。
此外，ICML 2019 程式主席之一 Ruslan Salakhutdinov 教授在 Twitter 上表示為了鼓勵可復現性和高質量的論文提交，今年 ICML 的程式委員會在論文提交上作出了三項改變：
設定了論文摘要的提交 deadline，2019 年 1 月 18 日。只有提交了合適摘要的論文才能被允許提交 full paper，並且佔坑性質的摘要將會被移除，重點提一下，標題和摘要都不能有 test、xyz 這樣的佔位符。提交的摘要不合格的話就不能提交 full paper 了。full paper 的提交 deadline 是 2019 年 1 月 23 日。
今年，在 full paper 提交的 deadline 之後，不會再有修改的機會了。
最後，為了促進可復現性，委員會鼓勵提交的論文附帶程式碼。他們設定的提交形式包含了兩種可選的補充檔案：常規的附錄和程式碼。結果的可復現性和程式碼的易用性將作為論文接收和進一步決策的考慮因素。
目前來看，社群對學術會議評審問題的關注起到了一定好的影響，學術會議程式委員會也在想辦法從多個層面改進同行評審的質量。我們期待學術研究越來越好。
性別平權
根據史丹佛 AI Index 2018 年度報告，針對美國 AI 課程的註冊情況調查顯示，史丹佛大學 2017 年的 AI 課程註冊學生中男性佔 74.45%，ML 課程註冊學生中男性佔比 75.91%；伯克利 2017 年的 AI 課程註冊學生中男性佔 73.37%，ML 課程註冊學生中男性佔比 78.67%。頂級電腦科學學校的 AI 教授中男女比例是：4:1——來自 UC 伯克利、史丹佛、UIUC、CMU、UC London、牛津、蘇黎世聯邦理工學院的教授中 80% 為男性。
圖源：史丹佛 AI Index 2018 年度報告（http://cdn.aiindex.org/2018/AI%20Index%202018%20Annual%20Report.pdf）
而在對 2017 年美國 AI 職位的調查中，高達 71% 的職位申請者是男性。
圖源：史丹佛 AI Index 2018 年度報告（http://cdn.aiindex.org/2018/AI%20Index%202018%20Annual%20Report.pdf）
過去這一年，學術界並不平靜。尤其是隨著全球 #metoo 運動的不斷髮展，學術界爆出大量內部性別歧視、性騷擾的案例。NIPS 大會的名字由於帶有情色意味，引起了眾多社群成員的反對。在經歷了官方調研、社群抗議等事件後，NIPS 大會終改名為 NeurIPS。NIPS 大會事件持續了好幾個月，引起了 AI 社群的大量討論和關注。這件事不僅改變了讓人不舒服的名字，也提醒社群成員注意自己在學術會議上的行為，學術會議應該是友好開放的，而不應因為某些人的不當行為導致另一些人的痛苦。此外，NeurIPS 2018 也開始在基礎設施方面做出改變，如提供托兒服務等便利措施。這些舉措無疑在學術界男女平權問題上是有所助益的。
AI 教育、相關職位方面的性別多樣化現狀或許需要很長時間、多方面的努力才能改變，但學術頂會的這些改變及其所引發的積極影響將會對前者大有裨益。史丹佛大學李飛飛教授創立非營利性公益組織 AI4All，致力於提高人工智慧領域的多樣性和包容性，讓少數群體（包括女性、亞裔、非裔等）都能參與到 AI 的研發過程中。史丹佛以人為中心的 AI 計劃（HAI）表示：「AI 的最終目的應該是增強我們的人文性（humanity），而不是削弱或取代它。」
技術與人文未來會怎樣，我們不知道。但在重視技術的同時，追求人文性、追求人與人（不只是特定部分的人）之間更融洽地相處與合作依然必不可少。
參考文章：