作為目前規模最大的人工智慧學術會議，神經資訊處理系統大會 NeurIPS 2019 不久前在溫哥華結束。目前已經有很多文章總結了本屆 NeurIPS 的演講和最新研究趨勢，但在這裡我們想要探討的東西更加自省：反思參加這次會議的經驗，尤其是龐大的規模對於 NeurIPS 作為學術會議的本來目的是否有害。NeurIPS 的規模有多「龐大」呢？13000 名參會者，1428 篇接收論文，57 場 workshop。正如一些參會者在 Twitter 上展示的那樣，NeurIPS 已然成為一場龐大的會議：
我的研究方向是人工智慧的子領域——機器人學，之前我主要參加一些小型的機器人學會議，如 CoRL（Conference on Robot Learning，參會者約有 400 人）和 RSS（Robotics: Science and Systems conference，參會者約有 400 人）。我之前參加過的最大會議是 ICRA（參會者大約 3000 人）。
近年來，AI 會議的出席率。來源：2019AI Index 報告。為了讓大家更好地理解 NeurIPS 2019 的規模，我們可以設想以下場景：RSS 2018 的茶歇和 poster session 可以在 NeurIPS 2019 poster session 會議室 1/50 大小的空間內舉行：現在，你知道 NeurIPS 有多龐大了。所以，這算是好事還是壞事？我的觀點是：好壞參半。我確實發現了參加 NeurIPS 2019 的積極面和消極面。我當然不是第一個指出 NeurIPS 規模過於龐大的弊端可能大於優勢的人。不過我得先宣告，我所表達的不是嚴肅的批評，只是觀察結果罷了。經過觀察，我承認 NeurIPS 組委會肯定比我更多地思考會議的目的和設計，因為對這些弊端提出解決方案並非易事。任何學術會議的核心目的都是將對相似事物感興趣的研究人員彙集到一起，允許他們討論自己的工作和想法。NeurIPS 的龐大規模使它很好地完成了這一目標，大量合作者、研究者在此相聚一堂，一邊喝咖啡（喝飲料，或者參與小組討論）一邊互相交談。對包容性的關注進一步放大了這一積極品質，會議舉辦了多場聚焦包容性的 workshop，如 Black in AI、Women in Machine Learning、LatinX in AI、Queer in AI、New In Machine Learning、CiML 2019: Machine Learning Competitions for All。非常多人因此獲得不錯的體驗，這都要歸功於 NeurIPS。
學術會議的另一個主要目的是向參會者傳達新研究、啟發新想法。NeurIPS 也的龐大規模是一項優勢，且遠遠超過我之前參加過的所有會議，這裡有來自多個不同子領域的海量精彩研究。儘管龐大的規模、繁多的種類可能導致可深挖的新研究沒有那麼多，但對我而言恰恰相反：在一些機器人學會議上我已經看過一些釋出在 arXiv 上的論文了，也很容易遇到之前研究過主題的相關論文，但 NeurIPS 大會上最令我興奮的論文倒不是關於機器人學的，而是來自 CV 或 NLP 領域。如果不參加 NeurIPS，我可能不會遇到這些論文，也不會因此觸發那麼多新想法。
workshop 和活動的數量也意味著參會者會遇到更多新想法，如 Reproducibility Challenge、Workshop on Machine Learning for Creativity and Design、Communication Skills Practicum 以及 Retrospectives workshop。這些絕對是我最喜歡的部分，它們為來自研究社群外的與 AI 相關的人（如記者和藝術家）提供了一個直接與研究者對話的平臺。坦白講，像我這樣的研究生樂於參加會議的部分原因是：旅行和社交。大型會議意味著很多贊助商，也就意味著行業大趴和樂趣！就像文章《An AI conference once known for blowout parties is finally growing up》中所說的那樣，行業派對比過去「縮水」了，但參與這些活動正是體驗的一部分。儘管我沒參加多少這類活動，但我仍然享受和新朋舊友探索溫哥華市中心和聚餐的樂趣。這屆 NeurIPS 會議還有一個新特點：社交晚宴，這是一項喜聞樂見的進步，因為它為不願參加喧鬧派對或未被邀請參與行業活動的人提供了另一個選項。我拍了很多 poster 的照片，部分原因在於我常常無法和感興趣的 poster 論文展示者交談，因此只能四處走動，到處看其他的 poster。和 poster 作者深入交談絕對是我最喜歡的參會內容之一，但在 NeurIPS 會議中，這項操作的難度比之前的會議高多了。人多意味著交談多，但人多同樣也阻礙了很多交談的發生。NeurIPS 規模如此之大，不做好周詳的計劃甚至可能見不著同樣參與會議的熟人，這意味著一些本該在茶歇時間發生的對話機會沒有了。NeurIPS 大會對包容性所做的努力值得讚揚，但這也意味著組織者要承擔更多責任，保障受邀參會者真切體會到包容性。正因如此，幾個月前很多參會者申請簽證被拒時才會引發那麼多討論：
在 AI 社群、NeurIPS 組織方以及加拿大政府的一同努力下，會議簽證問題大多得到了解決。但是，如果這件事從未發生過就更好了。
即使設立了簡單的日程表（不舉辦 workshop 的日子裡，每天在一個大房間裡有兩場時長 2 小時的 poster session，在另一個大房間裡有兩場長報告，在幾個稍微小一點但仍然很大的房間裡還有兩場包含多個短報告的報告會），NeurIPS 會議的內容之多，讓規劃想要嘗試、關注的內容都變成了挑戰。這種情況與小型會議 CoRL 和 RSS 正相反，後者所有報告、poster session 都在一個大房間裡進行，而且能夠輕鬆容納。每個 workshop 的規模要比整場大會小一些，但有的 workshop 仍然使用巨大的房間，有幾十張海報，容納數百人參加。這有利也有弊，每場 workshop 持續一整天時間，因此參會者可以輕鬆選擇一場，深入探索一個主題。但是實際上很難只選一個，我最後只能在多個 workshop 之間來回穿梭。最後，提交論文越多，意味著對評審人員的需求越大，評審質量的方差也變大。儘管這並非 NeurIPS 獨有的大問題，但我們應該注意到，一些存在倫理爭議的論文通過評審流程，並最終出現在會議上：
我不是倫理方面的權威，但與會多人指出某些論文存在確切的倫理問題。派對並非總是好事。正像 Zachary Lipton 在《The Greatest Trade Show North of Vegas (Pressing Lessons from NeurIPS 2018)》中指出的那樣，行業派對的本質分散了會議的學術目的，最重要的是，派對邀請制是對包容性的一種阻礙：「展廳將參會者對學術活動的注意力吸引走了太多。房間裡有免費的小玩意、食物、豪華座位，以及花費數百萬美元打造的華麗景緻。我們不應讓科學報告和 poster 與博眼球的 CES 風格展廳同場競技。
現在的派對文化將有社會關係的（不論學科）、可招聘的（大熱的 PhD 候選人和初級研究者）和功成名就的研究者匯聚一堂。但卻不包括那些可從會見潛在僱主、導師中受益最多的年輕研究人員。」我認為，展廳的景緻不足以誘惑我離開 poster session，對於尋求實習機會或全職崗位的人來說行業展廳是有用的。但是，展廳的位置和 poster session 緊挨著，這使得需要和僱主交談獲取機會的人大概率會錯過 poster 和報告。現在，你們應該瞭解到，「龐大規模」帶來的利弊是出於同樣的原因。顯然，沒有簡單的解決方案可以既保留好的一面，又摒除弊端。不過，我還是想談談我的幾點想法：NeurIPS 2019 共接收大約 1500 篇論文，那麼包括 workshop 在內，1500 乘以 2 應該足夠了。然而 NeurIPS 2019 共有 1.3 萬人參會，這意味著大量參會人員沒有論文被接收。儘管不讓感興趣的人蔘會是不太好的行為，但說到底這是學術會議，重點應是讓參會的學術界人士儘可能多地獲益。當然，我的意見可能大錯特錯，大部分參會人員至少提交了論文，但仍然……在論文提交數量猛增的情況下如何保證評審質量，這是整個領域面臨的難題。NeurIPS 團隊曾發文討論過這個問題，但並沒有找到答案。我在精彩的 Retrospectives workshop 中與他人討論這個話題，得到了一個想法：允許全年提交論文，對接收論文的總數設定上限。即允許人們全年或在一年的大部分時間中投稿，然後滾動評審，直到通過評審的論文達到接收論文的上限數字。這麼做的好處是，評審負擔被分攤到全年，因為該制度可以刺激大家早些提交論文，越早提交越有可能被分配到評審任務不重的評審者，他們也就能更認真地完成評審工作。另一個想法是「兩階段評審流程」：第一階段要求提交簡短的摘要和方法描述，評審者評估整體新穎度，並標註倫理問題；第二階段（僅對於通過第一階段的論文）要求提交帶結果的論文終版。最後也最容易的一點是，會議至少應設定倫理規範，以便評審者標註論文的倫理問題。這或許是個好主意。在新事物層出不窮的當下，在腦子裡組織內容並列舉要優先關注的部分需要用到軟體工具。Whova app 支援關鍵詞搜尋會議議程，但它只能在智慧手機上使用，且 UI 介面重文字輕視覺。其他大型會議（如 SIGRAPH (https://s2019.siggraph.org/full-program/) 或 CHI (https://chi2019.acm.org/web-program.php)）有一些更好的 UI 工具可以導航至會議議程，因此如果 NeurIPS 能夠在這方面多投入一點就好了。儘管在一個巨大的房間裡肩並肩地看所有主題很不錯（它鼓勵人們跨出自己領域廣泛涉獵），但擁擠度增加帶來的弊大於利。我們對各個主題已經有了明確的分類（NLP、CV、理論、RL 等），因此考慮按主題在多個房間辦 poster session 會更好，不必都擠在一個大房間裡。最後，我要談談積極的一面。儘管規模龐大會帶來一些缺陷，但我對 NeurIPS 2019 的整體感覺很好。這是我第一次參與如此大規模的學術盛會，整個會議運轉之流暢令我印象深刻，會議展示了多個領域的工作，舉辦了多場有趣的 workshop 和報告，這些我都很喜歡。只要精心管理會議的未來增長情況，鼓勵積極方面，抑制消極面，那麼我將很高興看到 NeurIPS 成為名副其實的「大」會，未來我也願意再次參加 NeurIPS 會議。原文連結：https://thegradient.pub/neurips-2019-too-big/