冰雪王國的浪漫
機器學習的盛宴
NIPS（Advances in Neural Information Processing Systems，神經資訊處理系統進展大會）是每年12月由NIPS基金會主辦的機器學習和神經計算領域的頂級會議，它由連線學派（connectionist）神經網路的學者於1987年在加拿大創辦，後來隨著影響力逐步擴大，也曾移師美洲、歐洲等地舉辦。每年大會都吸引了機器學習、人工智慧、統計等領域的眾多國際專家地參與。近年來，在工業界和科學界，神經網路構建的深度學習方法取得了很多突破性的進展，在計算機視覺、語音識別、自然語言處理等領域也出現了大量的創新應用，NIPS在機器學習領域的學術影響力變得舉足輕重。
本次NIPS大會在加拿大魁北克省的蒙特利爾舉行。蒙特利爾位於五大湖和聖勞倫斯河河口，是加拿大僅次於多倫多的第二大城市，同時也是加拿大的經濟之都，擁有發達的金融、電影、設計、航空產業。加拿大是是冰雪的王國，得益於此，蒙特利爾最受歡迎的運動便是冰球。這裡還有很多繁華的地下城，即便是外面大雪紛飛，裡面依然燈火通明。蒙特利爾更有眾多歐洲與北美風格融合的建築，吸引了眾多好萊塢大片來這裡取景。下圖便是蒙特利爾神聖、典雅的聖母院大教堂，加拿大著名歌手席琳·迪翁的婚禮就是在此舉行。
2015年的NIPS大會於12月7日至12月12日在蒙特利爾的國會會展中心舉行。大會獲得了包括微軟在內的多家知名IT企業的大力贊助。今年共有3755名來自世界各地的研究人員註冊並參加了會議，相比去年參會人數幾乎翻倍。此次大會覆蓋的內容除了機器學習和神經科學領域，還包括認知科學、心理學、計算機視覺、統計語言學和資訊理論等多個領域。
大會日程包括教程（tutorials）、大會會議（conference sessions)、專題座談會（symposia）和研討會（workshops）四個部分。本次大會一共收到1838篇投稿，錄用論文403篇，錄取率為21.9%，論文淘汰的數量十分龐大。在這四百多篇論文中，論文方向極其多樣化，其中佔比最大的為深度學習的相關論文，佔403篇錄取論文中的11%，其次凸優化方向佔了5%、統計學習理論佔了3%。此次大會的論文展示環節主要包括口頭報告（oral）、聚光燈（spotlight）和海報（poster）三種展示形式。NIPS是計算機領域少數堅持單軌制（single track）的會議，這一制度這能讓參會人員更加專注於會議報告本身，但也使得錄取論文的展示時間相對有限。因此，僅有15篇論文獲得了寶貴的20分鐘口頭報告的機會。同時，少量論文獲得了5分鐘時間的聚光燈展示，而剩餘絕大部分的論文展示都是海報為主。
智慧激盪的論文
引人深思的討論
本次會議由大會主席Terrence Sejnowski致開幕詞，常任主席Corinna Cortes和Neil Lawrence介紹了本次會議的投稿、審議標準和論文錄用等情況，這也揭開了NIPS2015的帷幕。本次大會的最佳論文獎頒給了“Competitive Distribution Estimation: Why is Good-Turing Good”（http://papers.nips.cc/paper/5762-competitive-distribution-estimation-why-is-good-turing-good.pdf）和“Fast Convergence of Regularized Learning in Games”（http://papers.nips.cc/paper/5763-fast-convergence-of-regularized-learning-in-games.pdf）兩篇論文。
“Competitive Distribution Estimation: Why is Good-TuringGood”這篇論文屬於統計學習的理論研究範疇，它對估計離散變數的分佈律這一普遍問題，提出了基於Good-Turing估計量的兩種改進方法，藉助對先驗的最優估計量，給出了針對任意分佈律的近似最優的高效估計。論文不僅指出這兩種方法可以快速收斂，同時還給出相應的理論分析。
“Fast Convergence of Regularized Learning in Games”這篇論文屬於博弈學習研究方向。博弈學習被廣泛研究，而該文章中指出一類正則化的學習演算法可以大大改進帶問題本身有近期偏差（更傾向於近期的回報）的結果，它甚至可以被擴充到多玩家博弈的均衡問題。論文擴充套件了之前工作研究的二人零和博弈問題，指出在一類問題中如果每個玩家各自使用最優演算法將達到更快收斂速度，大大擴充了原有理論對博弈的理解。
“Interactive Incremental Question Answering”（http://cs.umd.edu/~miyyer/qblearn/index.html）則獲得了本屆大會的突出展示獎。類似於微軟亞洲研究院幾年前推出的人立方系統，該展示系統能夠根據使用者給出的人物事實性描述和背景，去猜測出使用者希望知道的人名。在展示系統中，使用者可以給出幾句英文的描述，而系統基於依賴樹的遞迴神經網路，學習使用者意圖，在語料庫中能夠找到答案，給出精準的回答。這一系統在大會上大受好評。
除了獲獎論文，大會上還有很多令人印象深刻的報告。“Interactive Control of Diverse Complex Characters With Neural Networks”（http://papers.nips.cc/paper/5764-interactive-control-of-diverse-complex-characters-with-neural-networks.pdf）文章則研究瞭如何藉助遞迴神經網路作為運動控制器的問題。在不進行運動捕捉以及任務相關的特徵設計的前提下，實現了讓不同形態和動力系統機器人做出像游泳，飛行，雙足、四足行走等運動。
“Sampling from Probabilistic Submodular Models”（http://papers.nips.cc/paper/5744-sampling-from-probabilistic-submodular-models.pdf），這篇文章研究了一個有趣的取樣方法。次模函式是經常出現在經濟或計算機領域選址、覆蓋、影象背景分割等問題中常見的函式，它描述了邊際效益遞減的一類特性。作者針對取樣概率是次模函式的函式值問題，提出了基於吉布斯取樣的方法，不僅保證多項式時間的複雜度，且具有很好的混合時間。
此外，在專題座談會上，眾多專家、學者們還在分會場中開展了有趣而深刻的對話和討論。“我們周邊的演算法：機器學習的社會影響力”專題中關於機器人倫理的話題就很有意思。例如自動駕駛技術上就有一個兩難問題（Tunnel Problem）亟待解決：設想你坐在一輛自動駕駛的汽車上，沿著山路的單行線行駛，此時突然有個小孩闖入道路，來不及剎車的情況下，就會面臨兩難選擇：是徑直向前，可能直接撞死小孩；還是撞向山崖，可能掉下懸崖？換句話說，自動駕駛的汽車應如何反應？又由誰來決定汽車的決策方式？這一類問題的核心其實是，對於機器學習演算法中存在的決策失敗概率（風險），或者人類和機器的決策存在衝突時，我們該如何從法律、技術、道德等角度進行約束。
圖片來自網際網路
觸手可及的未來
博採眾長的前行
NIPS大會在展示了相關領域最新研究成果的同時，也預示了機器學習的未來的發展趨勢。
首先是神經網路架構進一步複雜化。在影象、機器翻譯等領域，越來越多的研究人員開始選擇LSTM，利用不同的感知機、目標函式，卷積或者遞迴架構神經網路，在實際專案中實現更多有意思的應用。通過隨機方法近似(stochastic approximation)的演算法也受到不少關注。
其次是自動推斷和黑盒學習技術的發展。今年大會上出現了不少和自動推理技術相關的論文，即通過機器自動推斷模型、預測結果。而工程領域的強勁需求也促生了更多可以快速迭代、低學習曲線的演算法和系統，例如在本機大會上嶄露頭角的STAN、python-autograd等工具。
此外還有對概率推斷的再審視。本次大會和研討會中，出現了一些對於概率推斷新認知的聲音。
正如同期發表在《科學》雜誌上的論文
（http://science.sciencemag.org/content/sci/350/6266/1332.full.pdf）所呈現的一樣，相比深度學習對於大資料的需求，這種小樣本甚至單個樣本的模型都能得到不錯的預測結果，也促使我們重新審視人類大腦的思維和認知方式。
對於我個人來說，這是我在NIPS上的第二篇論文。去年，我參與合作的以線上機器學習中組合問題的純探索策略研究方向的論文有幸在NIPS的進行了口頭報告。今年，在之前的基礎上，我們深入研究，論文“Stochastic Online Greedy Learning with Semi-bandit Feedbacks”（https://papers.nips.cc/paper/5930-stochastic-online-greedy-learning-with-semi-bandit-feedbacks.pdf）被大會錄用，並受邀於9號晚上7點至12點進行海報展示。這篇論文是與清華的李建老師以及微軟亞洲研究院的陳衛老師合作，我們針對線上機器學習領域的組合學習策略研究，提出了一類新的模型，刻畫了貪心的學習方法在解決老虎機問題（bandit）中應用。我們提出的模型能夠借鑑貪心演算法的優點，多次取樣進行引數估計，求解該問題。
本文作者的論文海報
論文海報展示的過程也彌足珍貴，在國內，我們精心製作了2.4x1.2m的大幅海報，並進行了多次的展示演練。在現場展示過程中，我們獲得了很多教授、研究員和同學的關注和駐足聆聽。通過講解自己的研究，回答聽眾們的問題，我將自己的成果分享給了在場的聽眾，同時，我也得到了很多同行們的建議與意見。通過與相關領域專家學者的深入交流，我也迸發出了更多的新想法，與會經歷受益匪淺。