翻譯 | AI科技大本營（rgznai100）
參與 | 尚巖奇、周翔
8 月 6 日，為期 6 天的國際機器學習大會 ICML 在澳大利亞悉尼正式拉開帷幕。據統計，今年的 ICML 共接收 1676 篇論文，其中 434 篇被收錄，雙雙創下歷史記錄。作為谷歌學術中排名最高的機器學習相關的出版機構，以及被中國計算機學會推薦的A類人工智慧國際學術會議，ICML 的在機器學習理論研究方面的地位毋庸置疑。
根據 ICML 官方的訊息，今年的最佳論文獎(Best Paper Award)被 Pang Wei Koh 和 Percy Liang 收入囊中，其中 Pang Wei Koh 目前是史丹佛大學的在讀博士生，而 Percy Liang 則是史丹佛大學的助理教授，都是華人。
左：Pang Wei Koh；右： Percy Liang 複製程式碼AI科技大本營發現，Pang Wei Koh 來自新加坡，是名副其實的學神，其 GRE的成績為：Quantitative 800/800，Verbal 800/800，Writing 6/6，大學本科的整體平均 GPA 為 4.19/4, CS 專業的 GPA 為 4.23/4。不僅如此，Pang Wei Koh 還曾經與吳恩達共事，並在 2012 年的時候加入 Coursera，成為該線上教育平臺的第三名員工。2015 年的時候，Pang Wei Koh 重返史丹佛大學做研究，2016 年正式開始博士生涯，而這篇 ICML 2017 最佳論文則是 Pang Wei Koh 和助理教授 Percy Liang 的工作成果之一。
根據 jeffhuang 的統計，華人首次獲得 ICML 最佳論文獎可以追溯到 2010 年，之後 ICML 2014 的最佳論文獎則被北京大學的 Jian Tang 拿下，而 ICML 2016 的三篇最佳論文之一“Dueling Network Architectures for Deep Reinforcement Learning”的第一作者是 Ziyu Wang。
jeffhuang 統計的自 1999 年以來的 ICML 歷屆最佳論文清單複製程式碼與此同時，另一重磅獎項——最具時間價值獎(Test of Time Award)則頒給了 Sylvain Gelly 和 David Silver，以獎勵他們在蒙特卡洛樹搜尋演算法領域的貢獻。此外，還有 4 篇論文獲榮譽獎(Honorable Mentions)。
以下是獲獎論文簡介：
最佳論文獎（Best Paper Award）
論文標題：藉助影響函式理解黑箱預測(Understanding Black-box Predictions via Influence Functions)
論文作者：Pang Wei Koh、Percy Liang
論文摘要：如何解釋黑箱模型作出的預測？在本文中，我們利用影響函式法（穩健統計中的一種經典方法）追蹤模型的預測，以此識別出最可能導致給定預測的訓練點。為了擴充套件影響函式使其適應現代機器學習系統，我們開發了一種簡單且高效的實現方法，這種方法只需用到梯度的 oracle 訪問途徑以及 Hessian 向量積。我們證明了，即使是在不適用理論的 non-convex 模型和 non-differentiable 模型上，影響函式的近似演算法仍能給出很有用的資訊。我們線上性模型和卷積神經網路上證明了影響函式可作以下用途：理解模型行為、除錯模型、檢測資料集錯誤以及生成視覺上無法分辨的訓練集攻擊。
論文地址：https://arxiv.org/pdf/1703.04730.pdf
最具時間價值獎(Test of Time Award)
論文標題：整合 UCT 演算法中的線上和離線知識(Combining Online and Offline Knowledge in UCT)
論文作者：Sylvain Gelly、David Silver
論文摘要：UCT 演算法利用基於樣本的搜尋來學習線上價值函式。針對策略性分佈(on-policy distribution)，T D(λ) 演算法可以離線學習價值函式。我們探討了三種在 UCT 演算法裡整合離線和線上價值函式的方法。
- 方法一：在進行 Monte-Carlo（蒙特卡洛） 模擬期間將離線價值函式作為預設策略；
- 方法二：將 UCT 價值函式與對行動值(action values)的快速線上預測相整合；
- 方法三：將離線價值函式用作為 UCT 搜尋樹中的先驗知識。
我們讓這些演算法與 GnuGo 3.7.10 在 9×9 的圍棋上進行對戰，以此對這些演算法作出評估。第一個演算法在表現上要好於使用隨機模擬策略的 UCT 演算法，但是卻意外地落後於使用較差的人為模擬策略。第二個演算法的表現優於 UCT 演算法。第三個演算法的表現優於使用人為模擬策略的 UCT 演算法。我們在MoGo（最強大的 9 × 9 圍棋程式）中整合了這些演算法。每種方法都可以在很大程度上提高MoGo 的棋術。
AI科技大本營注：UCT 演算法(Upper Confidence Bound Apply to Tree)，即上限置信區間演算法，是一種博弈樹搜尋演算法，該演算法將蒙特卡洛樹搜尋(Monte—Carlo Tree Search，MCTS)方法與 UCB 公式結合，在超大規模博弈樹的搜尋過程中相對於傳統的搜尋演算法有著時間和空間方面的優勢。
論文地址：http://www.machinelearning.org/proceedings/icml2007/papers/387.pdf
榮譽獎(Honorable Mentions)
論文標題：Pegasos: Primal Estimated sub-GrAdient SOlver for SVM
論文作者：Shai Shalev-Shwartz、Yoram Singer、Nathan Srebro、Andrew Cotter
論文摘要：本文闡述並分析了一種簡單且有效的隨機次梯度下降演算法，這種演算法可以解決支援向量機（SVM）的優化問題。我們證明了，得出精準度解決方案所需的迭代次數為 ε 是
而且每次迭代都在單個訓練例項上進行。相反地，此前針對 SVM 的隨機梯度下降法求解則需要進行
次迭代。在先前設計的 SVM 求解演算法中，迭代次數也以 1/λ 線性增加，其中 λ 為SVM的正則化引數。對於線性核函（linear kernel）來說，我們方法的總執行時間為
，
其中 d 為每個例項中非零特徵數量的限制引數。由於執行時間的長短與訓練集的大小無直接關係，因此得出的演算法特別適合用於學習大資料集。我們的方法在只求解原始目標函式(primal objective function)時經擴充套件還可以求解非線性核函式，但是在這種情況下，總執行時間與訓練集大小呈線性關係。我們的演算法特別適合用於解決大篇幅文字分類問題，並且我們還證明了該演算法解決此類問題的速度要比之前的 SVM 學習方法高一個數量級。
論文地址：http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf
論文標題：Lost Relatives of the Gumbel Trick
論文作者：Matej Balog, Nilesh Tripuraneni, Zoubin Ghahramani, Adrian Weller
論文地址：https://arxiv.org/pdf/1706.04161.pdf
論文標題：Modular Multitask Reinforcement Learning with Policy Sketches
論文作者：Jacob Andreas, Dan Klein, Sergey Levine
論文地址：https://arxiv.org/pdf/1611.01796.pdf
論文標題：A Unified Maximum Likelihood Approach for Estimating Symmetric Properties of Discrete Distributions
論文作者：Jayadev Acharya, Hirakendu Das, Alon Orlitsky, Ananda Suresh
論文地址：http://people.ece.cornell.edu/acharya/papers/pml-opt.pdf
歷屆被引用量最高論文解讀
除了最佳論文之外，AI科技大本營還精選了歷屆 ICML 收錄論文“被引用次數”最高的前五位（來自谷歌學術），通過這些論文，我們可以一窺近年來對機器學習領域產生重要影響的工作：
谷歌學術排名
1. 論文標題：批量歸一化：通過減少內部協變數轉移加速深度網路訓練（被引用次數：1769）
論文摘要：在深度神經網路的訓練過程中，前一層引數的調整會導致之後每一層輸入值的分佈發生變化，這種現象使模型的訓練變得十分複雜。因此在訓練模型時，通常需要選取較小的學習速率並謹慎地對引數進行初始化，但是這不僅會拖慢訓練速度，而且還會使飽和非線性模型的訓練變得極為困難。這種現象稱為“內部協變數轉移(covariate shift)”，我們通過歸一化(normalizing)每層的輸入來解決這個問題。該方法的強大之處在於我們把
我們在最先進的影像分類模型上應用了批量歸一化法，實驗證明應用該方法的模型在訓練步數減少到原來的 1/14 的情況下可以實現與原模型相同的精度，並且在效能上遠超原模型。通過使用批量歸一化的網路模型，我們以 4.8% 的測試誤差率重新整理了 ImageNet 影像分類大賽的最佳紀錄，並超出了人類評估者的準確率。
2. 論文標題：DeCAF：應用於一般視覺識別任務的深度卷積啟用特徵（被引用次數：1404）
論文摘要：本文探究的是，使用一個物體識別任務大資料集對深度卷積網路進行全監督訓練，在網路啟用時提取出的特徵能否應用到新的一般任務中。這些一般任務可能與原來的訓練任務大不相同，而且用來訓練或調整深度卷積架構適應新任務的標記資料或未標記資料也可能不足。我們對多個此類任務中深度卷積特徵的語義分簇進行了研究和視覺化操作，這些任務包括場景識別、領域自適應和細粒度影像識別。
我們比較了依據不同網路層定義某一固定特徵的效果，在多個重要視覺識別挑戰上取得了遠遠超過當前最高水平的新成績。我們公佈了 DeCAF ，這些深度卷積啟用特徵的開源實現形式，以及所有相關網路引數，目的是使視覺識別研究人員能夠使用深度表徵在多種視覺概念學習範例上進行試驗。
3. 論文標題：通過大規模無監督學習構建高階別特徵（被引用次數：1258）
論文摘要：本文探究的是使用未標記資料構建特定類別的高階特徵檢測器。例如：僅使用未標記影像，是否能訓練一個面部特徵檢測器？為了回答這個問題，我們藉助 pooling（池化法） 和區域性對比歸一化法，用一個大型影像資料集訓練了一個區域性連線的 9 層稀疏自動編碼器模型（該模型的連線數為 10 億，該資料集包含 1000 萬張從網上下載的200×200畫素的影像）。
我們將模型放在一個由 1000 臺機器（處理器核心數為 16000）組成的機群上，使用模型並行和非同步 SGD 訓練三天，生成了該網路。實驗結果表明，在不對影像進行（“有臉部”或“無臉部”）標記的情況下，無法訓練面部檢測器。這與普遍持有的觀點截然相反。控制實驗表明，該特徵檢測器不僅對轉譯，還對縮放和離面轉動（out-of-plane rotation）有較好的魯棒。
我們還發現，同一網路對其他高階概念也很敏感，如貓臉和人體。使用這些訓練特徵訓練該網路，訓練後的網路在識別 ImageNet上 的22000個物體類別時實現了 15.8% 的準確度，比先前的最高紀錄高 70%。
4. 論文標題：語句和文章的分散式表徵（被引用次數：1183）
論文摘要：許多機器學習演算法要求輸入資料必須表示為長度固定的特徵向量。如果輸入的是文字，最普遍的一個定長特徵為詞袋（bag-of-words）特徵。詞袋特徵雖然普及度較高，但是卻有兩大弊端：它們會打亂單詞順序和忽視單詞含義。例如，“powerful” ，“strong” 和 “Paris”這三個單詞的分佈是等距的。在本文中，我們提出了段落向量(Paragraph Vector)，這是一種可以從長度不定的文字（如語句、段落和文章）中學習定長特徵表示的無監督演算法。這種演算法用一個密集向量(dense vector)表示每一篇文章，該向量經過訓練後可以預測文章中的文字。密集向量的結構可以使該演算法能克服詞袋模型的缺陷。實驗結果表明，段落向量的表現優於詞袋模型和其他文字表示方法。最後，我們在幾個文字分類和語義分析任務中重新整理了當前的最優成績。
5. 論文標題：Show，Attend and Tell演算法：使用Attention機制生成視覺神經影像描述（被引用次數：810）
論文摘要：基於機器學習和物體識別近期取得的成果，我們提出了一種基於注意力(attention)機制的模型，該模型可以自動學習如何描述影像內容。本文闡述了我們如何使用標準反向傳播演算法確定地訓練模型以及如何通過最大化變分下界(variational lower bound)來隨機訓練模型。我們還通過視覺化方法說明了當在輸出序列中生成相應的描述性文字時，模型如何自動學習聚焦影像中明顯的物體。我們在 Flickr9k, Flickr30k 和 MS COCO 這三個基準資料集上應用了注意力機制，試驗結果表明使用該機制可以實現最佳效能。
在AI科技大本營微信公眾號（rgznai100）會話回覆“ICML”，下載本文所提到的所有論文。複製程式碼關注福利
關注AI科技大本營，進入公眾號，回覆對應關鍵詞打包下載學習資料
回覆：CCAI，下載《CCAI 2017嘉賓演講PPT 》
回覆：路徑，下載深度學習Paper閱讀路徑（128篇論文，21大領域）
回覆：法則，下載《機器學習的四十三條經驗法則》
回覆：美團，下載《深度學習在美團外賣的應用，NLP在美團點評的應用》，《NLP在美團點評的應用》pdf
回覆：沙龍，下載CSDN學院7月15日線下沙龍PPT（蔣濤、孟巖、智亮）
回覆：對抗，下載臺大李宏毅老師關於生成對抗學習視訊教程(附PPT)
回覆：AI報告，下載麥肯錫、波士頓、埃森哲諮詢公司AI報告
回覆：銀行，下載銀行和證券公司的AI報告
回覆：人才，下載 2017 領英《全球AI領域人才報告》
回覆：發展，下載2017 全球人工智慧發展報告_框架篇
回覆：設計，下載人工智慧與設計的未來
回覆：1986，下載李開復1986年論文《評價函式學習的一種模式分類方法》和1990年論文《The Development of a World Class Othello Program》
回覆：中美，下載《中美兩國人工智慧產業發展全面解讀》（騰訊研究院）