目錄：
Probing Neural Network Comprehension of Natural Language Arguments
Efficient Video Generation on Complex Datasets
A Differentiable Programming System to Bridge Machine Learning and Scientific Computing
Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches
OmniNet: A unified architecture for multi-modal multi-task learning
WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia
Automated Machine Learning in Practice: State of the Art and Recent Results
1.標題：Probing Neural Network Comprehension of Natural Language Arguments
作者: Timothy Niven、Hung-Yu Kao
連結：https://arxiv.org/pdf/1907.07355.pdf
摘要：研究人員發現，儘管 BERT 在觀點推理理解任務上的表現僅比人類基準低 3 個百分點（77%），但是其效能完全依賴於挖掘資料集中的統計線索（statistical cues）。研究人員分析了這些統計線索，發現許多模型都使用這些線索用於推斷。這說明，針對這種線索，可以提出一種對抗樣本資料集，可以使所有語言模型的效能下降到幾乎隨機。論文提出了這種針對觀點理解任務魯棒性的對抗樣本資料集。
觀點閱讀理解任務對抗樣本資料集。左：原始資料；右：對抗樣本。
BERT-Large 模型的在對抗樣本資料集的表現，效果相當於隨機。
推薦：BERT 模型真的那麼神奇嗎？也許從資料集角度分析，再好的預訓練模型也不過是統計擬合。讀者朋友可以參考這篇論文，瞭解如何提升自然語言處理任務模型魯棒性的方法。
2. 標題：Efficient Video Generation on Complex Datasets
作者：Aidan Clark、Jeff Donahue、Karen Simonyan
連結：https://arxiv.org/pdf/1907.06571.pdf
摘要：近日，來自 DeepMind 的研究者則嘗試在視訊建模領域實現逼真的效果，他們認為除了影像生成，GAN 在視訊生成上也是沒有問題的。類似 BigGAN 的思路，研究者在複雜的 Kinetics-600 資料集上訓練一種大型生成對抗網路（GAN），並期待該網路生成的視訊樣本複雜度大大高於之前的研究。
DeepMind 提出的模型叫作 Dual Video Discriminator GAN (DVD-GAN)，可以利用計算高效的判別器分解，擴充套件到時間更長、解析度更高的視訊。該研究是邁向逼真視訊生成的一次探索，連 Ian Goodfellow 也轉推了這篇論文。
DVD-GAN 生成的高清視訊。
推薦：GAN 之父 Ian Goodfellow 轉載的論文。融合多種視訊資料處理思路，使 GAN 進軍視訊生成領域。有興趣瞭解 GAN 在視訊領域應用的讀者推薦閱讀。
3. 標題：A Differentiable Programming System to Bridge Machine Learning and Scientific Computing
作者：Mike Innes、Alan Edelman、Keno Fischer、Chris Rackauckas、Elliot Saba、Viral B Shah、Will Tebbu
連結：https://arxiv.org/pdf/1907.07587.pdf
摘要：近年來，機器學習模型越來越精妙，展現出了很多科學計算的特性，側面凸顯了機器學習框架的強大能力。研究者表示，由於廣泛的科學計算和機器學習領域在底層結構上都需要線性代數的支援，因此有可能以可微程式設計的形式，創造一種新的計算基礎設施。在論文中，研究人員提出了一種可微程式設計系統，它能在 Julia 語言中完成梯度計算，併成為 Julia 語言的第一級特性。這使得構建深度學習模型變得更直觀。更重要的是，這令使用者可以使用已有的 Julia 科學計算包去構建深度學習模型，並高效實現梯度計算。
推薦：特斯拉 AI 主管 Karpathy 點贊、YCombinator 機器學習研究者 Michael Nielsen 推薦的論文。深度學習入門門檻越來越低，用 Julia+自動微分程式設計就可以搞定模型訓練和測試了。
4. 標題：Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches
作者：Maurizio Ferrari Dacrema、Paolo Cremonesi、Dietmar Jannach
連結：https://arxiv.org/pdf/1907.06902.pdf
實現地址：https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation
摘要：對於那些致力於推薦系統演算法方面的研究人員來說，深度學習技術已經成為他們的首先方法。但是，隨著研究人員對深度學習的興趣日益強烈，哪些方法能夠代表當前最佳水平卻變得難以辨別，如適用於 top-n 推薦任務的最佳方法。因此，研究者在本文中列舉出了 top-n 推薦任務中提議演算法的系統分析結果。具體來說，他們試驗了 2018 年頂級科研會議上提出的 18 種演算法，但遺憾的是，僅有 7 種演算法可以通過研究人員的合理努力實現復現。然而，在這 7 種演算法之中，卻又有 6 種演算法的效果通常弱於同類更簡單的啟發式方法，如基於最近鄰或基於圖的方法。剩下 1 種演算法的效果雖然明顯優於基線方法，但無法持續地優於調整好的非神經線性排序法（nonneural linear ranking method）。
推薦：林林總總的推薦演算法效果究竟如何？本篇論文全面解答。從事推薦演算法研究的讀者朋友可以瞭解評價新的評價效能的方法。
5. 標題：OmniNet: A unified architecture for multi-modal multi-task learning
作者：Subhojeet Pramanik、Priyanka Agrawal、Aman Hussain
連結：https://arxiv.org/pdf/1907.07804.pdf
摘要：Transformer 是一種廣受歡迎的神經網路架構，特別是用在自然語言理解任務中。在論文中，研究人員提出了一種可擴充套件的統一神經網路架構——OmniNET。這種架構可以在涉及多種模型的任務中使用，如影像、文字、視訊等。這種模型可以學習空間維度和隱層所對應的時間維度資訊。這樣的單一模型可以支援多模態輸入，以及非同步多工學習。例如，OmniNet 可以同時學習詞性標註、視訊標註、影像問答、和視訊活動識別資訊，而同時訓練這四個任務的模型可以壓縮三倍，且效能和單獨訓練每個任務的模型一致。研究人員也發現，預訓練這個模型可以支援在未見任務中的學習。這些都說明了使用 Transformer 的 OmniNet 的效能表現。
OmniNet 架構。
推薦：如何理解和構建適應多工多模態資料的統一人工神經網路架構？本論文提出了啟發性的研究思路。論文提出的模型架構，無疑為通用預訓練模型研究提供了一些方法。
6. 標題：WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia
作者：Holger Schwenk、Vishrav Chaudhary、Shuo Sun、Hongyu Gong、Francisco Guzmán
連結：https://arxiv.org/pdf/1907.05791.pdf
摘要：研究者提出一種基於多語言句子嵌入的方法，以從 85 種語言（包括幾種方言或低資源語言）的維基百科文章內容中自動提取平行句（parallel sentence）。在提取過程中，平行句並不只是以英文表示的，而是系統化地考慮到所有可能的語言對。從提取結果來看，研究者共為 1620 個不同的語言對提取了 1.35 億個平行句，其中只有 3400 萬個平行句是英文的。為了顯示提取的雙語文字質量，他們為 1886 個語言對的挖掘資料訓練了神經 MT 基線系統，並在 TED 語料庫中進行評估，實現了對很多語言對的高 BLEU 分數。因此，WikiMatrix 雙語文字似乎非常適合訓練不同語言之間的 MT 系統，而不需要轉換成英文。
推薦：機器翻譯中，資料太重要了。論文解決了小語種資料集缺乏的問題，適合對小語種機器翻譯研究的讀者朋友瞭解資料集的構建過程。
7. 標題：Automated Machine Learning in Practice: State of the Art and Recent Results
作者：Lukas Tuggener、Mohammadreza Amirian、Katharina Rombach、Stefan Lörwald、Anastasia Varlet、Christian Westermann、Thilo Stadelmann
連結：https://arxiv.org/pdf/1907.08392
摘要：工業和社會的資訊化動力在於：資料驅動建模和決策可以對高階自動化和更有見地的決策帶來貢獻。從資料中建模往往會涉及到應用某種機器學習技術。因此，應用機器學習技術也需要大量的勞動力進行優化設定。這一需求推動了一項新的研究，即完全自動化的機器學習模型擬合——AutoML。本文回顧了 AutoML 的 SOTA 模型在商業背景下的實際應用，並提供了近期最重要的 AutoML 演算法的基準結果。
推薦：再也不用擔心 AutoML 搞不懂、不會用了。本文將 SOTA 模型、基準結果和實際應用一網打盡。
