去年有哪些機器學習重要進展是你必須關注的？聽聽 DeepMind 研究科學家怎麼說。
2020 年因為新冠疫情，很多人不得不在家工作和學習，大量人工智慧學術會議也轉為線上。不過在去年我們仍然看到了很多 AI 技術領域的進展。DeepMind 研究科學家 Sebastian Ruder 近日幫我們對去年的機器學習社群進行了一番總結。
首先你必須瞭解的是：這些重點的選擇基於作者個人熟悉的領域，所選主題偏向於表示學習、遷移學習，面向自然語言處理（NLP）。如果讀者有不同的見解，可以留下自己的評論。
Sebastian Ruder 列出的 2020 年十大機器學習研究進展是：
01、大模型和高效模型
語言模型從 2018 年到 2020 年的發展
（圖片來自 State of AI Report 2020）
Q· 2020 年發生了什麼？
在過去的一年，我們看到了很多前所未有的巨型語言和語音模型，如 Meena（Adiwardana et al., 2020）、Turing-NLG、BST（Roller et al., 2020）和 GPT-3（Brown et al., 2020）。與此同時，研究人員們也早已意識到訓練這樣的模型要耗費過量的能源（Strubell et al., 2019），並轉而探索體量更小、效果仍然不錯的模型：最近的一些進展方向來自於裁剪（(Sajjad et al., 2020、Sanh et al., 2020、）、量化（Fan et al., 2020b）、蒸餾（Sanh et al., 2019、Sun et al., 2020）和壓縮（Xu et al., 2020）。
另有一些研究關注如何讓 Transformer 架構本身變得更高效。其中的模型包括 Performer（Choromanski et al., 2020）和 Big Bird（Zaheer et al., 2020），如本文第一張圖所示。該圖顯示了在 Long Range Arena 基準測試中不同模型的效能（y 軸）、速度（x 軸）和記憶體佔用量（圓圈大小）（Tay et al., 2020）。
像 experiment-impact-tracker 這樣的工具（Henderson et al., 2020）已讓我們對於模型的能耗效率更為了解。其研究者還推動了評估效率的競賽和基準測試，如 EMNLP 2020 上的 SustaiNLP 研討會，NeurIPS 2020 上的 Efficient QA 競賽和 HULK（Zhou et al., 2020。
模型體量的擴大可以讓我們不斷突破深度學習能力的極限。而為了在現實世界部署它們，模型必須高效。這兩個方向也是相輔相成的：壓縮大號模型可以兼顧效率和效能（Li et al., 2020），而效率更高的方法也可以推動更強、更大的模型（Clark et al., 2020）。
鑑於對效率和可用性的考慮，我認為未來研究的重點不僅僅是模型的表現和引數數量，也會有能耗效率。這會有助於人們對於新方法進行更全面的評估，從而縮小機器學習研究與實際應用之間的差距。
02、檢索增強
使用 REALM 進行無監督預訓練，
檢索器和編碼器經過了聯合預訓練。
大規模模型可以利用預訓練資料學習出令人驚訝的全域性知識，這使得它們可以重建事實（Jiang et al., 2020）並在不接觸外界上下文的情況下回答問題（Roberts et al., 2020）。然而，把這些知識隱式地儲存在模型引數中效率很低，需要極大的模型來儲存足量的資訊。與之不同的是，最近的一些方法選擇同時訓練檢索模型和大規模語言模型，在知識密集型 NLP 任務上獲得了強大的結果，如開放域問答（Guu et al., 2020、Lewis et al., 2020）和語言建模（Khandelwal et al., 2020）。
這些方法的主要優點是將檢索直接整合到語言模型的預訓練中，從而讓語言模型效率更高，專注於學習自然語言理解中更具挑戰性的概念。因此在 NeurIPS 2020 EfficientQA 競賽中的最佳系統依賴於檢索（Min et al., 2020）。
檢索是很多生成任務的標準方法，例如文字摘要和對話此前已大量被摘要生成所替代 (Allahyari et al., 2017)。檢索增強生成可以將兩個方面的優點結合在一起：檢索段的事實正確性、真實性以及所生成文字的相關性和構成。
檢索增強生成對於處理過去困擾生成神經模型的失敗案例尤其有用，尤其是在處理幻覺（hallucination）上（Nie et al., 2019）。它也可以通過直接提供預測依據來幫助使系統更易於解釋。
03、少樣本學習
Prompt-based 微調使用模板化的提示和演示
（Gao et al., 2020）
在過去幾年中，由於預訓練的進步，給定任務的訓練樣本數量持續減少（Peters et al., 2018、Howard et al., 2018）。我們現在正處在可以使用數十個示例來完成給定任務的階段（Bansal et al., 2020）。自然地，人們想到了少樣本學習變革語言建模的正規化，其中最為突出的例子就是 GPT-3 中上下文學習的方法。它可以根據一些輸入 – 輸出對和一個提示進行預測。無需進行梯度更新。
不過這種方式仍然有其限制：它需要一個巨大的模型——模型需要依賴現有的知識——這個模型能夠使用的知識量受到其上下文視窗的限制，同時提示需要手工完成。
最近的一些工作試圖通過使用小模型，整合微調和自動生成自然語言提示（Schick and Schütze, 2020、Gao et al., 2020、Shin et al., 2020）讓少樣本學習變得更加有效。這些研究與可控神經文字生成的更廣泛領域緊密相關，後者試圖廣泛地利用預訓練模型的生成能力。
有關這一方面，可以參閱 Lilian Weng 的一篇部落格：
https://lilianweng.github.io/lil-log/2021/01/02/controllable-neural-text-generation.html
少樣本學習可以使一個模型快速承接各種任務。但是為每個任務更新整個模型的權重是很浪費的。我們最好進行區域性更新，讓更改集中在一小部分引數裡。有一些方法讓這些微調變得更加有效和實用，包括使用 adapter（Houlsby et al., 2019、Pfeiffer et al., 2020a、Üstün et al., 2020），加入稀疏引數向量（Guo et al., 2020），以及僅修改偏差值（Ben-Zaken et al., 2020）。
能夠僅基於幾個範例就可以讓模型學會完成任務的方法，大幅度降低了機器學習、NLP 模型應用的門檻。這讓模型可以適應新領域，在資料昂貴的情況下為應用的可能性開闢了道路。
對於現實世界的情況，我們可以收集上千個訓練樣本。模型同樣也應該可以在少樣本學習和大訓練集學習之間無縫切換，不應受到例如文字長度這樣的限制。在整個訓練集上微調過的模型已經在 SuperGLUE 等很多流行任務中實現了超越人類的效能，但如何增強其少樣本學習能力是改進的關鍵所在。
04、對比學習
例項判別從同一個影像的不同轉換之間比較特徵
（Caron et al., 2020）
對比學習是一種為 ML 模型描述相似和不同事物的任務的方法。利用這種方法，可以訓練機器學習模型來區分相似和不同的影像。
最近，對比學習在計算機視覺和語音的自監督表徵學習（van den Oord, 2018; Hénaff et al., 2019）中越來越受歡迎。用於視覺表徵學習的新一代自監督強大方法依賴於使用例項判別任務的對比學習：將不同影像視為 negative pairs，相同影像的多個檢視視為 positive pairs。最近的方法進一步改善了這種通用框架：SimCLR（Chen et al., 2020）定義了增強型例項的對比損失；Momentum Contrast（He et al., 2020）試圖確保大量且一致的樣本對集合；SwAV（Caron et al., 2020）利用線上聚類；而 BYOL 僅使用 positive pairs（Grill et al., 2020）。Chen 和 He (2020) 進一步提出了一種與先前方法有關的更簡單的表述。
最近，Zhao et al. (2020)發現資料增強對於對比學習至關重要。這可能表明為什麼在資料增強不那麼普遍的 NLP 中使用大型預訓練模型進行無監督對比學習並不成功。他們還假設，例項判別比計算機視覺中的有監督預訓練更好的原因是：它不會試圖讓一個類中所有例項的特徵相似，而是保留每個例項的資訊。在 NLP 中，Gunel et al. (2020)無監督的預訓練涉及對成千上萬個單詞型別進行分類的問題不大。在 NLP 中，Gunel et al. (2020)最近採用對比學習進行有監督的微調。
語言建模中常用的 one-hot 標籤與模型輸出的 logit 之間的交叉熵目標存在一些侷限性，例如在不平衡的類中泛化效果較差（Cao et al., 2019）。對比學習是一種可選擇的補充正規化，可以幫助緩解其中的一些問題。
對比學習與 masked 語言建模相結合能夠讓我們學習更豐富、更魯棒的表徵。它可以幫助解決模型異常值以及罕見的句法和語義現象帶來的問題，這對當前的 NLP 模型是一個挑戰。
05、要評估的不只是準確率
用於探索情感分析中否定性的理解的 CheckList 模板和測試
（Ribeiro et al., 2020）
NLP 中的 SOTA 模型已在許多工上實現了超越人類的表現，但我們能否相信這樣的模型可以實現真正的自然語言理解（Yogatama et al., 2019; Bender and Koller, 2020）？其實，當前的模型離這個目標還很遠。但矛盾的是，現有的簡單效能指標無法體現這些模型的侷限性。該領域有兩個關鍵主題：a）精選當前模型難以處理的樣例；b）不只是選擇準確率等簡單指標，而是進行更細粒度的評估。
關於前者，常用的方法是在資料集建立過程中使用對抗過濾（Zellers et al., 2018），過濾出由當前模型正確預測的樣例。最近的研究提出了更有效的對抗過濾方法（Sakaguchi et al., 2020; Le Bras et al., 2020）和一種迭代資料集建立處理方法（Nie et al., 2020; Bartolo et al., 2020），其中樣例經過過濾，模型經過了多輪的重新訓練。Dynabench 提供了此類不斷變化的基準的子集。
針對第二點的方法在本質上也是相似的。該領域通常會建立 minimal pairs（也稱為反事實樣例或對比集）（Kaushik et al., 2020; Gardner et al., 2020; Warstadt et al., 2020），這些 minimal pairs 以最小的方式干擾了樣例，並且經常更改 gold label。Ribeiro et al. (2020) 在 CheckList 框架中形式化了一些基本的直覺，從而可以半自動地建立此類測試用例。此外，基於不同的屬性來描述樣例可以對模型的優缺點進行更細粒度的分析（Fu et al., 2020）
為了構建功能更強大的機器學習模型，我們不僅需要了解模型是否優於先前的系統，還需要了解它會導致哪種錯誤以及還有哪些問題沒被反映出來。通過提供對模型行為的細粒度診斷，我們可以更輕鬆地識別模型的缺陷並提出解決方案。同樣，利用細粒度的評估可以更細緻地比較不同方法的優缺點。
06、語言模型的現實應用問題
模型會根據看似無害的提示，生成有害的結果
(Gehman et al., 2020)
與 2019 年語言模型 (LMs) 分析側重於此類模型所捕獲的語法、語義和世界認知的氛圍相比，最近一年的分析揭示了許多實際問題。
比如經過預訓練的 LM 容易生成「有毒」的語言 (Gehman et al., 2020)」、洩露資訊 (Song & Raghunathan, 2020)。還存在微調後易受到攻擊的問題，以致攻擊者可以操縱模型預測結果 (Kurita et al., 2020; Wallace et al., 2020)，以及容易受到模型的影響(Krishna et al., 2020; Carlini et al., 2020）。
眾所周知，預訓練模型可以捕獲關於受保護屬性（例如性別）的偏見（Bolukbasi et al., 2016; Webster et al., 2020），Sun et al., 2019 的研究給出了一份減輕性別偏見的調查。
大公司推出的大型預訓練模型往往在實際場景中會有積極的部署，所以我們更應該意識到這些模型存在什麼偏見，又會產生什麼有害的後果。
隨著更大模型的開發和推出，從一開始就將這些偏見和公平問題納入開發過程是很重要的。
07、Multilinguality
全球標記 / 未標記語言資料的不均衡分佈情況
(Joshi et al., 2020)
2020 年，多語言 NLP 有諸多亮點。旨在加強非洲語種 NLP 研究的 Masakhane 機構在第五屆機器翻譯會議 (WMT20) 上發表的主題演講，是去年最令人鼓舞的演講之一。此外，這一年還出現了其他語言的新通用基準，包括 XTREME (Hu et al., 2020)、XGLUE (Liang et al., 2020)、IndoNLU (Wilie et al., 2020)、IndicGLUE (Kakwani et al., 2020)。現有的資料集也擴充到了其他語言中，比如：
  • SQuAD: XQuAD (Artetxe et al., 2020), MLQA (Lewis et al., 2020), FQuAD (d’Hoffschmidt et al., 2020);
  • Natural Questions: TyDiQA (Clark et al., 2020), MKQA (Longpre et al., 2020);
  • MNLI: OCNLI (Hu et al., 2020), FarsTail (Amirkhani et al., 2020);
  • the CoNLL-09 dataset: X-SRL (Daza and Frank, 2020);
  • the CNN/Daily Mail dataset: MLSUM (Scialom et al., 2020)。
通過 Hugging Face 資料集可以訪問其中的大部分資料集，以及許多其他語言的資料。涵蓋 100 種語言的強大模型也就應運而生了，包括 XML-R (Conneau et al., 2020)、RemBERT (Chung et al., 2020)、InfoXLM (Chi et al., 2020)等，具體可參見 XTREME 排行榜。大量特定語言的 BERT 模型已經針對英語以外的語言進行了訓練，例如 AraBERT (Antoun et al., 2020)和 IndoBERT (Wilie et al., 2020)，檢視 Nozza et al., 2020; Rust et al., 2020 的研究可以瞭解更多資訊。藉助高效的多語言框架，比如 AdapterHub (Pfeiffer et al., 2020)、Stanza (Qi et al., 2020)和 Trankit (Nguyen et al., 2020) ，世界上許多語種的建模和應用工作都變得輕鬆了許多。
此外，還有兩篇很有啟發的研究，《The State and Fate of Linguistic Diversity(Joshi et al., 2020)》和《Decolonising Speech and Language Technology (Bird, 2020)》。第一篇文章強調了使用英語之外語言的緊迫性，第二篇文章指出了不要將語言社群及資料視為商品。
擴充到英語之外的 NLP 研究有很多好處，對人類社會能產生實實在在的影響。考慮到不同語言中資料和模型的可用性，英語之外的 NLP 模型將大有作為。同時，開發能夠應對最具挑戰性設定的模型並確定哪些情況會造成當前模型的基礎假設失敗，仍然是一項激動人心的工作。
08、影像Transformers
Vision Transformer 的論文中，研究者將 Transformer 編碼器應用於平坦影像塊。
Transformer 在 NLP 領域取得了巨大的成功，但它在卷積神經網路 CNN 佔據主導地位的計算機視覺領域卻沒那麼成功。2020 年初的 DETR (Carion et al., 2020) 將 CNN 用於計算影像特徵，但後來的模型完全是無卷積的。Image GPT (Chen et al., 2020)採用了 GPT-2 的方法，直接從畫素進行預訓練，其效能優於有監督的 Wide ResNet，後來的模型是將影像重塑為被視為「token」的補丁。Vision Transformer (ViT，Dosovitskiy et al., 2020)在數百萬個標記好的影像上進行了訓練，每一個影像都包含此類補丁，模型效果優於現有最新的 CNN。Image Processing Transformer（IPT，Chen et al., 2020）在被破壞的 ImageNet 示例上進行對比損失預訓練，在 low-level 影像任務上實現了新的 SOTA。Data-efficient image Transformer (DeiT，Touvron et al., 2020) 以蒸餾方法在 ImageNet 上進行了預訓練。
有趣的是，研究者們發現了 CNN 是更好的教師，這一發現類似於蒸餾歸納偏置（inductive bias）應用於 BERT (Kuncoro et al., 2020)。相比之下在語音領域，Transformer 並未直接應用於音訊訊號，而通常是將 CNN 等編碼器的輸出作為輸入(Moritz et al., 2020; Gulati et al., 2020; Conneau et al., 2020)。
與 CNN 和 RNN 相比，Transformer 的歸納偏置更少。儘管在理論上，它不如 RNN (Weiss et al., 2018; Hahn et al., 2020)強大，但如果基於充足的資料和規模，Transformer 會超越其他競爭對手的表現。
未來，我們可能會看到 Transformer 在 CV 領域越來越流行，它們特別適用於有足夠計算和資料用於無監督預訓練的情況。在小規模配置的情況下，CNN 應該仍是首選方法和基線。
09、自然科學與機器學習
基於自注意力的 AlphaFold 架構
去年，DeepMind 的 AlphaFold 在 CASP 蛋白質摺疊挑戰賽中實現了突破性的表現，除此之外，將機器學習應用於自然科學還有一些顯著的進展。MetNet (Sønderby et al., 2020)證明機器學習在降水預測方面優於數值天氣預報；Lample 和 Charton（2020）採用神經網路求解微分方程，比商用計算機系統效果更好；Bellemare et al. （2020）使用強化學習為平流層的熱氣球導航。
此外，ML 現已被廣泛應用於 COVID-19，例如 Kapoor 等人利用 ML 預測 COVID-19 的傳播，並預測與 COVID-19 相關的結構，Anastasopoulos 等人將相關資料翻譯成 35 種不同的語言，Lee 等人的研究可以實時回答有關 COVID-19 的問題。
有關 COVID-19 相關的 NLP 應用程式的概述，請參閱第一期 COVID-19 NLP 研討會的會議記錄：《Proceedings of the 1st Workshop on NLP for COVID-19 (Part 2) at EMNLP 2020》。
自然科學可以說是 ML 最具影響力的應用領域。它的改進涉及到生活的許多方面，可以對世界產生深遠的影響。隨著蛋白質摺疊等核心領域的進展，ML 在自然科學中的應用速度只會加快。期待更多促進世界進步的研究出現。
10、強化學習
與最先進的智慧體相比，Agent57 和 MuZero 整個訓練過程中在雅達利遊戲中的表現優於人類基準(Badia et al., 2020)。
單個深度強化學習智慧體 Agent57(Badia et al., 2020)首次在 57 款 Atari 遊戲上超過人類，這也是深度強化學習領域中的一個長期基準。智慧體的多功能性來自於神經網路，該網路允許在探索性策略和利用性策略之間切換。
強化學習在遊戲方面的另一個里程碑是 Schrittwieser 等人開發的 MuZero，它能預測環境各個方面，而環境對精確的規劃非常重要。在沒有任何遊戲動態知識的情況下，MuZero 在雅達利上達到了 SOTA 效能，在圍棋、國際象棋和日本象棋上表現也很出色。
最後是 Munchausen RL 智慧體(Vieillard et al., 2020)，其通過一個簡單的、理論上成立的修改，提高了 SOTA 水平。
強化學習演算法有許多實際意義 (Bellemare et al., 2020)。研究人員對這一領域的基本演算法進行改進，通過更好的規劃、環境建模和行動預測產生很大的實際影響。
隨著經典基準（如 Atari）的基本解決，研究人員可能會尋找更具挑戰性的設定來測試他們的演算法，如推廣到外分佈任務、提高樣本效率、多工學習等。
作者：Sebastian Ruder

編譯：機器之心

轉自：機器之心

原文連結：https://ruder.io/research-highlights-2020/

圖片來源於Pexels