本文首發於微信公眾號「對白的演算法屋」，來一起學AI叭
大家好，卷王們and懂王們好，我是對白。
本次我挑選了ICLR2021中NLP領域下的六篇文章進行解讀，包含了文字生成、自然語言理解、預訓練語言模型訓練和去偏、以及文字匹配和文字檢索。從這些論文的思想中借鑑了一些idea用於公司自身的業務中，最終起到了一個不錯的效果。
1、Contrastive Learning with Adversarial Perturbations for Conditional Text Generation
任務：端到端文字生成
本文要解決的是文字生成任務中的暴露偏差（exposure bias）問題，即在文字生成自迴歸形式的生成任務中，解碼器的輸入總是ground truth的token，沒有遇到過錯誤的生成結果。
本文通過引入對比學習損失，讓模型從負樣本中區分正樣本，使得模型暴露於不同的噪聲情況下，來解決這一問題。然而，完全隨機生成噪聲樣本會導致模型非常容易區分，特別是對於預訓練模型而言。因此，本文提出了一種對抗擾動方法，新增擾動使得正樣本具有較高的似然度；使得負樣本具有較低的似然度。
2、CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding
任務：自然語言理解、在fine-tune階段增強文字表示
本文主要研究文字領域的資料增強方法，研究瞭如下問題：
- 可以將哪些增強方法應用於文字？
- 這些增強方式是互補的嗎，是否可以找到一些策略來整合它們以產生更多不同的增強示例？
- 如何有效地將獲得的增強樣本融入訓練過程？
作者考慮了五種針對於文字的資料增強方法：
- 回譯（back-translation）
- c-BERT 詞替換
- mixup
- cutoff
- 對抗訓練
進一步，作者考慮了三種不同的資料增強的策略，以探究問題1和問題2，如上圖所示：
隨機選擇：為mini-batch內的每一條樣本，隨機選擇一種資料增強方法；
mixup：將mini-batch內的兩條樣本通過mixup的策略隨機組合
將不同的增強方法堆疊：
在第三個問題——如何將其更好地融入finetune任務上，提出了對比損失。
實驗發現，兩種增強方式的堆疊能進一步增強效能。在GLUE上進行了實驗，均分相比Baseline提升了2個點。
3、FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
任務：預訓練語言模型去偏
本文將對比學習用於消除預訓練語言模型生成的文字表示中的偏見因素（例如性別偏見、種族偏見等）。為了做到這一點，本文訓練一個額外的對映網路，將語言模型生成的文字表示轉換成另一個表示，在新生成的表示上能達到消除偏見的效果。本文的創新點在於：
- 將原文字中的偏見詞替換成其反義詞（如man<->woman; her<->his; she<->he），這樣可以構建一個增強的文字。通過對比損失，在轉換後的表示中，最大化這兩者的互資訊；
- 為了進一步消除文字中隱含的偏見，額外提出了一個損失，去最小化生成的句子表示和偏見詞表示的互資訊。
4、Towards Robust and Efficient Contrastive Textual Representation Learning
任務：語言模型預訓練
本文分析了目前將對比學習用於文字表示學習存在的問題（2.2節），包括：
- 對比學習中，如果採用KL散度作為訓練目標，訓練過程會不穩定；
- 對比學習要求一個較大的負樣本集合，效率低。
對於第一個問題，作者新增了一個Wasserstein約束，來增強其訓練時的穩定性；對於第二個問題，作者提出了只取樣最近的K個負樣本，稱為Active Negative-sample selection（和NIPS那篇：Hard Negatives Mixing比較類似）。
5、Self-supervised Contrastive Zero to Few-shot Learning from Small, Long-tailed Text data
任務：文字匹配；多標籤文字分類
本文主要嘗試解決多標籤文字分類問題，特別是其存在的長尾標籤問題（即當資料較少時，類別分佈往往不均勻，會存在大量很多隻出現了一兩次的標籤，同時少量類別頻繁出現）。
本文主要將多標籤分類任務建模成類似文字匹配的形式。將取樣不同的正負標籤，同時也會從句子中取樣文字片段，構成偽標籤。這四種形式的標籤（正標籤、負標籤、正偽標籤、負偽標籤）編碼後，和句子編碼拼接，經過一個匹配層，通過二分類交叉熵損失（BCE），或NCE損失（將正例區別於負例）訓練匹配模型。
6、Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval
任務：稠密文字檢索
本文研究文字檢索領域，不同於傳統的利用詞級別進行檢索（稀疏檢索），本文通過訓練文字表示進行文字檢索（稱為Dence Retrieval，DR）。DR包含兩個階段：
- 預訓練一個模型，將文字編碼成一個向量，訓練目標是使得similar pairs具有最大的相似度分數；
- 通過訓練好的編碼模型，將文字編碼、索引，根據query的相似度執行檢索。
本文主要關注於第一階段，即如何訓練一個好的表示。本文從一個假設出發：負樣本取樣方法是限制DR效能的瓶頸。本文的貢獻：
- 提出了一種更好的負取樣方法，用於取樣優質的dissimilar pairs；
- 本文提出的效果能讓訓練更快收斂；
- 本文提出的方法相比基於BERT的方法提升了100倍效率，同時達到了相似的準確率。
本文所提出的負取樣方法是一種不斷迭代的形式，將ANN索引的結果用於負樣本取樣，隨後進一步訓練模型；模型訓練完之後，用於更新文件表示以及索引。
最後歡迎大家關注我的微信公眾號：對白的演算法屋（duibainotes），跟蹤NLP、推薦系統和對比學習等機器學習領域前沿。
想進一步交流的同學也可以通過公眾號加我的微信一同探討技術問題，謝謝。