2020年已過近半，人工智慧學術界的頂級會議也舉行了不少。在今年已經舉行的頂會中，騰訊、百度、阿里等國內科技巨頭被收錄論文在數量和質量上均有所突破，涉及機器學習、自然語言處理、計算機視覺等多個領域。下面，本文整理出這些科技公司在今年頂會中被錄入的部分已分享的論文以饗讀者，歡迎大家收藏。AAAI 2020
騰訊
在2020年的AAAI上，騰訊優圖實驗室共有10篇論文入選，以下是已分享的部分論文：1、Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect（Oral）推薦：本文提出了一種新的通用時間融合框架，在語義和時間兩個方面對幀特徵進行融合。在語義方面，探索了多階段融合網路，在多個語義層次上融合更豐富的幀特徵，有效地減少了傳統單階段融合帶來的資訊損失。同時，針對時間軸，對現有的幀內注意方法進行了改進，增加了一個新的幀間注意模組，透過考慮幀間關係，有效地減少了時間融合中的資訊冗餘。論文地址：https://arxiv.org/abs/1911.125122、Fast Learning of Temporal Action Proposal via Dense Boundary Generator推薦：本文提出了提出一種快速的、端到端的稠密邊界動作生成器(Dense Boundary Generator，DBG)。該生成器能夠對所有的動作提名（proposal）估計出稠密的邊界置信度圖。並引入額外的時序上的動作分類損失函式來監督動作機率特徵(action score feature，asf)，該特徵能夠促進動作完整度迴歸(Action-aware Completeness Regression，ACR)。此外，還設計一種高效的動作提名特徵生成層(Proposal Feature Generation Layer，PFG)，該Layer能夠有效捕獲動作的全域性特徵，方便實施後面的分類和迴歸模組。論文地址：https://arxiv.org/abs/1911.041273、TEINet: Towards an Efficient Architecture for Video Recognition推薦：本文提出了一個有效的時間模組，稱為時間增強和互動（TEI模組），它可以插入到現有的2dcnn中（用TEINet表示）。TEI模組透過分離通道相關和時間互動的建模，提出了一種不同的學習時間特徵的正規化。首先，它包含一個運動增強模組（MEM），該模組在抑制無關資訊（例如背景）的同時增強與運動相關的特徵。然後，介紹了一個時態互動模組（TIM），它以通道方式補充時態上下文資訊。該兩階段建模方案不僅能夠靈活有效地捕捉時間結構，而且能夠有效地進行模型推理。論文地址：https://arxiv.org/abs/1911.09435v14、Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning推薦：本文從自監督特徵學習的角度對影像審美評價問題進行了研究。作者設計了兩個新的介面任務來識別應用於合成例項的編輯操作的型別和引數。然後，將我們的前託詞任務中的特徵應用於一層線性分類器，以二元審美分類的方式評估其效能。我們在三個基準資料集上進行了大量的定量實驗，證明我們的方法能夠忠實地提取美學感知特徵，並優於其他的介面方案。此外，我們還獲得了與使用ImageNet 1000萬個標籤的最新監督方法相當的結果。論文地址：https://arxiv.org/abs/1911.11419v15、Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification推薦：人的再識別（re-ID）是一項具有挑戰性的工作，因為身份樣本和成像條件的高度差異。儘管近年來在深層學習領域的研究取得了顯著的成果，但很少有研究能夠很好地推廣到不可見的目標領域。一種流行的解決方案是透過聚類給未標記的目標影像分配偽標記，然後再對模型進行再訓練。然而，聚類方法往往會引入噪聲標籤，並將低置信度樣本作為離群點丟棄，這可能會阻礙再訓練過程，從而限制泛化能力。在這項研究中，我們認為，透過在聚類之後顯式地新增一個樣本過濾過程，挖掘出的樣本可以更有效地使用。為此，我們設計了一個非對稱的協同教學框架，該框架透過協同兩個模型選擇彼此可能有乾淨標籤的資料來抵抗噪聲標籤。同時，其中一個模型接收儘可能純淨的樣本，而另一個模型接收儘可能多樣的樣本。此過程鼓勵所選訓練樣本既乾淨又雜，並且這兩個模型可以迭代地相互促進。大量的實驗表明，該框架能夠始終如一地提高大多數基於聚類的方法的適應精度。地址：https://arxiv.org/abs/1912.013496、Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification推薦：近年來有監督的行人重識別（ReID）取得了重大進展，但是行人影像間巨大朝向差異，使得這一問題仍然充滿挑戰。大多數現有的基於朝向的特徵學習方法，將來自不同朝向的影像對映到分離和獨立的子特徵空間當中。這種方法只建模了一個朝向下人體影像的身份級別的特徵分佈，卻忽略了朝向間潛在的關聯關係。為解決這一問題，本文提出了一種新的方法，叫帶角度正則的朝向敏感損失（VA-ReID）。相比每一個朝向學習一個子空間，該方法能夠將來自不同朝向的特徵對映到同一個超球面上，這樣就能同時建模身份級別和朝向級別的特徵分佈。在此基礎上，相比傳統分類方法將不同的朝向建模成硬標籤，本文提出了朝向敏感的自適應標籤平滑正則方法（VALSR）。這一方法能夠給予特徵表示自適應的軟朝向標籤，從而解決了部分朝向無法明確標註的問題。大量在Market1501和DukeMTMC資料集上的實驗證明了本文的方法有效性，其效能顯著超越已有的最好有監督ReID方法。論文地址：https://arxiv.org/abs/1912.013007、Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons推薦：CGAN往往需要大量標註。為了解決這個問題，現有方法大多基於無監督聚類，比如先用無監督學習方法得到偽標註，再用偽標註當作真標註訓練CGAN。然而，當目標屬性是連續值而非離散值時，或者目標屬性不能表徵資料間的主要差異，那麼這種基於無監督聚類的方法就難以取得理想效果。本文進而考慮用弱監督資訊去訓練CGAN，在文中我們考慮成對比較這種弱監督。成對比較相較於絕對標註具有以下優點：1.更容易標註；2.更準確；3.不易受主觀影響。論文地址：https://arxiv.org/abs/1911.092988、An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation推薦：如今神經網路藉助大量標註資料已經能夠達到很好的效果，但是往往不能很好的泛化到一個新的環境中，而且大量資料標註是十分昂貴的。因此，無監督領域自適應就嘗試藉助已有的有標註資料訓練出模型，並遷移到無標註資料上。對抗對齊(adversarial alignment)方法被廣泛應用在無監督領域自適應問題上，全域性地匹配兩個領域間特徵表達的邊緣分佈。但是，由於語義分割任務上資料的長尾分佈(long-tail)嚴重且缺乏類別上的領域適配監督，領域間匹配的過程最終會被大物體類別（如：公路、建築）主導，從而導致這種策略容易忽略尾部類別或小物體（如：紅綠燈、腳踏車）的特徵表達。本文提出了一種生成對抗擾動並防禦的框架。首先該框架設計了幾個對抗目標（分類器和鑑別器），並透過對抗目標在兩個領域的特徵空間分別逐點生成對抗樣本。這些對抗樣本連線了兩個領域的特徵表達空間，並蘊含網路脆弱的資訊。然後該框架強制模型防禦對抗樣本，從而得到一個對於領域變化和物體尺寸、類別長尾分佈都更魯棒的模型。論文地址：https://arxiv.org/pdf/1912.08954.pdf
百度
本屆AAAI大會，百度共有28篇論文被收錄，較去年的15篇入選成績提升近一倍，入選論文涉及機器學習、自然語言處理、計算機視覺等多個領域，以下是已分享的部分論文：
1、Distributed Primal-Dual Optimization for Online Multi-task Learning推薦：傳統的線上多工學習演算法有兩個重要的侷限性：1.由於向中央機器傳送高速度的順序資料而導致通訊量大；2.建立任務關聯性的執行時複雜度昂貴。為了解決這些問題，在本文中，我們考慮一個設定，其中多個任務位於不同的地理位置，其中一個任務可以與其他任務同步資料，以利用相關任務的知識。具體地說，我們提出了一種自適應的原始-對偶演算法，該演算法不僅能捕獲對抗學習中的任務特定噪聲，而且能以執行時效率執行無投影更新。此外，由於該模型允許能量不足或頻寬受限的任務延遲更新，因此非常適合於分散的週期連線任務。理論結果證明了我們的分散式演算法的收斂性保證，並且有一個最優的遺憾。實證結果表明，該模型對各種真實資料集都是有效的。論文地址：https://arxiv.org/abs/2004.013052、Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation推薦：本文提出了一種新的方法，旨在透過有效地減緩對抗訓練的模式崩潰來提高對抗文字生成的效能。為此，我們引入了一種協同訓練正規化，即語言模型與生成器協同訓練，並利用該語言模型有效地塑造生成器的資料分佈以防模式崩潰。此外，我們沒有原則性地參與生成器的協同更新，而是建立了一個元學習機制，將生成器的協同更新作為一個高層次的元任務，直覺地確保在對抗性更新之後生成器的引數能夠抵抗模式崩潰。在實驗中，我們證明我們提出的方法可以有效地減緩對抗性文字生成器的模式崩潰速度。總的來說，我們提出的方法無論是在生成質量還是在驗證域的多樣性方面，都能優於具有顯著裕度的基線方法。論文地址：https://arxiv.org/abs/2003.11530v13、IVFS: Simple and Efficient Feature Selection for High Dimensional Topology Preservation推薦：特徵選擇是處理高維資料的重要工具。在無監督的情況下，許多流行的演算法都是為了保持原始資料的結構。本文提出了一種簡單有效的特徵選擇演算法，從計算拓撲上下文的持久圖表示的拓撲保持的角度來增強樣本的相似度保持。該方法是在一個統一的特徵選擇框架IVFS的基礎上設計的，該框架受到隨機子集方法的啟發。該演算法能夠很好地保持完整資料的成對距離和拓撲模式。結果表明，該演算法在亞取樣率較低的情況下，能夠提供令人滿意的效能，從而支援了該方法在大規模資料集上的有效實現。大量實驗驗證了所提出的特徵選擇方案的有效性。論文地址：https://arxiv.org/abs/2004.012994、ERNIE 2.0: A Continual Pre-training Framework for Language Understanding推薦：近年來，預訓練模型在各種語言理解任務中取得了最新的成果，這表明大規模語料庫的預訓練在自然語言處理中可能起著至關重要的作用。目前的預訓練程式通常集中在幾個簡單任務的模式訓練上，以掌握單詞或句子的共現。然而，除了共現外，在訓練語料庫中還存在其他有價值的詞彙、句法和語義資訊，如命名實體、語義貼近度和話語關係。為了從訓練語料庫中最大限度地提取詞彙、句法和語義資訊，我們提出了一個名為ERNIE 2.0的連續預訓練框架，該框架透過不斷的多工學習，逐步構建和學習預訓練任務。實驗結果表明，ERNIE 2.0在16個任務上均優於BERT和XLNet，其中包括基於GLUE基準的英語任務和幾種常見的漢語任務。論文地址：https://arxiv.org/abs/1907.12412?context=cs.CL5、Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding推薦：近年來，將源語翻譯成目的語的語篇轉換（ST）受到了廣泛的關注。與傳統的流水線系統相比，端到端ST模型具有低延遲、較小模型尺寸和較少錯誤傳播的潛在優點。然而，眾所周知，如果沒有作為中間產物的轉錄，很難實現這樣一個模型。現有的研究一般採用多工學習的方法，結合自動語音識別（ASR）技術對端到端ST進行聯合訓練，以提高翻譯質量。然而，該方法中不同的任務不能充分利用彼此的資訊，限制了改進。另一些工作提出了一個兩階段模型，其中第二個模型可以使用第一個模型的隱藏狀態，但是它的級聯方式極大地影響了訓練和推理過程的效率。本文提出了一種新的互動注意機制，使ASR和ST能夠在單一模型中同步、互動地進行。具體來說，轉錄和翻譯的生成不僅依賴於它以前的輸出，而且還依賴於在其他任務中預測的輸出。在TED語音翻譯語料庫上的實驗表明，該模型在語音翻譯質量上優於強基線，並取得了較好的語音識別效能。論文地址：https://arxiv.org/abs/1912.072406、Multi-Label Classification with Label Graph Superimposing推薦：近年來，圖卷積網路（GCN）被用來提高多標籤識別的效能。然而，什麼是標籤相關建模的最佳方法，以及如何透過標籤系統感知來改進特徵學習，目前還不清楚。本文從以下兩個方面對傳統的GCN+CNN多標籤識別框架進行了改進，提出了一種標籤圖疊加框架。首先，將統計共現資訊生成的標籤圖疊加到由標籤的知識先驗構成的圖中，建立標籤相關性模型，然後對最終的重疊圖進行多層圖卷積，實現標籤嵌入抽象。其次，我們建議利用整個標籤系統的嵌入來更好地進行表示學習。在特徵學習過程中，透過在淺層、中層和深層增加GCN和CNN之間的橫向連線，將標籤系統的資訊注入主幹CNN中，實現標籤感知。在MS-COCO和Charades資料集上進行了大量的實驗，https://arxiv.org/pdf/1911.09243v1.pdf7、Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification推薦：多標籤影像和影片分類是計算機視覺中的基礎性任務，也是一項具有挑戰性的任務。主要的挑戰在於捕獲標籤之間的空間或時間依賴關係，並發現每個類的區別特徵的位置。為了克服這些困難，我們提出了將跨模態注意與語義圖嵌入相結合的多標籤分類方法。在構造標籤圖的基礎上，提出了一種基於鄰接關係的相似度圖嵌入方法來學習語義標籤嵌入，該方法可以顯式地利用標籤關係。然後在學習標籤嵌入的指導下生成了新的跨模態注意圖。在兩個多標籤影像分類資料集（MS-COCO和NUS-WIDE）上的實驗表明，這個方法優於其他現有技術。此外，在一個大型多標籤影片分類資料集（YouTube-8M片段）上驗證了該方法的有效性，評價結果證明了該方法的泛化能力。論文地址：https://arxiv.org/abs/1912.078728、Dynamic Instance Normalization for Arbitrary Style Transfer推薦：在本文中，作者提出了一個新的廣義規範化模組，稱為動態例項規範化（DIN），它允許靈活和更有效的任意樣式傳輸。由例項規範化和動態卷積組成，DIN將樣式影像編碼為可學習卷積引數，在此引數上對內容影像進行樣式化。與使用共享的複雜編碼器對內容和樣式進行編碼的傳統方法不同，所提出的DIN引入了一個複雜的樣式編碼器，同時還提供了一個緊湊和輕量級的內容編碼器，用於快速推斷。實驗結果表明，所提出的方法在具有挑戰性的樣式模式上產生了非常不錯的結果。論文地址：https://arxiv.org/abs/1911.069539、SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback推薦：線上推薦系統的最新發展集中在使用者點選和購買等隱性反饋的協同排名上。與反映分級使用者偏好的顯式評分不同，隱式反饋只生成正面和不明顯的標籤。雖然在這方面已經作出了相當大的努力，但眾所周知的成對和列表方法仍然受到各種挑戰的限制。具體地說，對於成對方法，獨立成對偏好的假設在實踐中並不總是成立的。此外，由於整個列表排列的先決條件，列表方法不能有效地容納“關係”。為此，本文提出了一種新的協同排序方法SetRank，以內在地適應推薦系統中隱含反饋的特點。具體來說，SetRank的目標是最大化新的setwise偏好比較的後驗機率，並且可以透過矩陣分解和神經網路來實現。論文地址：https://arxiv.org/pdf/2002.0984110、Semi-Supervised Hierarchical Recurrent Graph Neural Network for City-Wide Parking Availability Prediction推薦：預測全市停車可用性的能力對於停車誘導和資訊（PGI）系統的成功開發至關重要。事實上，有效預測全市停車場的可用性，可以提高停車效率，有助於城市規劃，最終緩解城市擁堵。然而，預測城市停車場的可用性是一項非常重要的工作，主要面臨三大挑戰：1.停車場之間的非歐氏空間自相關；2.停車場內部和停車場之間的動態時間自相關；3.實時感測器（如攝像機、超聲波感測器、GPS）獲取的實時停車可用性資訊不足。為此，我們提出了半監督遞階遞迴圖神經網路（SHARE）來預測城市停車場的可用性。論文地址：https://arxiv.org/abs/1911.10516v111、Learning Conceptual-Contextual Embeddings for Medical Text推薦：外部知識通常對自然語言理解任務有用。我們引入了一個上下文文字表示模型，稱為概念上下文（CC）嵌入，它將結構化知識整合到文字表示中。與實體嵌入方法不同，我們的方法將知識圖編碼為上下文模型。CC嵌入可以像預先訓練的語言模型一樣，輕鬆地重用於各種任務。我們的模型透過利用語義泛化有效地對龐大的UMLS資料庫進行編碼。對電子健康記錄（EHRs）和醫學文字處理基準的實驗表明，我們的模型大大提高了有監督的醫學NLP任務的效能。論文地址：https://arxiv.org/abs/1908.0620312、Ultrafast Photorealistic Style Transfer via Neural Architecture Search.推薦：真實感風格轉換的關鍵挑戰在於，演算法應該忠實地將參考照片的風格轉換為內容照片，而生成的影像應該看起來像是由相機捕獲的影像。雖然已經提出了幾種真實感風格的影像傳輸演算法，但它們需要依賴於後期和/或預處理才能使生成的影像看起來真實。如果我們禁用額外的處理，這些演算法將無法在細節儲存和照片真實感方面產生合理的照片真實感樣式化。在這項工作中，我們提出瞭解決這些問題的有效辦法。我們的方法包括一個構建步驟（C-step）來構建真實感風格化網路和一個修剪步驟（P-step）來加速。在C-step中，我們在仔細設計預分析的基礎上，提出了一種密集型自動編碼器PhotoNet。PhotoNet整合了特徵聚合模組（BFA）和例項規範化跳過連結（INSL）。為了產生忠實的樣式化，我們在解碼器和INSLs中引入了多個樣式轉換模組。PhotoNet在效率和有效性方面都明顯優於現有演算法。在P-step中，我們採用了一種神經結構搜尋方法來加速光網路。提出了一種基於師生學習的真實感風格化自動網路剪枝框架。搜尋得到的名為PhotoNAS的網路架構在保持樣式化效果幾乎不變的情況下，比PhotoNet實現了顯著的加速。論文地址：https://arxiv.org/abs/1912.0239813、Symbiotic Attention with Privileged Information for Egocentric Action Recognition推薦：以自我為中心的影片識別是進行多種互動推理的自然實驗平臺。由於以自我為中心的影片資料集中有大量的動作詞彙，最近的研究通常採用兩個分支結構進行動作識別，即一個分支用於動詞分類，另一個分支用於名詞分類。然而，動詞與名詞分支之間的關聯性研究卻大多被忽視。此外，由於缺乏位置感知注意機制，這兩個分支未能挖掘出區域性特徵。在本文中，我們提出了一個利用特權資訊（SAP）進行自我中心影片識別的共生注意框架。更精細的位置感知目標檢測特性有助於理解參與者與目標的互動。我們在動作識別中引入這些特徵，並將它們視為特權資訊。我們的框架允許動詞分支、名詞分支和特權資訊之間的相互通訊。這種通訊過程不僅將區域性細節注入到全域性特徵中，而且利用了對正在進行的動作的時空位置的隱含指導。我們引入新的共生注意（SA）來實現有效的交流。論文地址：https://arxiv.org/pdf/2002.03137.pdf14、GBCNs: Genetic Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs推薦：二值卷積神經網路（BCNNs）被廣泛應用於移動和人工智慧晶片應用中，以提高深卷積神經網路（DCNNs）的儲存和計算效率。然而，目前的BCNNs還不能完全探索其相應的全精度模型，導致它們之間的效能差距很大。本文提出了一種改進的二值卷積網路（RBCNs），將全精度核函式和特徵對映相結合，在統一的框架下對二值化過程進行改進，以達到最佳化BCNNs的目的。特別地，我們使用GAN在其相應的全精度模型的指導下對1位二進位制網路進行訓練，顯著提高了BCNNs的效能。校正後的卷積層具有通用性和靈活性，可以很容易地併入現有的dcnn，如WideResNets和ResNets。大量實驗表明，與最新的BCNNs相比，所提出的RBCNs具有更好的效能。特別地，我們的方法對目標跟蹤任務具有很強的泛化能力。論文地址：https://arxiv.org/abs/1908.0774815、AutoRemover: Automatic Object Removal for Autonomous Driving Videos推薦：基於自動駕駛中對真實感模擬的需要，本文提出了一種影片修復演算法emph{AutoRemover}，該演算法專為生成無運動物體的街景影片而設計。在我們的設定中，我們有兩個挑戰：第一個是陰影，陰影通常沒有標記，但與移動物件緊密耦合。第二個是影片中巨大的自我運動。為了處理陰影，我們建立了一個自動驅動陰影資料集，並設計了一個深度神經網路來自動檢測陰影。為了處理大的自我運動，我們利用多源資料，特別是三維資料，進行自主駕駛。更具體地說，幀之間的幾何關係被合併到修補深度神經網路中，以產生高質量的結構一致的影片輸出。實驗表明，該方法優於其他最新的目標去除演算法，使RMSE降低了19%以上。論文地址：https://arxiv.org/abs/1911.1258816、CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion推薦：深度完成是指給定相應的彩色影像，將稀疏的深度圖轉換為稠密的深度圖。卷積空間傳播網路（CSPN）是目前最先進的深度完成方法之一，它可以恢復場景的結構細節。本文提出了CSPN++，透過學習自適應卷積核大小和傳播迭代次數，進一步提高了CSPN++的有效性和效率，從而可以根據請求動態分配每個畫素所需的上下文和計算資源。論文地址：https://arxiv.org/abs/1911.0537717、ZoomNet：Part-Aware Adaptive Zooming Neural Network for 3D Object Detection推薦：3D目標檢測是自動駕駛和機器人技術中的一項重要任務。雖然已經取得了很大的進展，但在估計遠距離和遮擋物體的三維姿態方面仍然存在挑戰。本文提出了一種新的基於立體影像的三維檢測框架ZoomNet。ZoomNet的流水線是從一個普通的二維目標檢測模型開始的，該模型用於獲取左右邊界框對。為了進一步利用RGB影像中豐富的紋理線索進行更精確的視差估計，我們引入了一個概念上的直接模組——自適應縮放，它同時將2D例項邊界框調整為統一的解析度，並相應地調整相機的內部引數。透過這種方法，我們可以從調整大小的方塊影像中估計更高質量的視差圖，然後為附近和遠處的物體構建密集的點雲。此外，我們引入學習零件位置作為互補特徵，以提高抗遮擋能力，並提出三維擬合分數，以更好地估計三維檢測質量。論文地址：https://arxiv.org/abs/2003.00529
ICLR 2020
ICLR 2020 上出現了多達 34 篇滿分論文（8 分），以下是來自華為、位元組跳動、騰訊等企業的滿分論文。
Causal Discovery With Reinforcement Learning
推薦：在此論文中，華為諾亞方舟實驗室因果研究團隊將強化學習應用到打分法的因果發現演算法中，透過基於自注意力機制的 encoder-decoder 神經網路模型探索資料之間的關係，結合因果結構的條件，並使用策略梯度的強化學習演算法對神經網路引數進行訓練，最終得到因果圖結構。在學術界常用的一些資料模型中，該方法在中等規模的圖上的表現優於其他方法，包括傳統的因果發現演算法和近期的基於梯度的演算法。同時該方法非常靈活，可以和任意的打分函式結合使用。論文地址：https://arxiv.org/pdf/1906.04477.pdf位元組跳動
1、Mirror-Generative Neural Machine Translation推薦：本文研究者提出了一個映象生成式的機器翻譯模型（MGNMT），可以更好地利用非平行語料提高NMT的效果。MG-NMT使用生成式的方法，同時最佳化兩個方向的翻譯器和語言模型，從而能從兩個角度得到提升。實驗表明了這種方法的有效性。論文地址：https://openreview.net/pdf?id=HkxQRTNYPH2、Sparse Coding with Gated Learned ISTA推薦：本文研究了求解稀疏編碼問題的迭代收縮閾值學習演算法。在前人工作的假設下，作者首先發現其估計中的碼成分可能低於預期，即需要增益，為了解決這個問題，一個適合於對該機制進行理論分析的門機制，因此其有效性可以形式化地保證。在除了增益門，我們進一步引入超調門來補償LISTA。廣泛實證結果證實了我們的理論發現，並驗證了我們方法的有效性。論文地址：https://openreview.net/forum?id=BygPO2VKPH騰訊
Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search推薦：蒙特卡羅樹搜尋（MCTS）演算法在許多具有挑戰性的基準上取得了巨大的成功。然而，它們通常需要大量的釋出，這使得它們的應用程式成本高昂。此外，由於MCT固有的順序性，並行化MCT也極具挑戰性：每次推出都嚴重依賴於從以前的模擬中估計的統計資料（例如，節點訪問計數），以實現有效的勘探開發權衡。儘管有這些困難，我們還是開發了一個演算法WU-UCT來有效地並行化MCTS，該演算法實現了線性加速，並且隨著工人數量的增加，效能損失有限。WU-UCT的關鍵思想是我們引入一組統計資訊來跟蹤正在進行但不完整的模擬查詢（稱為未觀測樣本）的數量。這些統計資料用於在選擇步驟中原則性地修改UCT樹策略，以便在並行化最耗時的擴充套件和模擬步驟時保持有效的勘探開發權衡。在專有基準和Atari遊戲基準上的實驗表明，與現有技術相比，WU-UCT具有線性加速和優越的效能。論文地址：https://arxiv.org/abs/1810.11755?context=stat.ML
ACL 2020
騰訊
在ACL 2020的論文收錄名單中，騰訊共有30篇論文入選，入選論文數重新整理國內企業記錄，領跑國內業界AI研究第一梯隊，研究方向涵蓋對話及文字生成、機器翻譯及對話、多模資訊抽取多個自然語言處理的重點領域。
1、Generate, Delete and Rewrite: A Three-Stage Framework for Improving Persona Consistency of Dialogue Generation推薦：在對話過程中保持一致的角色屬性資訊對人類來說是很容易的，但對機器來說，這仍然是一項有待探索的任務。近幾年，基於角色屬性的對話生成任務被提出來，旨在透過在對話生成模型中加入顯式的角色文字來解決屬性一致性問題。雖然現有的基於角色的對話生成模型在生成類似人類的回覆上取得了成功，但是它們的單階段解碼框架很難避免生成不一致的角色詞。在這項工作中，作者提出了一個三階段的對話生成框架。該框架使用生成-刪除-重寫機制從生成的原型回覆中刪除不一致的詞語，然後進一步將其改寫為屬性資訊一致的回覆。透過人工評價和自動指標進行了評估。在PersonaChat資料集上的實驗表明，這個方法獲得了非常好的效能。2、How Does Selective Mechanism Improve Self-Attention Networks?推薦：近年來，在自注意力網路引入選擇機制使得模型關注其中重要的輸入元素已經取得很好的效果。但是，對於選擇機制取得這樣結果的原因尚不清楚。本文提出一個通用的基於選擇機制的自注意力網路。傳統的自注意力網路在順序編碼以及結構資訊建模能力存在一些不足，而本文針對其提出相應的假設，並在實驗中驗證假設的正確性。實驗分析發現，將選擇機制引入自注意力網路的好處在於：1.其更多關注周圍詞的資訊，從而對周圍詞序的變化比較敏感，使得其更好對順序進行編碼；2.其對於樹結構重要成分關注度更高，從而其擁有更強的捕捉結構資訊的能力。阿里巴巴
阿里巴巴有22篇論文入選ACL 2020，內容覆蓋跨領域分詞、細顆粒度情感分析、多領域對話系統、文字生成、知識蒸餾等諸多NLP領域的熱點和前沿研究方向。1、Structure-LevelKnowledge Distillation For Multilingual SequenceLabeling推薦：多語種序列標記是一項使用單一的多語種統一模型預測標籤序列的任務。與依賴於多個單語模型相比，使用多語言模型具有模型規模小、線上服務容易和對低資源語言通用的優點。然而，由於模型容量的限制，目前的多語種模型仍然遠遠低於單獨的單語模型。本文提出將多個單語模型（教師）的結構知識提取到統一的多語言模型（學生）中，以縮小單語模型與統一的多語言模型之間的差距。我們提出了兩種基於結構層次資訊的知識發現方法：1.近似地最小化學生和教師的結構層次機率分佈之間的距離；2.將結構層次知識聚合為區域性分佈，並最小化兩個區域性機率分佈之間的距離。我們對4個多語種任務和25個資料集的實驗表明，我們的方法優於幾種強基線，並且比基線模型和教師模型具有更強的零炮概化能力。論文地址：https://arxiv.org/abs/2004.038462、Slot-consistent NLG for Task-oriented Dialogue System with Iterative Rectification Network推薦：基於神經網路的方法在 NLG 任務上已經取得了不錯的效果。然而，資料驅動型別的模型無法保證魯棒性，例如忽略了一個輸入槽位或生成了多餘的槽位。前人的工作將這個問題稱為幻視現象。在這個工作中，我們研究如何透過保證槽位一致性提高 NLG 模型的可靠性。所謂槽位一致性是指模型生成的模板應該和輸入表示語義一致，即具有相同的槽位集合。針對這個問題，我們提出迭代改寫器，它能保證 NLG 模型生成正確而且流利的句子。它包含兩個模組：1.基於檢索的自舉抽樣，用於抽樣偽錯資料；2.策略梯度學習，用於融入離散獎勵，例如不一致懲罰度。我們在 4 個資料集上驗證了模型的有效性，結果顯示我們大大降低了所有基線模型的槽位錯誤率 (ERR) 並達到了目前最好的效果，並且BLEU 的提升和人工校驗的結果也顯示了我們模型提高了生成句子的順暢度。本屆ACL大會中，百度被收錄的11篇論文，覆蓋了對話與互動系統、情感分析/預訓練表示學習、NLP 文字生成與摘要、機器翻譯/同聲翻譯、知識推理、AI輔助臨床診斷等諸多自然語言處理界的前沿研究方向。1、Conversational Graph Grounded Policy Learning for Open-Domain Conversation Generation推薦：我們提出用圖的形式捕捉對話轉移規律作為先驗資訊，用於輔助開放域多輪對話策略學習。基於圖，我們設計策略學習模型指導更加連貫和可控的多輪對話生成。首先，我們從對話語料庫中構造一個對話圖（CG），其中頂點表示“what to say”和“how to say”，邊表示對話當前句與其回覆句之間的自然轉換。然後，我們提出了一個基於CG的策略學習框架，該框架透過圖形遍歷進行對話流規劃，學習在每輪對話時從CG中識別出哪個頂點和如何從該頂點來指導回覆生成。我們可以有效地利用CG來促進對話策略學習，具體而言：1.可以基於它設計更有效的長期獎勵；2.它提供高質量的候選操作；3.它讓我們對策略有更多的控制。我們在兩個基準語料庫上進行了實驗，結果證明了本文所提框架的有效性。2、PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable推薦：研發開放領域（Open-Domain）的對話機器人，使得它能用自然語言與人自由地交流，一直是自然語言處理領域的終極目標之一。對話系統的挑戰非常多，其中有兩點非常重要，一是大規模開放域多輪對話資料匱乏；二是對話中涉及常識、領域知識和上下文，一個對話的上文（Context），往往可以對應多個不同回覆（Response）的方向。PLATO首次提出將離散的隱變數結合Transformer結構，應用到通用對話領域。透過引入離散隱變數，可以對上文與回覆之間的“一對多”關係進行有效建模。同時，透過利用大規模的與人人對話類似的語料，包括Reddit和Twitter，進行了生成模型的預訓練，後續在有限的人人對話語料上進行微調，即可以取得高質量的生成效果。PLATO可以靈活支援多種對話，包括閒聊、知識聊天、對話問答等等。而文章最終公佈的在三個公開對話資料集上的評測，PLATO都取得了新的最優效果。3、Towards Conversational Recommendation over Multi-Type Dialogs推薦：真實人機對話，涉及多型別對話(閒聊、任務型對話、問答等)，如何自然的融合多型別對話是一個重要的挑戰。為應對這個挑戰，作者提出一個新的任務——多型別對話中的對話式推薦，期望Bot能夠主動且自然地將對話從非推薦對話(比如『問答』)引導到推薦對話，然後基於收集到的使用者興趣及使用者實時反饋透過多次互動完成最終的推薦目標。為便於研究這個任務，我們標註了一個包含多種對話型別、多領域和豐富對話邏輯(考慮使用者實時反饋)的人－人對話式推薦資料集DuRec(1萬個對話和16.4萬個utterance)。針對每個配對：推薦尋求者(user)和推薦者(bot)，存在多個序列對話，在每個對話中，推薦者使用豐富的互動行為主動引導一個多型別對話不斷接近推薦目標。這個資料集允許我們系統地考察整個問題的不同部分，例如，如何自然地引導對話，如何與使用者互動以便於推薦。最後，我們使用一個具有多對話目標驅動策略機制的對話生成框架在DuRec上建立基線結果，表明了該資料集的可用性，併為將來的研究設定了基線。4、SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis推薦：作者提出了一種情感知識增強的語言模型預訓練方法，在通用預訓練的基礎上，設計了面向情感知識建模的Masking策略和情感多目標學習演算法，融合了情感詞、極性、主體評論關係等多層情感知識，首次實現了情感任務統一的文字預訓練表示學習。該演算法在情感分類、觀點抽取等情感分析任務中相對主流預訓練模型RoBERTa有顯著的提升，同時重新整理了多個情感分析標準測試集的世界最好水平。5、Cross-Lingual Unsupervised Sentiment Classification with Multi-View Transfer Learning推薦：本文針對無標籤資源的目標語言，提出了一種無監督的跨語言情感分析模型。6、Leveraging Graph to Improve Abstractive Multi-Document Summarization推薦：本論文提出基於圖表示的多文件生成式摘要方法GraphSum，在神經網路模型中融合多文件語義關係圖例如語義相似圖、篇章結構圖等，建模多篇章輸入及摘要內容組織過程，從而顯著提升多文件摘要效果。GraphSum 基於端到端編解碼框架，其中圖編碼器利用語義關係圖對文件集進行編碼表示，圖解碼器進一步利用圖結構組織摘要內容並解碼生成連貫的摘要文字。GraphSum 還可以非常容易地與各種通用預訓練模型相結合，從而進一步提升摘要效果。在大規模多文件摘要資料集WikiSum 和MultiNews 上的實驗表明，GraphSum 模型相對於已有的生成式摘要方法具有較大的優越性，在自動評價和人工評價兩種方式下的結果均有顯著提升。7、Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer推薦：無監督風格轉換是指在無平行語料的情況下，把輸入的句子改成目標風格，同時儘可能保持其原義。本文提出了一種全新的序列到序列的生成模型，可以動態地根據生成詞的風格相關性進行風格轉換。本文有兩個主要的創新點，一是用層級相關性傳播演算法計算風格分類器中每個輸入詞的風格相關性資訊，並以此作為指導訊號來訓練生成器，讓生成器在生成的同時可以預測下一個詞的風格相關性。二是設計了以詞級別風格相關性和語義資訊作為輸入的風格轉換解碼器，並透過多個損失項進行finetune訓練，從而實現風格轉換的功能。實驗表明，本文提出的方法在情感風格轉換和口語化風格轉換的任務上都達到了領先效果。8、Opportunistic Decoding with Timely Correction for Simultaneous Translation推薦：在本論文中，百度首次提出了一種具有及時糾錯能力的解碼技術，它總是在每一步產生一定數量的額外單詞，以保持觀眾對最新資訊的跟蹤，同時，它也在觀察更多的上下文時，對前一個過度生成的單詞提供及時的糾錯，以確保高翻譯質量。本文還首次提出了對這種糾錯場景下的延遲指標。實驗表明，我們的技術提高了延遲和質量：延遲減少了2.4，BLEU增加了3.1，中英翻譯和中英翻譯的修改率低於8%。本系統可用於任何語音到文字的同傳系統中。9、Simultaneous Translation Policies: from Fixed to Adaptive推薦：本文提出一種簡單的啟發式演算法，根據翻譯模型輸出的機率分佈，可以將幾種精簡的固定“讀寫”策略組合成一種靈活的策略。本文進一步將該演算法與整合方法相結合，既提高了翻譯質量，又降低了翻譯過程的時延。這種簡單的演算法不需要訓練策略模型，使得其更易於在產品中使用。10、Learning Interpretable Relationships between Entities, Relations and Concepts via Bayesian Structure Learning on Open Domain Facts推薦：本文透過貝葉斯結構學習建立了開放領域的關係與概念(Concept)之間的關聯，使得實體為何屬於某個概念的原因得到了很好的解釋。11、Towards Interpretable Clinical Diagnosis with Bayesian Network Ensembles Stacked on Entity-Aware CNNs推薦：本研究提出一種新的診斷演算法框架，該框架針對EMR具有無結構化文字和結構化資訊並存的特點，結合醫療NLU，以深度學習模型實現EMR的向量化表示、診斷預分類和機率計算。結合醫療知識圖譜增強的多種貝葉斯網路的組合模型，實現具有可解釋性的診斷推理。該框架能同時兼顧高診斷準確率和強可解釋性的特點，並可應用於面向基層醫師的輔助臨床診斷產品中。IJCAI 2020
騰訊
Deep Feedback Network for Recommendation
推薦：在本文中，作者初步研究了推薦系統中的多種顯式/隱式和正/負反饋之間的協同合作機制。DFN模型能夠基於多種反饋資訊即時學習到使用者的無偏的正負向興趣，在點選預估和不感興趣預估等多個任務上均有提升效果。直觀而有效的模型也使得DFN能成功在工業級推薦系統中得到部署和驗證。