@guohao916 推薦
#Machine Reading Comprehension
本文來自加州理工、華盛頓大學和 AI2。論文針對對話式機器閱讀理解,提出了針對問題歷史記錄與篇章的Flow機制,這種機制可以透過交替的並行處理結構結合在回答前一個問題的過程中產生的中間表示,將先前的問題/答案連線起來作為輸入。
與之前的淺層方法相比,Flow 更深入地整合了對話歷史的潛在語義。相比於基準演算法,本文提出的 FlowQA 模型在最近公開的兩個對話式機器閱讀理解資料集上均表現出優異的效能(CoQA為+ 7.2%,QuAC為+ 4.6%)。透過減少對會話機器理解的順序構建理解,FlowQA 在 CoQA 資料集中在所有不同的七個領域中達到了最佳。
Flow 的有效性也體現在其他任務中。在 SCONE 的三個領域中,FlowQA 模型相比於基準演算法在驗證集和測試集上效果都有所提升。
@Luolc 推薦
#Dialogue Generation
本文是北京大學孫栩老師組發表在 EMNLP 2018 上的工作。在對話生成中任務,流行的基於 MLP 的學習方法傾向於生成“萬能”回覆,例如“I don't know”等缺少和輸入語句有語義關聯,沒有意義的回覆。
本文提出了一種基於 Auto-Encoder 對齊的模型,在訓練中分別用兩個 Auto-Encoder 非監督的學習輸入和輸出兩者的句子表示,並使用一個 Matching Model 學習兩者的對齊方式。自動化評測和人工評測顯示這一方法可以顯著提高對話生成的相關性、流暢度和多元性。
論文連結:https://www.paperweekly.site/papers/2521
原始碼連結:https://github.com/lancopku/AMM
@zhangjun 推薦
#Bayesian Deep Learning
本文是 CMU 發表於 EMNLP 2018 的工作,作者基於 ICML 2017 論文 Deep Bayesian Active Learning with Image Data 中的方法,對 NLP 幾大任務進行了實驗,驗證了基於貝葉斯 RNN 和 CNN 的主動學習方法的有效性。
原始碼連結:https://github.com/asiddhant/Active-NLP
@qifanchao866 推薦
#Cross-lingual
本文是清華大學劉知遠老師組發表於 EMNLP 2018 的工作,論文提出了跨語言詞的義原推薦這一任務,並且設計了基於融合義原資訊的雙語詞表示和協同過濾的框架實現了較好的跨語言詞義原推薦效果。
本文研究的問題是一個全新的問題,此前沒有針對該問題的解決方法。而因為不同語言之間存在詞的語義差異,直接將知網(HowNet)翻譯成其他語言是不可行的。另外,義原比較隱晦,如何利用機器學習方法學習其表示也是一個挑戰。
本文提出了基於融合義原資訊的雙語詞表示和協同過濾的框架。將有義原標註的語言定義為源語言,需要進行義原標註的語言定義為目標語言。第一個模組用來學習在同一個語義空間的雙語詞向量,包含分別從源語言和目標語言單語語料中學習單語詞向量、利用種子詞典和匹配機制對齊雙語詞向量,以及將義原資訊融入源語言詞向量中三個部分。第二個模組利用第一個模組得到的雙語詞向量,利用基於協同過濾的方法為目標語言詞進行義原推薦。
原始碼連結:https://github.com/thunlp/CLSP
@honeyht 推薦
#Conditional Random Fields
本文是首爾大學發表於 ACL 2018 的工作。一般的一階或二階 CRF 不能實現遠距離命名實體間的資訊轉換,且高階的計算複雜不宜實現。本文提出一種前驅體誘導的線性鏈 CRF 方法實現遠距離 NER。模型主要利用遠距離實體間的外部令牌 outside label 作為資訊媒介,將原始輸入序列視為 <entity, outsides+, entity> 模式,透過媒介將第一個實體的資訊傳遞給第二個。
結果表明模型稍微改善了臨床和生物醫學領域 NER 的效率,同時顯著減少了計算量。模型未來改進:(1)應用到更多領域;(2)結合深度學習,如 LSTM-CRF等。
原始碼連結:https://github.com/jinsamdol/precursor-induced_CRF
@chenhong 推薦
#Object Detection
傳統基於 R-CNN 的架構透過迴歸邊界框實現定位,RoI 的特徵需要 flatten + FCs 預測邊界框,屬於曲線救國。ECCV 2018 的 CornerNet 透過直接預測邊界框的左上角和右下角,預測目標的邊界框。而本文是商湯最新提出的 Grid R-CNN,直接預測邊界框包含四個邊界在內的 9 宮格,在 Faster R-CNN/Mask R-CNN 基礎上實現 state-of-the-art。
論文連結:https://www.paperweekly.site/papers/2583
@paperweekly 推薦
#Deformable Convolutional Networks
本文來自中科大和微軟亞洲研究院,論文提出了可變形卷積網路的新版本——第二代可變形卷積網路(Deformable ConvNets v2,簡稱 DCNv2)。
目標檢測任務重有一個較為棘手的問題,即幾何形變(Geometric Variations)。本文作者認為 Deformable ConvNets v1 存在的問題是在 RoI 外部的這種幾何形變適應性表現得不好,導致特徵會受到無關影像內容影響。
本文在 v1 的基礎上做了如下改進:1)增加可變形卷積的層數;2)增加可調節的可變形模組;3)採用蒸餾的方法模仿 RCNN 的特徵。實驗表明,DCNv2 在 ResNet-50 backbone COCO 上相比 DCNv1 提升了 5 個點。
@YuSuen 推薦
#Generative Adversarial Networks
本文來自 MIT、香港中文大學、Google Research 和 IBM Research,論文為理解 GAN 的內部表徵提供了第一個系統性分析,並利用分析框架實現了各種有趣的應用。
@paperweekly 推薦
#Gait Recognition
本文是復旦大學發表於 AAAI 2019 的工作。論文研究的問題是步態識別,作者將步態識別影片序列視為影像集,在此基礎上提出了 GaitSet 演算法。
具體來說,作者透過以下三個步驟提取步態序列特徵:1)提取單幅步態輪廓影像的 CNN 特徵;2)將各幅影像的 CNN 特徵聚合成一個特徵向量;3)考慮提取多尺度特徵,並透過全連線網路提高特徵的鑑別性。本文方法在 CASIA-B 和 OU-MVLP 資料集上大幅超越了當前的 SOTA 演算法。
論文連結:https://www.paperweekly.site/papers/2604
資料集連結:https://github.com/AbnerHqC/GaitSet
@paperweekly 推薦
#Image Understanding
本文是韓國科學技術院發表於 NeurIPS 2018 的工作,論文針對場景圖生成任務提出了一個 Relational Embedding 模組,可以利用圖片中所有的物體特徵對某個物體的特徵進行更新。此外,作者還提出了一個全域性上下文編碼模組對全域性上下文資訊進行編碼,以及一個幾何佈局編碼模組來顯式使用幾何佈局資訊。
@cuthbert 推薦
#Domain Adaptation
本文是清華大學龍明盛老師組發表於 AAAI 2019 的工作。Domain Adaptation 的目的是為了減小 source domain 和 target domain 之間的 discrepancy,使得在 source domain 上訓練的模型也能較好地作用於 target domain。
最近的 Deep Domain Adaptation 大多專注於設計 GAN 的網路結構來解決問題,本文沒有繼續在網路結構或損失函式上做文章,而是引入 attention 機制來解決以往 Adversarial Domain Adaptation 方法中細粒度不夠的問題。
文章設計了兩種 attention 來探尋圖片中不同結構和區域的可遷移性,達到了 fined-grained transfer。相比以往引入類別資訊,構造條件機率模型的方法,attention的引入給出了另一個很有意思的工作方向。
@SandyKid 推薦
#Deep Neural Networks
本文來自 CMU、USC、北京大學和 MIT,論文證明了使用梯度下降可以在多項式時間內將一個神經網路的訓練損失下降到 0,對深入理解神經網路的機制以及該演算法的白盒化有一定學習意義。
@Aspirinkb 推薦
#Deep Learning
本文來自 Facebook AI Research,論文改進了一種新穎的浮點數表示法(posit),使其更加適用於神經網路的訓練和推理,並在 FPGA 上進行了對比實驗。和 IEEE-754 浮點數標準相比,本論文基於改進的浮點數系統,可以實現低 bit 神經網路訓練和高效推理,不再需要後續的量化壓縮過程就可以部署在嵌入式等資源受限終端。
該論文提出的方法區別於神經網路模型的剪枝、量化等常規思路,直接從浮點數表示這個更加基本、底層的角度嘗試解決模型的壓縮加速問題,是一個很新穎的方式,且效果不錯,值得深入研究。除了論文,作者還給出了程式碼實現和部落格文章,幫助理解。
@jsh0123 推薦
#Attacks Detection
本文是南京大學周志華教授團隊發表於 NeurIPS 2018 的文章,文中定義了一種對於推薦系統的新型攻擊模式——無組織的惡意攻擊,公式化定義該問題,利用近似交替分裂增廣拉格朗日法解決該問題,實驗效果顯著。該文在 arXiv 最早 2016 年發表,前後修改多次,於今年正式發表於 NeurIPS。
@paperweekly 推薦
#Recommender System
本文是新加坡國立大學發表於 IJCAI 2018 的工作,論文基於評論文字對使用者偏好和商品特徵進行抽取,提出了一種自適應注意力模型用於使用者評論的智慧排序,不斷學習使用者對商品在不同關注點方面的權重,進而提升推薦效果。
本文解決了已有方法忽視不同使用者對商品不同側面關注點不同的缺陷,並且在 Amazon Product Review 和 Yelp 2017 這兩個大規模推薦系統資料庫上取得了領域內最好效果。