本週份AI論文推薦新鮮出爐！真的很skr了~

PaperWeekly發表於2018-07-27

Sliced Recurrent Neural Networks

@Ttssxuan 推薦

#Recurrent Neural Networks

本文是上海交大發表於 COLING 2018 的工作，論文提出了一種對 RNN 進行加速的方法，相對標準 RNN 其可以加速達到 136 倍，如果針對長序列，可以得到更大的加速比，此外從數學上證明了，RNN 是 SRNN 的一個特例。

SRNN 把 RNN 序列分成每份 K 份，這樣每份可以各自執行（並行），得到長度為 N 的新序列，後續可以新序列上繼續如上操作，一直到序列長度等於 1 或滿足需求。透過在 6 個較大規模的情感分類資料集上測試，相比於 RNN，SRNN 都取得很大的效能優勢。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2143

原始碼連結

https://github.com/zepingyu0512/srnn

本週份AI論文推薦新鮮出爐！真的很skr了~

SentEval: An Evaluation Toolkit for Universal Sentence Representations

@pwathrun 推薦

#Sentence Representations

SentEval 是 Facebook AI Research 推出的一個用於測評 Sentence representation model 效能的 framework。其中自定義了至少 13 個任務（後續有新增），任務資料包括了文字文類，文字相似性檢測，NLI，圖片摘要的任務。其著眼點是目前 NLP 領域內不同模型的跑分不能很好的進行復現，進而導致橫向比較模型效能比較困難的痛點。

任何已訓練的模型都已放在 SentEval 框架內，SentEval 會使用目標任務來對提供的模型進行測試，因為測試環境統一，以此獲得的評測結果可以和其它的模型的測試分數進行統一的比較，而不是隻是比較論文中的紙面資料，有利於復現相關模型的真實效能，而且是相關模型針對不同 NLP 任務的效能。

具體實現是透過自定義和修改 SentEval 的固定命名方法（batcher ()，prepare ()等）使得 SentEval 可以將目標任務的文字匯入模型，獲得向量輸出，進而進行相關任務的比較。比如文字分類就是獲得向量輸出之後訓練一個分類器來比較分類的準確率。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2105

原始碼連結

https://github.com/facebookresearch/SentEval

本週份AI論文推薦新鮮出爐！真的很skr了~

Learning Chinese Word Representations From Glyphs Of Characters

@mwsht 推薦

#Chinese Word Representations

本文是臺灣大學發表於 EMNLP 2017 的工作，論文提出了一種基於中文字元影像的 embedding 方法，將中文字元的影像輸入卷積神經網路，轉換成為詞向量。因為中文是象形文字，這樣的詞向量能夠包含更多的語義資訊。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2141

本週份AI論文推薦新鮮出爐！真的很skr了~

Competitive Inner-Imaging Squeeze and Excitation for Residual Network

@superhy 推薦

#Residual Network

本文來自華南理工大學，論文在 SE-Net（Squeeze-Excitation）的基礎上，根據已有的殘差對映作為恆等對映的一種補充建模的論點，提出了殘差和恆等流進行競爭建模共同決定 channel-wise attention 輸出的改進，使得恆等流能自主參與對自身補充的權重調控。

另外，本文針對網路中間特徵的精煉建模任務，提出了對 channel squeezed 特徵進行重成像，將各個通道的 global 特徵重組為一張新的 feature map，並使用卷積（21，11 兩種）操作完成對重組特徵圖的建模，以此學習來自殘差流和恆等流所有 channels 的通道關係資訊，將之前的：1. 分別建模 chanel-wise 關係；2. 再合併建模殘差對映和恆等對映競爭關係，這樣兩步融合為建模綜合通道關係一步；稱這一機制為 CNN內部特徵的重成像（Inner-Imaging），探索了一種新的，考慮位置關係的，使用卷積進行 SE（channel-wise attention）建模的 CNNs 設計方向。

本文實驗在 CIFAR-10，100，SVHN，ImageNet2012 資料集上進行，驗證了提出方法的有效性，並發現提出方法對較小規模網路的潛力挖掘作用，使其能用更少的引數達到甚至超越原先更大網路才能達到的效果。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2161

原始碼連結

https://github.com/scut-aitcm/CompetitiveSENet

本週份AI論文推薦新鮮出爐！真的很skr了~

TequilaGAN: How to easily identify GAN samples

@TwistedW 推薦

#GAN

本文來自 UC Berkeley，GAN 生成的樣本在視覺方面已經達到與真實樣本很相近的程度了，有的生成樣本甚至可以在視覺上欺騙人類的眼睛。區分生成樣本和真實樣本當然不能簡單的從視覺上去分析，TequilaGAN 從影像的畫素值和影像規範上區分真假樣本，證明了真假樣本具有在視覺上幾乎不會被注意到的屬性差異從而可以將它們區分開。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2116

本週份AI論文推薦新鮮出爐！真的很skr了~

SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text

@born2 推薦

#Image Caption

本文提出了一個 caption 資料庫，特點是能夠生成故事性的描述句子。相對於傳統一般的 caption 任務，這個新提出的任務，生成的句子更具有故事性的特色，而不是單純無感情的描述。為了解決這個問題，首先需要構建一個資料庫，相對於一般的需要人工標記的資料庫而言，這裡採用無監督的方式，直接使用一些既有的自然語言處理的技術來解決這個問題。

作者提出了一套框架，以此來構建從傳統的句子到故事性句子的對映。為了方便訓練和解決這個問題，作者提出兩段式的訓練，從影像到關鍵詞，再從關鍵詞到故事性的句子，避免了標註，方便了訓練，值得一讀。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2160

原始碼連結

https://github.com/computationalmedia/semstyle

本週份AI論文推薦新鮮出爐！真的很skr了~

Log-DenseNet: How to Sparsify a DenseNet

@mwsht 推薦

#DenseNet

本文是 CMU 和微軟發表於 ICLR 2018 的工作，DenseNet 是 ResNet 的改進，本文在 DenseNet 的基礎上提出了一種較為接近的但同時更少連線數目的 skip connecting 的方法：選擇性地連線更多的前幾個層，而不是全部連線。相較於 DenseNet，本文擁有更少的連線數目，較大幅度地減少了計算量，但同時擁有較為接近的 performance。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2103
本週份AI論文推薦新鮮出爐！真的很skr了~

Training Neural Networks Using Features Replay

@jhs 推薦

#Neural Networks

本文來自匹茲堡大學，論文提出了一種功能重播演算法，對神經網路訓練有更快收斂，更低記憶體消耗和更好泛化誤差。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2114

本週份AI論文推薦新鮮出爐！真的很skr了~

Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information

@paperweekly 推薦

#Question Generation

本文是馬里蘭大學發表於 ACL 2018 的工作，論文基於完全資訊期望值（EVPI，expected value with perfect information）架構構建了一個用於解決澄清問題排序的神經網路模型，並利用問答網站“StackExchange”構建了一個新的三元組（post, question, answer）資料集，用於訓練一個能根據提問者所提出的問題來給出澄清問題的模型。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2146

原始碼連結

https://github.com/raosudha89/ranking_clarification_questions

本週份AI論文推薦新鮮出爐！真的很skr了~

NCRF++: An Open-source Neural Sequence Labeling Toolkit

@PatrickLiu 推薦

#Sequence Labeling

本文主要介紹了神經網路序列標註工具包“NCRF++”。NCRF++ 被設計用來快速實現帶有 CRF 推理層的不同神經序列標註模型。使用者可以透過配置檔案靈活地建立模型。工具包使用 PyTorch 實現。解釋該工具包架構的論文已被 ACL 2018 作為 demonstration paper 接受，即本篇論文。 使用 NCRF++ 的詳細實驗報告和分析已被 COLING 2018 接受，詳細論文解讀：COLING 2018 最佳論文解讀：序列標註經典模型復現

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2138

原始碼連結

https://github.com/jiesutd/NCRFpp

本週份AI論文推薦新鮮出爐！真的很skr了~

SEE: Towards Semi-Supervised End-to-End Scene Text Recognition

@jxlxt 推薦

#Object Recognition

本文設計了一個端到端的半監督文字檢測和識別模型，透過在 SVNH 和 FSNS 資料集上驗證了該模型的 work。文章的模型不需要提供文字檢測的 bounding box 只需要提供正確的 label，然後透過預測誤差反向傳播修正文字檢測結果。

端到端的模型 loss 設計困難，通常識別只專注於文字檢測或文字識別，但本文使用了 STN 來進行文字檢測結合 ResNet 進行識別。先透過 STN 檢測文字位置，輸出特定區域的文字圖片後再透過 CNN 識別文字。

▲ 論文模型：點選檢視大圖

本週份AI論文推薦新鮮出爐！真的很skr了~

論文連結

https://www.paperweekly.site/papers/2113

原始碼連結

https://github.com/Bartzi/see

本週份AI論文推薦新鮮出爐！真的很skr了~

Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis

@jamiechoi 推薦

#Image Synthesis

本文是密歇根大學和 Google Brain 發表於 CVPR 2018 的工作，論文首先從文字用一個 box generator 預測出物體類別所在的 bounding box 的位置，然後用 shape generator 在 box 的基礎上生成更細膩的 mask，最後把 mask 和文字資訊輸送到 image generator 進行圖片的生成。