收藏 | 做人工智慧必看的45篇論文-附下載地址

編輯：機器學習初學者

今天給大家介紹45篇讓你跟上AI時代的論文。

一、神經網路基礎部分

No1  wide_deep模型論文：

關於神經元、全連線網路之類的基礎結構，想必每個AI學者都有了解。那麼你是否真的瞭解全連線網路中深層與淺層的關係呢？來看看wide_deep模型吧。這篇論文會使你對全連線有個更深刻的理解。

關於該模型的更多介紹可以參考論文：

https://arxiv.org/pdf/1606.07792.pdf

在wide_deep模型中，wide模型和deep模型具有各自不同的分工。

—wide模型：一種淺層模型。它通過大量的單層網路節點，實現對訓練樣本的高度擬合性。它的缺點是泛化能力很差。

—deep模型：一種深層模型。它通過多層的非線性變化，使模型具有很好的泛化性。它的缺點是擬合度欠缺。

將二者結合起來——用聯合訓練方法共享反向傳播的損失值來進行訓練—可以使兩個模型綜合優點，得到最好的結果。

No2  wide_deep模型論文：

為什麼Adam被廣泛使用？光會用可不行，還得把原理看懂。這樣出去噴一噴，才會顯得更有面子。

Adam的細節請參閱論文《Adam: A Method for Stochastic Optimization》，該論文的連結網址是：

https://arxiv.org/pdf/1412.6980v8.pdf

No3  Targeted Dropout模型論文：

你還再用普通的Dropout嗎？我已經開始用Targeted Dropout了。比你的又快，又好。你不知道吧，趕緊學習一下。

Targeted Dropout不再像原有的Dropout那樣按照設定的比例隨機丟棄部分節點，而是對現有的神經元進行排序，按照神經元的權重重要性來丟棄節點。這種方式比隨機丟棄的方式更智慧，效果更好。更多理論見以下論文：

https://openreview.net/pdf?id=HkghWScuoQ

二、影像分類部分

No4  Xception模型論文：

在那個影像分類的時代，谷歌的Xception系列，像x戰警一樣，一個一個的打破記錄。其中的技術也逐漸成為AI發展的知識體系。有必要看一下。或許會對自己的工作有所啟發。

詳細情況請檢視原論文《Xception: Deep Learning with Depthwise Separable Convolutions》，該論文網址是：

https://arxiv.org/abs/1610.02357

No5  殘差結構論文：

運氣好到沒朋友，現有模型，後完善理論指的就是殘差結構這哥們。他的傳奇導致即使到今天的AI技術，也無法將它割捨，就來常微分方程都得拿它比肩。快來學學吧。用處大著呢。好多模型都拿他當先鋒。

利用殘差結構，可以使得網路達到上百層的深度。詳情請參閱原始論文《Deep ResidualLearning for Image Recognition》，該論文網址是：

https://arxiv.org/abs/1512.03385

No6  空洞卷積論文：

NasNet的招牌動作，雖然不是出於NASNet，但是卻被人家用得如火純青。有時不得不驚歎，機器設計出來的模型還真實跟人設計的不一樣！

想知道空洞卷積的感受野為什麼與層數呈指數級關係嗎？

細節請檢視原論文《Multi-scale context aggregation by dilated convolutions》，該論文網址是：

https://arxiv.org/abs/1511.07122v3

No7  DenseNet論文：

這個模型使我想到了“一根筋”，再次證明了只有軸的人才能成大事！令類的模型，神奇的效果，快來體驗一下吧。這可是比華佗還牛的神醫哦！

有關DenseNet模型的細節，請參考原始論文《Densely Connected Convolutional Networks》，該論文的連線是：

https://arxiv.org/abs/1608.06993

No8  EfficientNet模型論文：

知道目前位置影像分類界誰是老大嗎？ 來，看看這個！

EfficientNet模型的論文地址如下：

https://arxiv.org/pdf/1905.11946.pdf

No9  Grad-CAM模型論文：

如果你能把神經元搞得透徹，你也會想到這個點子。不想聊太多！一個字“絕”！這TMD才叫卷積網路的視覺化！

詳細情況請參閱論文《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》，該論文的連結網址是：

https://arxiv.org/pdf/1610.02391.pdf

No10  分類模型泛化能力論文：

知道為啥都喜歡使用ResNet模型當先鋒嗎？運氣好就是運氣好！好到大家都喜歡用它，還說不出為啥它那麼好！反正就是好，不信的話看看這篇論文的實驗結果。

論文中，在選取模型的建議中，多次提到了ResNet模型。原因是，ResNet模型在Imgnet資料集上輸出的特徵向量所表現的泛化能力是最強的。具體可以參考以下論文：

https://arxiv.org/pdf/1805.08974.pdf

三、批量正則化部分

No11  批量正則化論文：

這個沒的說，必修課，不懂的化，會被鄙視成渣渣！

論文《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，該論文網址是：

https://arxiv.org/abs/1502.03167

No12  例項歸一化論文：

時代不同了，批量歸一化也升級了，趕緊學學新的歸一化吧。

在對抗神經網路模型、風格轉換這類生成式任務中，常用例項歸一化取代批量歸一化。因為，生成式任務的本質是——將生成樣本的特徵分佈與目標樣本的特徵分佈進行匹配。生成式任務中的每個樣本都有獨立的風格，不應該與批次中其他的樣本產生太多聯絡。所以，例項歸一化適用於解決這種基於個體的樣本分佈問題。詳細說明見以下連結：

https://arxiv.org/abs/1607.08022

No13  ReNorm演算法論文：

ReNorm演算法與BatchNorm演算法一樣，注重對全域性資料的歸一化，即對輸入資料的形狀中的N維度、H維度、W維度做歸一化處理。不同的是，ReNorm演算法在BatchNorm演算法上做了一些改進，使得模型在小批次場景中也有良好的效果。具體論文見以下連結：

https://arxiv.org/pdf/1702.03275.pdf

No14  GroupNorm演算法論文：

GroupNorm演算法是介於LayerNorm演算法和InstanceNorm演算法之間的演算法。它首先將通道分為許多組（group），再對每一組做歸一化處理。

GroupNorm演算法與ReNorm演算法的作用類似，都是為了解決BatchNorm演算法對批次大小的依賴。具體論文見下方連結：

https://arxiv.org/abs/1803.08494

No15  SwitchableNorm演算法論文：

我們國人做產品都喜歡這麼幹！all in  one  ,好吧。既然那麼多批量歸一化的方法。來，來，來，我們來個all in one吧。不服來辯，我這啥都有！

SwitchableNorm演算法是將BN演算法、LN演算法、IN演算法結合起來使用，併為每個演算法都賦予權重，讓網路自己去學習歸一化層應該使用什麼方法。具體論文見下方連結：

https://arxiv.org/abs/1806.10779

四、注意力部分

No16  大道至簡的注意力論文：

把AI搞成玄學也就算了！居然還扯到道家了！谷歌的工程師真實中外通吃啊！搞出來了一個只用注意力就能做事的模型，連卷積都不要了！你所好玩不好玩！至簡不至簡！刺激不刺激！

大名鼎鼎的Attention is All You Need 注意力機制論文

注意力機制因2017年穀歌的一篇論文Attention is All You Need而名聲大噪。下面就來介紹該技術的具體內容。如果想了解更多，還可以參考原論文，具體地址如下：

https://arxiv.org/abs/1706.03762

No17-18  孿生注意力論文：

好比LSTM與GRU一樣，注意力他們家也除了一對雙胞胎，長得略微有點不同。但是功能一樣，都能吃能喝，還能注意。老虎老鼠傻傻的不清楚！

—BahdanauAttention：https://arxiv.org/abs/1409.0473。

—LuongAttention：https://arxiv.org/abs/1508.04025。

No19  各自升級的孿生注意力論文：

話說這對雙胞胎，出生後就分開了。各自學的不同的語言，一個學習漢語，一個學習中文。若干年後，見面，發現二者的能力還是一樣！

BahdanauAttention注意力升級成了normed_BahdanauAttention，而LuongAttention注意力升級成了scaled_LuongAttention。都一樣的效果，你愛用哪個用哪個吧！

例如：

在BahdanauAttention類中有一個權重歸一化的版本（normed_BahdanauAttention），它可以加快隨機梯度下降的收斂速度。在使用時，將初始化函式中的引數normalize設為True即可。

具體可以參考以下論文：

https://arxiv.org/pdf/1602.07868.pdf

No20  單調注意力機制論文：

老公主動表忠心，我以後不看別的美女。老婆覺得不夠，再加個限制：你以後不準看別的女人！於是單調注意力就出來了。

單調注意力機制（monotonic attention），是在原有注意力機制上新增了一個單調約束。該單調約束的內容為：

（1）假設在生成輸出序列過程中，模型是以從左到右的方式處理輸入序列的。

（2）當某個輸入序列所對應的輸出受到關注時，在該輸入序列之前出現的其他輸入將不能在後面的輸出中被關注。

即已經被關注過的輸入序列，其前面的序列中不再被關注。

更多描述可以參考以下論文：

https://arxiv.org/pdf/1704.00784.pdf

No21  混合注意力機制論文：

這個注意力很強大，比一般的注意力專注的地方更多，資訊更豐富。我已經注意你很久了！呵呵呵~~~

因為混合注意力中含有位置資訊，所以它可以在輸入序列中選擇下一個編碼的位置。這樣的機制更適用於輸出序列大於輸入序列的Seq2Seq任務，例如語音合成任務。

具體可以參考以下論文：

https://arxiv.org/pdf/1506.07503.pdf

五、高階的卷積網路知識

No22  膠囊網路與動態路由的論文：

這是一股為影像分類降溫的寒風，深刻而又尖銳的點出了卷積網路的硬傷！ 從事最大池化再無翻身之日。

雖然膠囊網路再實際應用中，不像它的理論那麼牛，但是對AI的幫助，卷積的理解是革命性的。非常值得一讀。另外，這也是一篇絕對讓你對數學徹底絕望的論文。花幾根白頭髮把裡面的演算法啃下來吧。這樣你與大神就能更近一步。

膠囊網路分為主膠囊與數字膠囊，主膠囊與數字膠囊之間的耦合係數是通過訓練得來的。在訓練過程中，耦合係數的更新不是通過反向梯度傳播實現的，而是採用動態路由選擇演算法完成的。該演算法來自以下論文連結：

https://arxiv.org/pdf/1710.09829.pdf

目前膠囊網路的研究還處於初級階段，隨著人們研究的深入，相信這些問題會得到解決。

No23  矩陣膠囊網路與EM路由演算法：

如果你覺得不過癮，那麼還可以再看一篇。繼續自虐一下。

帶有EM（期望最大化）路由的矩陣膠囊網路是動態路由膠囊網路的一個改進版本。論文連結如下：

https://openreview.net/pdf?id=HJWLfGWRb

No24  膠囊網路的其它用處：

膠囊網路混身是寶，但就是自己不爭氣。這也說明還有上升的空間。就拿其中一個動態路由演算法來講，居然比普通的注意力還好。

看完之後，相信你一定會手癢！要不要也試試？把你的注意力換一下。值得你嘗試，會有彩蛋的！

該論文的實踐也證明，與原有的注意力機制相比，動態路由演算法確實在精度上有所提升。具體介紹可見以下論文：

https://arxiv.org/pdf/1806.01501.pdf

No25  卷積網路新玩法TextCNN模型：

早先小編在一個專案中，自己用卷積網路處理字元資料。自己感覺很Happy。沒想到，無意間居然發現了一篇同樣這麼幹的論文。居然還有個名字，叫TextCNN。哎！可惜啊！小編文化少，只會寫程式碼，不會寫論文。

TextCNN模型是利用卷積神經網路對文字進行分類的演算法，由 Yoon Kim 在 Convolutional Neural Networks for Sentence Classification 一文中提出。論文地址：

https://arxiv.org/pdf/1408.5882.pdf

六、影像內容處理部分

No26  FPN模型論文（包含了ROIAlign的匹配演算法）：

要是搞計算機視覺，還是要建議看一下。非常的基礎。也是影像分割方面的用得最多得模型。

FPN的原理是：將骨幹網路最終特徵層和中間特徵層的多個尺度的特徵以類似金字塔的形式融合在一起。最終的特徵可以兼顧兩個特點——指向收斂目標的特徵準確、特徵語義資訊豐富。更多資訊可以參考論文：

ROIAlign層中的匹配演算法也來自於這篇FPN論文，連結如下：

https://arxiv.org/abs/1612.03144

No27 Mask R-CNN模型論文：

效果好，程式碼多！硬貨！來啃吧！

Mask R-CNN模型是一個簡單、靈活、通用的物件例項分割框架。它能夠有效地檢測影像中的物件，併為每個例項生成高質量的分割掩碼，還可以通過增加不同的分支完成不同的任務。它可以完成目標分類、目標檢測、語義分割、例項分割、人體姿勢識別等多種任務。具體細節可以參考以下論文：

https://arxiv.org/abs/1703.06870

No28  YOLO V3模型論文：

這個模型的提點就是快！目標識別強烈推薦

YOLO V3模型的更多資訊可以參考以下連結中的論文：

https://pjreddie.com/media/files/papers/YOLOv3.pdf

No29  Anchor-Fress模型--FCOS模型論文：

隨著AI技術的進步Anchor-Fress模型死灰復燃（早先是YOLO V1那一批模型），這次不一樣的是徹底幹掉帶Anchor的模型。訓練起來那就一個爽！媽媽再也不用為我準備單獨的Anchor標籤了。

與YOLO V1相比， FCOS模型的思想與YOLO V1模型非常相似，唯一不同的是FCOS模型沒有像YOLOv1那樣只考慮中心附近的點，而是利用了ground truth邊框中所有的點來進行預測邊框。並且通過 center-ness 分支來抑制那些效果不行的檢測邊框。這樣FCOS 就可以改善YOLO V1模型總會漏掉部分檢測邊框的缺點。

相關論文地址：

https://arxiv.org/abs/1904.01355

No30  Anchor-Fress模型--CornerNet-Lite模型論文：

一樣也是Anchor-Fress模型，與FCOS效果差不多少，具體看一下論文吧

CornerNet-Lite模型。相關論文地址：

https://arxiv.org/pdf/1904.08900.pdf

No31  棧式沙漏網路模型--Hourglass論文：

最初使用者人的姿態估計，在符合模型中也是常被使用的模型。論文地址：

https://arxiv.org/abs/1603.06937

No32  OCR必修課——STN模型論文：

可以讓模型自動仿射變化，你說牛不牛！要學OCR，就得從這個開始。

有關STN模型的論文連結如下：

https://arxiv.org/abs/1506.02025

七、迴圈神經網路部分

No33  QRNN模型論文：

在RNN模型的cell裡，如果還只知道LSTM和GRU。那就太low了。快了補補吧：

如果想更多瞭解QRNN，可以參考以下論文：

https://arxiv.org/abs/1611.01576

No34  SRU模型論文：

接著來，各種RNN的Cell。又漂亮，又好吃！

SRU單元在本質上與QRNN單元很像。從網路構建上看，SRU單元有點像QRNN單元中的一個特例，但是又比QRNN單元多了一個直連的設計。

若需要研究SRU單元更深層面的理論，可以參考如下論文：

https://arxiv.org/abs/1709.02755

No35  IndRNN模型論文：

再補一個，這可都是好cell啊！

將IndRNN單元配合ReLu等非飽和啟用函式一起使用，會使模型表現出更好的魯棒性。

有關IndRNN單元的更多理論，可以參考論文：

https://arxiv.org/abs/1803.04831

No36  IndRNN模型論文：

最後，再來一個cell，如想要了解更多關於JANET單元的內容，可以參考以下論文：

https://arxiv.org/abs/1804.04849

八、AI合成部分

No37-38  Tacotron與Tacotron-2模型論文：

AI合成部分的經典模型，以上結構來自Tacotron與Tacotron-2兩個結構，更多內容可以參考以下兩篇論文：

https://arxiv.org/pdf/1703.10135.pdf

https://arxiv.org/pdf/1712.05884.pdf

No39  DeblurGAN模型論文：

圖片合成的論文太多了。這裡簡單列幾個，大體原理和思路瞭解，即可。

DeblurGAN模型是一個對抗神經網路模型，由生成器模型和判別器模型組成。

—生成器模型，根據輸入的模糊圖片模擬生成清晰的圖片。

—判別器模型，用在訓練過程中，幫助生成器模型達到更好的效果。

具體可以參考論文：

https://arxiv.org/pdf/1711.07064.pdf。

No40  AttGAN模型論文：

同樣，這也是個圖片合成的。不同的是多屬性合成，相對比較有意思。

AttGAN模型由兩個子模型組成：

（1）利用編碼器模型將圖片特徵提取出來。

（2）將提取的特徵與指定的屬性值引數一起輸入編碼器模型中，合成出最終的人臉圖片。

更多細節可以參考論文：

https://arxiv.org/pdf/1711.10678.pdf

No41  RNN.WGAN模型論文：

可以合成文字的GAN。離散資料也能幹！

RNN.WGAN模型使用了WGAN模型的方法進行訓練。詳細做法可以參考如下論文：

https://arxiv.org/abs/1704.00028

九、多工學習

No42  MKR模型論文：

多工學習模型有必要了解一下。這裡推薦一個論文給你看看。

MKR是一個多工學習的端到端框架。該框架能夠將兩個不同任務的低層特徵抽取出來，並融合在一起實現聯合訓練，從而達到最優的結果。有關MKR的更多介紹可以參考以下連結：

https://arxiv.org/pdf/1901.08907.pdf

十、NLP部分

No43  BERT模型論文：

如果你搞NLP，那麼這個就不用我來介紹了。如果你準備搞NLP,那麼趕緊來看看這個，跟上時代。

BERT相關論文連結

https://arxiv.org/abs/1810.04805

在BERT之後，又出了好多優秀的模型。但是，還是先把這個啃下來，再看別的才不費勁。

十一、模型攻防

No44  FGSM模型論文：

攻擊模型的經典方法。值得掌握。

FGSM（Fast Gradient Sign Method）是一種生成對抗樣本的方法。該方法的描述如下：

（1）將輸入圖片當作訓練的引數，使其在訓練過程中可以被調整。

（2）在訓練時，通過損失函式誘導模型對圖片生成錯誤的分類。

（3）當多次迭代導致模型收斂後，訓練出來的圖片就是所要得到的對抗樣本。

具體可以參考論文：

https://arxiv.org/pdf/1607.02533.pdf

No45  黑箱攻擊論文：

基於雅可比（Jacobian）矩陣的資料增強方法，是一種常用的黑箱攻擊方法。該方法可以快速構建出近似於被攻擊模型的決策邊界，從而使用最少量的輸入樣本。即：構建出代替模型，並進行後續的攻擊操作。

詳細請見如下連結：

https://arxiv.org/abs/1602.02697

- END -

如果看到這裡，說明你喜歡這篇文章，請轉發、點贊。掃描下方二維碼或者微信搜尋「perfect_iscas」，新增好友後即可獲得10套程式設計師全棧課程+1000套PPT和簡歷模板，向我私聊「進群」二字即可進入高質量交流群。

↓掃描二維碼進群↓

喜歡文章，點個在看