【精讀】自然語言處理基礎之RNN
https://www.toutiao.com/a6693133560351556100/
我們在前兩篇【精讀】自然語言處理基礎中提到了,無論是seq2seq模型,還是注意力(attention)機制,其中語言序列的編碼解碼都經過了一種名為RNN的神經網路。
RNN神經網路到底是何方神聖呢?
RNN全名:Recurrent Neural Networks,也叫遞迴神經網路或迴圈神經網路。是深度神經網路(DNN)的一種
RNN和深度神經網路有什麼區別呢?
舉個簡單的例子,比如在一個人機對話場景中,有2句話
句1:arrive China on May 2nd
句2:leave China on May 2nd
如果使用的DNN,機器對句1和句2中的 China 的理解將沒有區別
而我們可以明顯的知道句1中的China是目的地,而句2中的China是出發地
RNN解決的問題
RNN就可以克服上述的困難,很好的處理和序列相關的資料(如時間序列,語言序列等)
在上面兩例子中,機器理解句1中的China,會參考前面一個詞的輸入“arrive”
而對於句子2中的China,機器會參考前面的“leave”,因此最後China會分別理解為“目的地”和“出發地
如下圖所示,中間隱層A,正在讀取某個輸入Xt,並輸出一個值 ht。迴圈網路可以使得資訊從當前時刻傳遞到下一時刻。也就是說X0的資訊會傳到X1中,X1的資訊會傳到X2中,以此類推
如果我們將這個迴圈展開:
RNN的應用場景
語言模型;文字生成;機器翻譯;語音識別
影像描述:前四種應用場景我們都較為熟悉,而這一種應用使得RNN和卷積神經網路(convolutional Neural Networks, CNNs)一樣,對無標影像描述自動生成中得到應用。
將CNNs與RNNs結合進行影像描述自動生成。這是一個非常神奇的研究與應用。該組合模型能夠根據影像的特徵生成描述
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29829936/viewspace-2645137/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【自然語言處理篇】--以NLTK為基礎講解自然語⾔處理的原理和基礎知識自然語言處理
- Python自然語言處理實戰(1):NLP基礎Python自然語言處理
- 自然語言處理入門基礎之hanlp詳解自然語言處理HanLP
- 自然語言處理之jieba分詞自然語言處理Jieba分詞
- 用於自然語言處理的迴圈神經網路RNN自然語言處理神經網路RNN
- 深度解析自然語言處理之篇章分析自然語言處理
- 自然語言處理(NLP)系列(一)——自然語言理解(NLU)自然語言處理
- 自然語言處理NLP(四)自然語言處理
- 自然語言處理(NLP)概述自然語言處理
- HanLP 自然語言處理 for nodejsHanLP自然語言處理NodeJS
- 自然語言處理之序列標註問題自然語言處理
- 自然語言處理之:搭建基於HanLP的開發環境自然語言處理HanLP開發環境
- NLP漢語自然語言處理入門基礎知識自然語言處理
- [譯] 自然語言處理真是有趣!自然語言處理
- 自然語言處理:分詞方法自然語言處理分詞
- Go語言基礎-錯誤處理Go
- Python 自然語言處理(基於jieba分詞和NLTK)Python自然語言處理Jieba分詞
- 自然語言處理NLP快速入門自然語言處理
- 配置Hanlp自然語言處理進階HanLP自然語言處理
- 自然語言處理的最佳實踐自然語言處理
- 人工智慧 (06) 自然語言處理人工智慧自然語言處理
- 自然語言處理與情緒智慧自然語言處理
- Pytorch系列:(六)自然語言處理NLPPyTorch自然語言處理
- NLP漢語自然語言處理入門基礎知識介紹自然語言處理
- 精通Python自然語言處理 2 :統計語言建模Python自然語言處理
- 中國語文(自然語言處理)作業自然語言處理
- 詞!自然語言處理之詞全解和Python實戰!自然語言處理Python
- 自然語言處理中的語言模型預訓練方法自然語言處理模型
- 自然語言處理NLP(6)——詞法分析自然語言處理詞法分析
- 自然語言處理怎麼最快入門?自然語言處理
- 精通Python自然語言處理 1 :字串操作Python自然語言處理字串
- 自然語言處理(NLP)路線圖 - kdnuggets自然語言處理
- 人工智慧--自然語言處理簡介人工智慧自然語言處理
- Pytext 簡介——Facebook 基於 PyTorch 的自然語言處理 (NLP) 框架PyTorch自然語言處理框架
- 探索自然語言處理:語言模型的發展與應用自然語言處理模型
- 放棄幻想,全面擁抱Transformer:自然語言處理三大特徵抽取器(CNN/RNN/TF)比較ORM自然語言處理特徵CNNRNN
- 有趣的自然語言處理資源集錦自然語言處理
- 自然語言處理(NLP)簡介 | NLP課程自然語言處理