自然語言處理技術是怎麼進入新階段的？

深度學習技術根本地改變了自然語言處理技術，使之進入嶄新的發展階段，主要體現在以下幾個方面：

 

①神經網路的端對端訓練使自然語言處理技術不需要人工進行特徵抽取，只要準備好足夠的標註資料 ( 如機器翻譯的雙語對照語料 ) ，利用神經網路就可以得到一個現階段最好的模型；

 

②詞嵌入 (word embedding) 的思想使得詞彙、短語、句子乃至篇章的表達可以在大規模語料上進行訓練，得到一個在多維語義空間上的表達，使得詞彙之間、短語之間、句子之間乃至篇章之間的語義距離可以計算；

 

③基於神經網路訓練的語言模型可以更加精準地預測下一個詞或一個句子的出現機率；gendan5.com/currencycode.html

 

④迴圈神經網路 (RNN 、 LSTM 、 GRU) 可以對一個不定長的句子進行編碼，描述句子的資訊；

 

⑤編碼—解碼 (encoder-decoder) 技術可以實現一個句子到另外一個句子的變換，這個技術是神經機器翻譯、對話生成、問答、轉述的核心技術；

 

⑥強化學習技術使得自然語言系統可以透過使用者或者環境的反饋調整神經網路各級的引數，從而改進系統效能。