序列資料和文字的深度學習

王者歸來szh發表於2022-07-15
深度學習
· 用於構建深度學習模型的不同文字資料表示法：
· 理解遞迴神經網路及其不同實現，例如長短期記憶網路（LSTM）和門控迴圈單元（Gated Recurrent Unit，GRU），它們為大多數深度學習模型提供文字和序列化資料；
· 為序列化資料使用一維卷積。
可以使用RNN構建的一些應用程式如下所示。
· 文件分類器：識別推文或評論的情感，對新聞文章進行分類。
· 序列到序列的學習：例如語言翻譯，將英語轉換成法語等任務。
· 時間序列預測：根據前幾天商店銷售的詳細資訊，預測商店未來的銷售情況。

1　使用文字資料

文字是常用的序列化資料型別之一。文字資料可以看作是一個字元序列或詞的序列。對大多數問題，我們都將文字看作詞序列。深度學習序列模型（如RNN及其變體）能夠從文字資料中學習重要的模式。這些模式可以解決類似以下領域中的問題：
· 自然語言理解；
· 文獻分類；
· 情感分類。
這些序列模型還可以作為各種系統的重要構建塊，例如問答（Question and Answering，QA）系統。
雖然這些模型在構建這些應用時非常有用，但由於語言固有的複雜性，模型並不能真正理解人類的語言。這些序列模型能夠成功地找到可執行不同任務的有用模式。將深度學習應用於文字是一個快速發展的領域，每月都會有許多新技術出現。我們將會介紹為大多數現代深度學習應用提供支援的基本元件。
與其他機器學習模型一樣，深度學習模型並不能理解文字，因此需要將文字轉換為數值的表示形式。將文字轉換為數值表示形式的過程稱為向量化過程，可以用不同的方式來完成，概括如下：
· 將文字轉換為詞並將每個詞表示為向量；
· 將文字轉換為字元並將每個字元表示為向量；
· 建立詞的n-gram並將其表示為向量。

文字資料可以分解成上述的這些表示。每個較小的文字單元稱為token，將文字分解成token的過程稱為分詞（tokenization）。在Python中有很多強大的庫可以用來進行分詞。一旦將文字資料轉換為token序列，那麼就需要將每個token對映到向量。one-hot（獨熱）編碼和詞向量是將token對映到向量最流行的兩種方法。圖6.1總結了將文字轉換為向量表示的步驟。

圖6.1
下面介紹分詞、n-gram表示法和向量化的更多細節。

6.1.1　分詞

將給定的一個句子分為字元或詞的過程稱為分詞。諸如spaCy等一些庫，它們為分詞提供了複雜的解決方案。讓我們使用簡單的Python函式（如split和list）將文字轉換為token。
為了演示分詞如何作用於字元和詞，讓我們看一段關於電影Thor:Ragnarok的小評論。我們將對這段文字進行分詞處理：
The action scenes were top notch in this movie. Thor has never been this epic in the MCU.　He does some pretty epic sh*t in this movie and he is definitely not under-powered anymore.　Thor in unleashed in this, I love that.

1．將文字轉換為字元

Python的list函式接受一個字串並將其轉換為單個字元的列表。這樣做就將文字轉換為了字元。下面是使用的程式碼和結果：
以下是結果：
結果展示了簡單的Python函式如何將文字轉換為token。

2．將文字轉換為詞

我們將使用Python字串物件函式中的split函式將文字分解為詞。split函式接受一個引數，並根據該引數將文字拆分為token。在我們的示例中將使用空格作為分隔符。以下程式碼段演示瞭如何使用Python的split函式將文字轉換為詞：
在前面的程式碼中，我們沒有使用任何的分隔符，預設情況下，split函式使用空格來分隔。

3．n-gram表示法

我們已經看到文字是如何表示為字元和詞的。有時一起檢視兩個、三個或更多的單詞非常有用。n-gram是從給定文字中提取的一組詞。在n-gram中，n表示可以一起使用的詞的數量。看一下bigram（當n = 2時）的例子，我們使用Python的nltk包為thor_review生成一個bigram，以下程式碼塊顯示了bigram的結果以及用於生成它的程式碼：
ngrams函式接受一個詞序列作為第一個引數，並將組中詞的個數作為第二個引數。以下程式碼塊顯示了trigram表示的結果以及用於實現它的程式碼：
在上述程式碼中唯一改變的只有函式的第二個引數n的值。
許多有監督的機器學習模型，例如樸素貝葉斯（Naive Bayes），都是使用n-gram來改善它的特徵空間。n-gram同樣也可用於拼寫校正和文字摘要的任務。
n-gram表示法的一個問題在於它失去了文字的順序性。通常它是和淺層機器學習模型一起使用的。這種技術很少用於深度學習，因為RNN和Conv1D等架構會自動學習這些表示法。

6.1.2　向量化

將生成的token對映到數字向量有兩種流行的方法，稱為獨熱編碼和詞向量（word embedding，也稱之為詞嵌入）。讓我們透過編寫一個簡單的Python程式來理解如何將token轉換為這些向量表示。我們還將討論每種方法的各種優缺點。

1．獨熱編碼

在獨熱編碼中，每個token都由長度為N的向量表示，其中N是詞表的大小。詞表是文件中唯一詞的總數。讓我們用一個簡單的句子來觀察每個token是如何表示為獨熱編碼的向量的。下面是句子及其相關的token表示：
An apple a day keeps doctor away said the doctor.　
上面句子的獨熱編碼可以用表格形式進行表示，如下所示。
An
100000000
apple
010000000
a
001000000
day
000100000
keeps
000010000
doctor
000001000
away
000000100
said
000000010
the
000000001
該表描述了token及其獨熱編碼的表示。因為句子中有9個唯一的單詞，所以這裡的向量長度為9。許多機器學習庫已經簡化了建立獨熱編碼變數的過程。我們將編寫自己的程式碼來實現這個過程以便更易於理解，並且我們可以使用相同的實現來構建後續示例所需的其他功能。以下程式碼包含Dictionary類，這個類包含了建立唯一詞詞表的功能，以及為特定詞返回其獨熱編碼向量的函式。讓我們來看程式碼，然後詳解每個功能：
上述程式碼提供了3個重要功能。
· 初始化函式__init__建立一個word2idx字典，它將所有唯一詞與索引一起儲存。idx2word列表儲存的是所有唯一詞，而length變數則是文件中唯一詞的總數。
· 在詞是唯一的前提下，add_word函式接受一個單詞，並將它新增到word2idx和idx2word中，同時增加詞表的長度。
· onehot_encoded函式接受一個詞並返回一個長度為N，除當前詞的索引外其餘位置全為0的向量。比如傳如的單詞的索引是2，那麼向量在索引2處的值是1，其他索引處的值全為0。
在定義好了Dictionary類後，準備在thor_review資料上使用它。以下程式碼演示瞭如何構建word2idx以及如何呼叫onehot_encoded函式：
上述程式碼的輸出如下：
單詞were的獨熱編碼如下所示：
獨熱表示的問題之一就是資料太稀疏了，並且隨著詞表中唯一詞數量的增加，向量的大小迅速增加，這也是它的一種限制，因此獨熱很少在深度學習中使用。

2．詞向量

詞向量是在深度學習演算法所解決的問題中，一種非常流行的用於表示文字資料的方式。詞向量提供了一種用浮點數填充的詞的密集表示。向量的維度根據詞表的大小而變化。通常使用維度大小為50、100、256、300，有時為1000的詞向量。這裡的維度大小是在訓練階段需要使用的超引數。
如果試圖用獨熱表示法來表示大小為20000的詞表，那麼將得到20000×20000個數字，並且其中大部分都為0。同樣的詞表可以用詞向量表示為20000×維度大小，其中維度的大小可以是10、50、300等。

一種方法是為每個包含隨機數字的token從密集向量開始建立詞向量，然後訓練諸如文件分類器或情感分類器的模型。表示token的浮點數以一種可以使語義上更接近的單詞具有相似表示的方式進行調整。為了理解這一點，我們來看看圖6.2，它畫出了基於5部電影的二維點圖的詞向量。

圖6.2
圖6.2顯示瞭如何調整密集向量，以使其在語義上相似的單詞具有較小的距離。由於Superman、Thor和Batman等電影都是基於漫畫的動作電影，所以這些電影的向量更為接近，而電影Titanic的向量離動作電影較遠，離電影Notebook更近，因為它們都是浪漫型電影。
在資料太少時學習詞向量可能是行不通的，在這種情況下，可以使用由其他機器學習演算法訓練好的詞向量。由另一個任務生成的向量稱為預訓練詞向量。下面將學習如何構建自己的詞向量以及使用預訓練詞向量。
序列資料和文字的深度學習
編輯

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/70020013/viewspace-2905896/，如需轉載，請註明出處，否則將追究法律責任。

相關文章