NLP與深度學習(五)BERT預訓練模型

ZacksTang發表於2021-09-30

1. BERT簡介

Transformer架構的出現,是NLP界的一個重要的里程碑。它激發了很多基於此架構的模型,其中一個非常重要的模型就是BERT。

BERT的全稱是Bidirectional Encoder Representation from Transformer,如名稱所示,BERT僅使用了Transformer架構的Encoder部分。BERT自2018年由谷歌釋出後,在多種NLP任務中(例如QA、文字生成、情感分析等等)都實現了更好的結果。

 

BERT的效果如此優異,其中一個主要原因是:它是一個基於上下文的詞嵌入(context-based embedding)模型。我們在之前的文章中(“NLP與深度學習(一)NLP任務流程”)

提到過:

“Word2vec與GloVe都有一個特點,就是它們是上下文無關(context-free)的詞嵌入。所以它們沒有解決:一個單詞在不同上下文中代表不同的含義的問題。例如,對於單詞bank,它在不同的上下文中,有銀行、河畔這種差別非常大的含義。“

 

BERT的出現,解決了這個問題。下面我們便從context-based與context-free開始,逐步介紹BERT模型。

 

2. Context-Based與Context-Free

首先我們介紹一下context-based與context-free這兩種詞嵌入(Embedding)的區別。

 

2.1. Context-Free Embedding

看看下面2條句子:

1. He got bit by Python

2. Python is my favorite programming language

 

作為人類,我們可以很容易分辨這2個句子中單詞Python的不同含義。在第1個句子中表示的是蟒蛇,第2個句子中表示的一種程式語言。而如果我們用context-free的詞嵌入(例如word2vec)來表示單詞Python,則單詞Python在上面2個句子中的表示方法都是同一個詞向量。也即是說,這樣會導致單詞Python在2個句子中的含義是一樣的。顯然,這個在我們實際場景中是不合適的。

這便是context-free embedding的缺點:無論某個單詞的上下文語境如何,它都僅有同一種對單詞的表示方法。

 

2.2. Context-Based Embedding

另外一種更好的方式便是Context-Based Embedding,也就是BERT使用的方式。它可以基於單詞的上下文,生成不同的詞嵌入表示。例如在上面的2個句子中,它就可以根據單詞Python所處的上下文,生成對它不同的詞向量表示。

 

以BERT為例,再次回顧上面提到的第1個句子:He got bit by Python。

BERT會將每個單詞與句子中所有其他單詞計算相關性,據此來理解每個單詞的上下文。也就是說,為了理解單詞“Python“的上下文含義,BERT會將單詞”Python“與其句子中所有其他單詞進行關聯,瞭解它們之間的相關性(也就是前文介紹過的multi-head self-attention機制)。所以在第1個句子中,BERT可以通過單詞”bit“來理解單詞”Python“的含義為”蟒蛇“。如下圖所示:

再看第2個句子“Python is my favorite programming language“。同樣,BERT會將每個單詞與句子中所有單詞進行相關性計算,並據此得到每個單詞的上下文資訊。所以對於單詞”Python“,BERT同樣會計算單詞”Python“與句子中每個單詞的相關性,並據此理解單詞“Python”的含義。例如,在這個句子中即根據單詞“programming“,BERT可以理解到單詞“Python”的含義為“程式語言”,如下圖所示:

 

像word2voc、GloVe這種context-free的詞嵌入,總是會對單詞輸出固定的詞向量,而忽略了上下文的資訊。而BERT這種context-based的方式,可以根據不同上下文,動態生成不同詞向量的方法,更符合我們人類對語言的理解(當然,這種動態的表示也是經過了大量樣本訓練後得出)。最後,BERT在各個NLP任務中的表現,也證實了這種方式是更優秀的。

 

 

3. BERT的基本原理

前面提到BERT基於的是Transformer模型,並且僅使用Transformer模型的Encoder部分。在Transformer模型中,Encoder的輸入是一串序列,輸出的是對序列中每個字元的表示。同樣,在BERT中,輸入的是一串序列,輸出的是也是對應序列中每個單詞的編碼。

 

仍以前面提到的“He got bit by Python”為例,BERT的輸入輸出如下圖所示:

Fig. 1 Sudharsan Ravichandiran. Understanding the BERT Model[1]

 

其中輸入為序列“He got bit by Python”,輸出的是對每個單詞的編碼Rword。這樣在經過了BERT處理後,即得到了對每個單詞包含的上下文表示Rword

 

這便是BERT的基本原理,下面我們介紹BERT的不同配置。

 

 

4. BERT的配置

BERT的研究人員提出了2個標準配置的BERT模型:

l  BERT-base

l  BERT-large

 

BERT-base用於與其他架構進行對比,並以此衡量其他架構的效能。BERT-large則是用在了論文中對各個NLP任務的結果展示。

 

下面分別介紹這2個配置的BERT模型。

 

4.1. BERT-base

BERT-base包含:

  1. 12個堆疊的encoder層,上一層的Encoder的輸出是下一層Encoder的輸入
  2. 每個Encoder使用12-head attention
  3. Encoder中的前饋網路包含768個隱藏單元(也就是說輸出的Rword維度為768維)

 

使用以下符號表示這幾個概念:

  1. Encoder堆疊的層數表示為L
  2. Attention的頭(multi-head)數表示為A
  3. 前饋網路的隱藏單元數表示為H

 

則在BERT-base模型中,L=12,A=12,H=768。模型的總引數個數為1億1千萬(100 million)。BERT-base模型如下圖所示:

 

4.2. BERT-large

BERT-large包含:

  1. 24個堆疊的Encoder層
  2. 每個Encoder使用16-head attention
  3. Encoder中的前饋網路包含1024個隱藏單元(也就是說輸出的Rword維度為1024維)

 

也就是說,在BERT-large模型中,L=24,A=16,H=1024。模型的總引數個數為3億4千萬(340 million)。

 

4.3. 其他BERT配置

除了上面2種標準配置外,我們也可以使用其他的配置來構建BERT模型。部分較小配置的BERT模型如:

  1. Bert-tiny:L=2,H=128
  2. Bert-mini:L=4,H=256
  3. Bert-small:L=4,H=512
  4. Bert-medium:L=8,H=512

 

這些小配置的BERT模型如下圖所示:

 

在計算資源有限的場景下,我們可以使用更小配置的BERT模型。不過,最常用的還是BERT-base和BERT-large,它們的準確率也相對小配置BERT模型更高。

 

在瞭解了BERT的配置後,下面介紹BERT模型的訓練。

 

 

5. BERT輸入資料的表示

首先需要明確的一個點是:BERT是一個預訓練模型。也就是說,它是在大量資料集上進行了預訓練後,才被應用到各類NLP任務中。在對BERT模型進行預訓練時,與前面介紹過的所有模型一樣,輸入的文字需要先進行處理後,才能送入到模型中。而在將文字資料輸入到BERT前,會使用到以下3個Embedding層:

  1. Token embedding
  2. Segment embedding
  3. Position embedding

 

下面逐個介紹這3個Embedding 層。

 

5.1. Token Embedding

Token Embedding就是將一個序列做分詞,把序列轉為一串單詞以及它們對應的詞向量。舉個例子,假設有2個句子,分別為:

  1. Beijing is a beautiful city.
  2. I love Beijing

 

首先,對2個句子進行分詞得到token,結果如下所示:

Tokens = [Beijing, is, a, beautiful, city, I, love, Beijing]

 

(需要特別注意的是:這裡為了方便解釋,我們使用了最普遍的分詞法為例,而BERT中使用的是WordPiece分詞。這種分詞方法可以顯著減少詞庫的大小,WordPiece基於的是BPE(Byte Pair Encoding),BPE屬於subword分詞法中的一種。

有關WordPiece的介紹我們前面已在“NLP與深度學習(一)NLP任務流程”中有過介紹,在此不再贅述。)

 

然後,我們在最前面加上1個[CLS] 的token,例如:

Tokens = [ [CLS], Beijing, is, a, beautiful, city, I, love, Beijing]

 

最後,在每個句子的後面分別加上[SEP] 的token,例如:

Tokens = [ [CLS], Beijing, is, a, beautiful, city, [SEP], I, love, Beijing, [SEP]]

 

這2個特殊的token我們之前(見“NLP與深度學習(一)NLP任務流程” )介紹過:“ [CLS] 、[SEP] 與[PAD] 是BERT Tokenizer中的保留詞,分別代表“分類任務”、“Sequences之間的間隔”,以及序列補全(序列補全與截斷是NLP任務中常用的方法,用於將不同長度的文字統一長度)。 ”

 

在做完以上步驟後,在輸入到BERT中之前,還需要將每個單詞轉換為與之對應的詞向量。如:

Input:[  [CLS], Beijing, is, a, beautiful, city, [SEP], I, love, Beijing, [SEP]  ]

Embedding: [  E[CLS], EBeijing, Eis, Ea, Ebeautiful, Ecity, E[SEP], EI, Elove, EBeijing, E[SEP]  ]

 

這樣即完成了Token Embedding。

 

5.2. Segment Embedding

接下來是一層Segment Embedding,用於區分2個給定的句子。仍以上面的2個句子為例。在對這2個句子做了分詞處理後,結果為:

Tokens = [ [CLS], Beijing, is, a, beautiful, city, [SEP], I, love, Beijing, [SEP]]

 

但是,除了[SEP] 外,我們還需要一種方式來告知模型哪個單詞屬於哪個句子。這也就是Segment Embedding做的事情。在將例子中的Tokens輸入到segment embedding後,它僅會輸出2種embedding,分別為EA或EB。也就是說,如果單詞屬於句子1,則輸出EA;如果屬於句子2,則輸出EB。如下所示:

Input:                        [  [CLS], Beijing, is, a, beautiful, city, [SEP], I, love, Beijing, [SEP]  ]

Segment Embedding:[  EA,   EA,     EA, EA, EA,      EA,  EA,  EB, EB,   EB,    EB,   ]

 

如果只有1個句子,則僅輸出EA

 

 

5.3. Position Embedding

BERT基於的是Transformer的Encoder,而由於Transformer中Encoder本身不包含Positional Encoding,所以BERT中還需要一層Position Embedding來指示單詞在句子中的位置。經過Position Embedding處理後,輸出如下所示:

Input:                        [  [CLS], Beijing, is, a, beautiful, city, [SEP], I, love, Beijing, [SEP]  ]

Position Embedding: [  E0,   E1,    E2,E3,E4,     E5,  E6,  E7,E8,  E9,    E10   ]

 

我們在上一章(見“NLP與深度學習(四)Transformer模型”)介紹Transformer時,提到在Transformer中也有一個Positional Embedding,使用的是正弦曲線的方法:

“在原論文中,作者還提到了另一種位置編碼的方法:直接通過訓練學習得到位置編碼。並且從測試結果來看,兩者幾乎沒什麼差別。”

 

但是在BERT中,作者使用的是“直接通過訓練學習”得到的位置編碼,但並沒有給出具體理由。但是實驗上(從Transformer論文中的試驗來看)效果應該差不多。

 

5.4. 輸入的最終表示

在將輸入序列經過上述3層embedding處理後,將每層embedding的結果進行相加,即得到了輸入資料的最終表示,也就是BERT模型的輸入。

如下所示:

BERT 論文[5]中的一個例子為:

 

 

 

 

6. BERT預訓練的方法

BERT模型在進行預訓練時,基於的是2種型別的任務:

  1. Masked language modeling(帶掩碼的語言模型)
  2. Next sentence prediction(預測下一條句子)

 

下面會分別介紹這2個任務。不過,在介紹Masked Language Modeling (帶掩碼的語言模型)任務前,有必要先介紹一下什麼是Language Modeling任務。

 

6.1. Language Modeling

在Language Modeling任務中,我們會給模型輸入一個單詞序列(句子),並令模型預測這個序列(句子)的下一個單詞。這種Language Modeling可以劃分為2類:

  1. Auto-regressive language modeling(自動迴歸的語言建模)
  2. Auto-encoding language modeling(自動編碼的語言建模)

 

Auto-regressive language modeling

自動迴歸的語言建模又可以分為以下2類:

  1. 前向預測(Forward prediction,從左到右)
  2. 後向預測(Backward prediction,從右到左)

 

以“Beijing is a beautiful city. I love Beijing”為例。我們將city單詞移除,替換為空,如下所示:

Beijing is a beautiful _. I love Beijing

 

接下來,我們讓模型預測空白位置的單詞:

  1. 如果使用Forward prediction,則模型從左到右讀入輸入,並做預測,例如:“Beijing is a beautiful _”。
  2. 而若是使用Backward prediction,則模型從右到左讀入輸入,並左預測,例如“_ I love Beijing”。

 

所以Auto-regressive models是單向的,僅從1個方向讀入句子。

 

 

Auto-encoding language modeling

與Auto-regressive models 不同的是,Auto-regressive models是雙向的。也就是說,它會從兩個方向均讀入句子,並對空白詞做預測。例如:

Beijing is a beautiful _. I love Beijing

 

雙向的模型的效果會更好,因為從2個方向讀入句子會更有助於理解上下文(例如我們之前介紹過的雙向RNN)。

 

 

以上便是language modeling的介紹,下面我們繼續來討論BERT中使用的預訓練方式——Masked Language Modeling。

 

 

6.2. Masked Language Modeling

BERT是一種Auto-encoding 語言模型,也就是說,它是從2個方向讀入句子並做預測。在masked language modeling 任務中(也稱為填空任務cloze task),對任何一個句子,隨機遮擋(mask)其中15%的單詞,並訓練網路預測這些單詞。在進行預測時,模型會從雙向讀入句子,並進行預測。

 

仍以“Beijing is a beautiful city. I love Beijing”為例。首先對句子做分詞,得到單個單詞:

Tokens = [Beijing, is, a, beautiful, city, I, love, Beijing]

 

然後在最前面加上[CLS],並在每個句子後加上[SEP] 的特殊標記:

Tokens = [ [CLS], Beijing, is, a, beautiful, city, [SEP], I, love, Beijing, [SEP]]

 

下面對15%的單詞做遮擋(mask),假設遮擋的是單詞“city”,則使用特殊標記[MASK]替換單詞“city”:

Tokens = [ [CLS], Beijing, is, a, beautiful, [MASK], [SEP], I, love, Beijing, [SEP]]

 

這樣即可提供給BERT去做訓練了。但是,這種方法會有一個小問題:導致pre-train與fine-tuning之間存在差異。假設我們使用了上述方式去對BERT進行訓練,而後再應用到遷移學習fine-tuning中。在預訓練的時候,語料庫裡是有[MASK] 這個標誌的,但是在實際的遷移學習中,輸入的文字是不包含[MASK]標誌的。所以這裡會導致pre-train與fine-tuning在使用時有一個gap。

 

為了解決這個問題,研究人員制定了80%,10%,10%的規則。具體地說,在隨機選擇了15%的單詞被遮擋後,對於這15%的單詞,做如下處理:

  1. 80%的概率將被遮擋的單詞替換為[MASK]。
  2. 10%的概率將被遮擋的單詞替換為1個隨機單詞,例如將上例中的“city”替換為“dog”
  3. 10%的概率不做任何改變,例如上例中“city”仍然是“city”

這樣做的好處是:

  1. 解決了與fine-tuning的gap問題。80%的遮擋率既應用了[MASK],也有20%的概率不使用[MASK]
  2. 存在10%的概率不做任何改變,保留了原有語義,讓模型可以有機會了解原始資料樣貌
  3. 存在10%的概率替換隨機單詞,可以使得模型不僅僅依賴於看到過的原始資料,而是還讓資料依賴於句子的上下文來預測目標詞,達到“糾錯”的目的

 

在對單詞序列進行了遮擋處理後,即可送入到BERT模型中進行訓練。此時,單詞序列會依次進入Token Embedding,Segment Embedding以及Position Embedding,並得到它們的最終表示。整個過程如下圖所示:

 

需要注意的是,這裡僅需要將E([MASK]) 輸入到前饋網路與softmax中即可。因為BERT基於的是multi-head self-attention,所以E([MASK]) 中已經包含了整個句子的資訊。

 

除了以上介紹的這種遮擋單詞的方法外,還有另一種稍微不同的方法,稱為whole word masking(WWM,全詞掩碼)。

 

 

Whole Word Masking

在介紹WWM之前,首先需要回顧的一個知識點是:BERT中使用的是WordPiece分詞法。以句子“let us start pretraining the model”為例,在對一個句子進行分詞後,生成的單詞為:

Tokens = [let, us, start, pre, ##train, ##ing, the, model]

 

加上 [CLS] 與 [SEP]:

Tokens = [ [CLS], let, us, start, pre, ##train, ##ing, the, model, [SEP] ]

 

隨機遮擋15%的單詞,假設遮擋的單詞為 let 與 ##train,則:

Tokens = [ [CLS], [MASK], us, start, pre, [MASK], ##ing, the, model, [SEP] ]

 

但是這裡尤為需要注意的一點是:單詞 ##train 實際上僅是單詞pretraining 的一部分。在 WWM 方法中,如果遮擋的單詞為一個subword,則會遮擋這個subword對應的所有單詞,例如:

Tokens = [ [CLS], [MASK], us, start, [MASK], [MASK], [MASK], the, model, [SEP] ]

 

但是,WWM仍需要遵守“1個句子中僅有15%單詞被遮擋”這一規則。所以若是在遮擋 所有subword後,已經達到了這一15%的閾值,則可以忽略其他詞(這個例子中就是單詞let)的遮擋,例如:

Tokens = [ [CLS], let, us, start, [MASK], [MASK], [MASK], the, model, [SEP] ]

 

在進行了WWM後,句子即可輸入到BERT中進行訓練,並讓模型預測被遮擋的單詞。

 

 

6.3. Next Sentence Prediction

Next Sentence Prediction(NSP)是另一個訓練BERT的方法,它是一個2分類任務。在此任務中,為BERT模型輸入2個句子,需要讓模型判斷第2個句子是否是第1個句子的下一個句子。例如,準備2個句子Sentence-A和Sentence-B(2個句子合起來為1條訓練資料),若Sentence-B是Sentence-A的下一個句子,則這條訓練資料的label為isNext。反之為notNext。

在BERT訓練中,他需要完成的便是判斷Sentence-B是否為Sentence-A的下一條句子。若是,則輸出isNext,反之輸出notNext。所以這是一個二分類任務。

 

NSP任務的用途在於:通過NSP任務,可以讓模型理解2條句子之間的關係。很多重要的下游任務(例如QA系統、自然語言推理等)都是基於句子之間的關係理解。而這種句子間的關係是無法通過language modeling 學習到的。

 

在準備訓練資料時,可以選取任何單一語言的語料庫。假設我們從語料庫獲取了大量文件。對於isNext類別,僅需要從同一個文件中選取2條連續的句子即可。而對於notNext類別,首先從一個文件選取一條句子,然後從另一個隨機文件中選取一條句子即可。一個重要的注意點是:需要確保isNext與notNext的資料條目分別佔50%。

 

在NSP任務中,輸入資料的處理方法與前面介紹的一致,在此不再贅述。不過需要提及的一點是:NSP使用的是[CLS] 作為輸入的2個句子的代表,輸入到前饋網路與softmax中,對結果進行預測。如下圖所示:

 

 

7. BERT預訓練的過程

BERT的預訓練語料庫使用的是Toronto BookCorpus和Wikipedia資料集。在準備訓練資料時,首先從語料庫中取樣2條句子,例如Sentence-A與Sentence-B。這裡需要注意的是:2條句子的單詞之和不能超過512個。對於採集的這些句子,50%為兩個句子是相鄰句子,另50%為兩個句子毫無關係。

 

假設採集了以下2條句子:

  1. Beijing is a beautiful city
  2. I love Beijing

 

對這2條句子先做分詞:

Tokens = [ [CLS], Beijing, is, a, beautiful, city, [SEP], I, love, Beijing, [SEP] ]

 

然後,以15%的概率遮擋單詞,並遵循80%-10%-10%的規則。假設遮擋的單詞為city,則:

Tokens = [ [CLS], Beijing, is, a, beautiful, [MASK], [SEP], I, love, Beijing, [SEP] ]

 

接下來將Tokens送入到BERT中,並訓練BERT預測被遮擋的單詞,同時也要預測這2條句子是否為相鄰(句子2是句子1的下一條句子)。也就是說,BERT是同時訓練Masked Language Modeling和NSP任務。

 

BERT的訓練引數是:1000000個step,每個batch包含256條序列(256 * 512個單詞 = 128000單詞/batch)。使用的是Adam,learning rate為1e-4、β1 = 0.9、β2 = 0.999。L2正則權重的衰減引數為0.01。對於learning rete,前10000個steps使用了rate warmup,之後開始線性衰減learning rate(簡單地說,就是前期訓練使用一個較大的learning rate,後期開始線性減少)。對所有layer使用0.1概率的dropout。使用的啟用函式為gelu,而非relu。

 

 

8. 總結

BERT的一個成功的關鍵在於:它提供了一個更深層的模型來學習到了一個更好的文字特徵,使得它在各類NLP任務上的表現也更精準。當前BERT+遷移學習已經應用在各個實際應用中,例如情感分析、QA系統等。另一方面,研究人員基於BERT也衍生出了很多變種,例如ALBERT、RoBERTa、ELECTRA等等。後續我們會繼續介紹BERT的應用以及它的變種。

 

 

 

References

[1] https://learning.oreilly.com/library/view/getting-started-with/9781838821593/4c8629af-d59b-4df9-a830-79a83433f118.xhtml

[2] https://www.geeksforgeeks.org/explanation-of-bert-model-nlp/

[3] https://zhuanlan.zhihu.com/p/95594311

[4] https://zhuanlan.zhihu.com/p/366396747

[5] https://arxiv.org/pdf/1810.04805.pdf

 

相關文章