那個屠榜的T5模型，現在可以在中文上玩玩了

不知道大家對 Google 去年的屠榜之作 T5 還有沒有印象？就是那個打著“萬事皆可 Seq2Seq”的旗號、最大搞了 110 億引數、一舉重新整理了GLUE、SuperGLUE 等多個 NLP 榜單的模型，而且過去一年了，T5 仍然是 SuperGLUE [1] 榜單上的第一，目前還穩妥地拉開著第二名 2% 的差距。

然而，對於中文界的朋友來說，T5 可能沒有什麼存在感，原因很簡單：沒有中文版 T5 可用。不過這個現狀要改變了，因為 Google 最近放出了多國語言版的 T5（mT5），裡邊當然是包含了中文語言。雖然不是純正的中文版，但也能湊合著用一下。

本文將會對 T5 模型做一個簡單的回顧與介紹，然後再介紹一下如何在 bert4keras 中呼叫 mT5 模型來做中文任務。作為一個原生的 Seq2Seq 預訓練模型，mT5 在文字生成任務上的表現還是相當不錯的，非常值得一試。

一、T5

跟 BERT 一樣，T5 也是 Google 出品的預訓練模型，來自論文為 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，程式碼已開源。T5的理念就是“萬事皆可 Seq2Seq”，它使用了標準的 Encoder-Decoder 模型，並且構建了無監督/有監督的文字生成預訓練任務，最終將效果推向了一個新高度。

論文標題：

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

論文連結：

https://arxiv.org/abs/1910.10683

程式碼連結：

https://github.com/google-research/text-to-text-transfer-transformer

1.1 訓練

T5 的預訓練包含無監督和有監督兩部分。無監督部分使用的是 Google 構建的近 800G 的語料（論文稱之為 C4），而訓練目標則跟 BERT 類似，只不過改成了 Seq2Seq 版本，我們可以將它看成一個高階版的完形填空問題：

而有監督部分，則是收集了常見的 NLP 監督任務資料，並也統一轉化為 SeqSeq 任務來訓練。比如情感分類可以這樣轉化：

主題分類可以這樣轉化：

閱讀理解可以這樣轉化：

可以看到，這種轉化跟 GPT2、GPT3、PET 的思想都是一致的，都是希望用文字把我們要做的任務表達出來，然後都轉化為文字的預測，讀者還可以翻看舊作必須要GPT3嗎？不，BERT的MLM模型也能小樣本學習瞭解相關內容。

總的來說，在我們的內部實驗裡邊，模型夠大、資料夠多以及有監督預訓練都是 T5 成功的關鍵因素，“萬事皆可 Seq2Seq ”則提供了有效地融合這些關鍵因素的方案。

1.2 結果

T5 的主要戰績彙總如下表：

除了屠了多個榜單之外，T5 還對整個訓練流程中很多可調的超引數都除錯了一遍，比如模型架構究竟用標準的 Encoder-Decoder 好還是 UniLM 那種結構好，無監督預訓練任務究竟是 BERT 的方式好還是其他方式好，隨機 Mask 的比例是不是 15% 最好，等等。

最後給出瞭如下的表格，並還很遺憾地表達了一句“其實我們覺得 T5 的實驗做得還不是很充分”，頗有一種“走別人的路，讓別人無路可走”的感覺。當然，不管怎樣，這些煉丹結果還是值得每一位要做語言模型的同學好好看看，或許能讓我們少走一些彎路。

二、mT5

至於 mT5，即 Multilingual T5，T5 的多國語言版，出自最近的論文 mT5: A massively multilingual pre-trained text-to-text transformer，程式碼已開源。這也是將多語種 NLP 任務的榜單推到了一個新高度了。當然，對我們來說，最重要的是 mT5 裡邊包含了中文，因此我們終於有機會在中文任務中嘗試下 T5 了。

論文標題：

mT5: A massively multilingual pre-trained text-to-text transformer

論文連結：

https://arxiv.org/abs/2010.11934

程式碼連結：

https://github.com/google-research/multilingual-t5

2.1 T5.1.1

總的來說，mT5 跟 T5 一脈相承的，整體基本一樣，但在模型結構方面，mT5 用的是 T5.1.1方案，在此對它做個基本的介紹。

很多人都不知道的是，自從在去年 10 月釋出後，T5 在今年還經歷了一次低調的小升級，具體細節可以檢視 Github [2] 連結，官方把升級前的 T5 稱為 T5.1.0，而升級後的叫做 T5.1.1。

它主要的改動來自論文 GLU Variants Improve Transformer [3]，主要是借用了Language Modeling with Gated Convolutional Networks [4] 的 GLU（Gated Linear Unit）來增強 FFN 部分的效果。具體來說，原來 T5 的 FFN 為（T5 沒有 Bias）：

現在改為了：

也就是把 relu 啟用的第一個變化層改為了 gelu 啟用的門控線性單元，這樣 FFN 層增加了 50% 引數，但是從論文效果看效果明顯增加。

此外，T5.1.1 還對 Embedding 層做了改動，原來在 T5.1.0 中，Encoder 和 Decoder 的Embedding 層、Decoder 最後預測機率分佈的 Softmax 層都是共享同一個 Embedding 矩陣的。

現在 T5.1.1 只讓 Encoder 和 Decoder 的 Embedding 層共享，而 Decoder 最後預測機率分佈的 Softmax 層則用了一個獨立的 Embedding 矩陣，當然這會讓引數量大大增加，但 Google 的結論說這樣做效果會更好，其結論被總結在最近的論文Rethinking embedding coupling in pre-trained language models [5] 中。還有最後一點改動，T5.1.1 在預訓練階段去掉了 Dropout，而只有在下游微調階段才使用 Dropout。

經過這些調整後，Google 重新訓練並開放了全系列的 T5.1.1 模型，其下載地址可以在剛才的 Github 連結找到，注意 T5.1.1 只做了無監督預訓練，但效果依然相當出色。由於 T5.1.1 提升明顯，所以 mT5 也就繼續使用了 T5.1.1 結構了

2.2 結果

mT5 其實就是重新構建了多國語言版的資料集 mC4，然後使用 T5.1.1 方案訓練了一波，技術路線上沒有什麼明顯的創新。關於訓練細節，大家觀察下原論文就好，論文其實也不長，畢竟 T5 已經把路都給鋪好了。

至於 mT5 的戰績，主要就是集中在下面這張表內了：

讀者可能會有疑問，這種多國語言版的該用什麼方式評測？簡單的話，我們可以直接在此基礎上 finetune 一個跨語種的機器翻譯任務，看看效果的提升。

但事實上，對於多國語言版模型，研究人員更關心的是它在跨語種任務上的 Zero Shot 表現，說白了，就是同一種任務，在一個語種上進行 finetune，其模型能不能直接用於其餘語種？這也是上圖中“Cross-lingual zero-shot transfer（models fine-tuned on English data only）”的含義了，可以看到，mT5 的表現還是相當出色的。

三、實踐

終於到了大家喜聞樂見的實踐時間了，這裡我們簡單介紹一下在 bert4keras 上使用 mT5 模型來做中文文字生成任務的流程和技巧。bert4keras 從 0.9.1 版本開始支援呼叫 mT5 模型，如果要進行下述實驗的讀者，請先將 bert4keras 升級到 0.9.1 版或以上。

Github連結：

https://github.com/bojone/t5_in_bert4keras

## 基本

用bert4keras把mT5模型載入到keras中的基本程式碼為：

# 模型路徑
config_path = '/root/kg/bert/mt5/mt5_small/t5_config.json'
checkpoint_path = '/root/kg/bert/mt5/mt5_small/model.ckpt-1000000'
spm_path = '/root/kg/bert/mt5/sentencepiece.model'

# 載入分詞器
tokenizer = SpTokenizer(spm_path, token_start=None, token_end='</s>')

# 載入模型
t5 = build_transformer_model(
    config_path=config_path,
    checkpoint_path=checkpoint_path,
    model='t5.1.1',
    return_keras_model=False,
    name='T5',
)

encoder = t5.encoder
decoder = t5.decoder
model = t5.model

可以看到跟在 bert4keras 中載入 BERT 沒太大區別，其中 t5_config.json 的構建了 model.ckpt-1000000 的下載在 Github 上有詳細介紹，大家請移步去看。完整程式碼（訓練和解碼細節）在 Github 上也可以找到，這裡就不展開了。

值得一提的是，對於中文來說，tokenizer 給出的結果是帶有詞的，即對於中文來說 mT5 是以詞為單位的，只不過詞顆粒度會比較少。這進一步說明了我們之前的工作提速不掉點：基於詞顆粒度的中文 WoBERT [6] 的改進方向是正確的。

3.1 中文

相信大多數讀者多數都只關心中文任務，部分讀者可能也會關心英文任務，應該鮮有讀者會關心中英文以外的任務了。然而，mT5 涵蓋了 101 種語言，總詞表有 25 萬，而且它採用的 T5.1.1結構的 Softmax 還不共享引數，這就導致了 Embedding 層佔用了相當多的引數量。

比如 mT5 small 的引數量為 3 億，其中 Embedding 相關的就佔了 2.5 億，關鍵是裡邊的大部分引數我們都用不上，純粹是不必要的浪費。因此，對於主要關心中文任務的我們來說，有必要精簡一下這個 Embedding 層了。

對模型的精簡很簡單，只需要在兩個 Embedding 矩陣中刪除不需要的行就行了，關鍵在於如何決定要保留的 token，以及如何得到一個精簡後的 sentencepiece 模型。

決定要保留的 token，簡單來想就是把中文的 token 保留下來，但是也不只是中文，英文的也要保留一部分，看上去似乎只是一個正規表示式的問題，實際上沒那麼簡單，用英文字母的也不一定是英語，用中文字的也不一定是中文，這是個讓人糾結的事情。

於是筆者想了另外一個辦法：用這個 25 萬 token 的 tokenizer 對筆者收集的幾十 G 中文語料分詞，統計分詞結果，然後按照詞頻選擇前面的部分（最後保留了 3 萬多個 token）。這樣雖然費時一些，但是比較靠譜，能確保把我們比較需要的 token 保留下來。決定詞表後，就要修改得到一個新的 sentencepiece 模型，這也有點麻煩，但最終經過搜尋後還是把這個事情解決了，處理方法都分享在 Github 上。

經過這樣處理後，要構建新的模型，則只需要多加三行程式碼 keep_tokens 相關的程式碼，所需要的視訊記憶體就大大降低，並且中文生成的效果基本不變了：

# 模型路徑
config_path = '/root/kg/bert/mt5/mt5_base/t5_config.json'
checkpoint_path = '/root/kg/bert/mt5/mt5_base/model.ckpt-1000000'
spm_path = '/root/kg/bert/mt5/sentencepiece_cn.model'
keep_tokens_path = '/root/kg/bert/mt5/sentencepiece_cn_keep_tokens.json'

# 載入分詞器
tokenizer = SpTokenizer(spm_path, token_start=None, token_end='</s>')
keep_tokens = json.load(open(keep_tokens_path))

# 載入模型
t5 = build_transformer_model(
    config_path=config_path,
    checkpoint_path=checkpoint_path,
    keep_tokens=keep_tokens,
    model='t5.1.1',
    return_keras_model=False,
    name='T5',
)

encoder = t5.encoder
decoder = t5.decoder
model = t5.model

3.2 效果

最後，大家應該是關心折騰了這麼久，生成效果究竟有沒有提升，有沒有使用的價值？這樣說吧，用 mT5 small 版本 finetune 出來的 CSL 標題生成模型，BLEU 指標能持平基於 WoBERT 的 UniLM 模型，並且解碼速度快 130%；而用 mT5  base 版本 finetune 出來的 CSL 標題生成模型，指標能超過基於 WoBERT 的 UniLM 模型 1% 以上，並且解碼速度也能快 60%。

說白了，確實是又快又好。至於裝置要求，平時跑過 BERT base 的同學，基本都應該能跑起 mT5 small/base 版，甚至 large 版也可以嘗試一下，至於 XL 和 XXL，那就比較難搞了，建議還是放棄吧。

更多的驚喜，還是大家自己去挖掘吧。對了，順便需要提醒一下，微調 T5 模型的時候，學習率要比微調 BERT大10 倍以上才行（即  級別，BERT 一般是  級別），這是兩者模型架構差異決定的。

四、小結

本文回顧了一下 Google 去年釋出的 T5 模型，然後介紹了最近釋出的多國語言版的 mT5，最後介紹瞭如何在 bert4keras 中微調 mT5 來做中文任務，結果顯示 mT5 在中文生成上有著很不錯的表現，值得做文字生成任務的同學一試。

[1] https://super.gluebenchmark.com/

[2] https://github.com/google-research/text-to-text-transfer-transformer/blob/master/released_checkpoints.md

[3] https://arxiv.org/abs/2002.05202

[4] https://arxiv.org/abs/1612.08083

[5] https://arxiv.org/abs/2010.12821

[6] https://kexue.fm/archives/7758