百度開源自然語言理解模型 ERNIE 2.0，16 個 NLP 任務中碾壓 BERT 和 XLNet！

7 月 30 日，百度釋出了 ERNIE（Enhanced Representation through kNowledge IntEgration）的最佳化版本——ERNIE 2.0 自然語言理解框架。這個中英文對話的 AI 框架不僅獲得了最優的（SOTA）結果，並且在 16 個 NLP 任務中表現出優於 BERT 和最近的 XLNet 的高水準。目前，ERNIE 2.0 程式碼和英文預訓練模型已開源。

 

ERNIE 2.0 的由來

近年來，類似於 BERT，XLNet 的無監督預訓練自然語言表達模型在各種自然語言理解任務中取得了重大突破，包括語言推斷、語義相似度、命名實體識別、情感分析等。這也表明了基於大規模資料的無監督預訓練技術能夠在自然語言處理中發揮至關重要的作用。

SOTA 預訓練模型（如 BERT，XLNet 和 ERNIE 1.0）的預訓練系統核心是基於幾個簡單的任務來模擬單詞或句子的共現。例如，BERT 構建了掩碼模型和下一個句子預測任務，從而捕獲單詞和句子的共現資訊；XLNet 則構造了一種全排列的語言模型，並採用了自迴歸的方式來捕獲單詞的共現資訊。

然而除了共現之外，訓練語料庫中還包含語法、語義資訊等更多有價值的資訊。例如：命名實體（名稱、位置和組織），則可以包含概念資訊、句子之間的順序和距離關係等結構知識；而文件層面的語義相似性或句子之間的話語關係，則能夠訓練模型學習語義感知表示。假設模型能夠經過訓練從而不斷學習更多型別的任務，是否這樣可以進一步提高模型的效果呢？

ERNIE 2.0 ——可持續學習語義理解框架

ERNIE 2.0 介紹

基於這一理念，百度提出了一種持續學習的語義理解預訓練框架 ERNIE 2.0，它可以透過持續的多工學習，逐步學習和建立預訓練任務。

該框架支援增量引入詞彙 (lexical)、語法 (syntactic) 、語義 (semantic) 等 3 個層次的自定義預訓練任務，並透過多工學習對其進行訓練，實現全面捕捉訓練語料中的詞法、語法、語義等潛在資訊。而且每當引入新任務時，該框架在遞增地訓練分散式表示的同時，還會記住先前任務的資訊。  

新發布的 ERNIE 2.0 模型的結構

ERNIE 2.0 與 BERT 或 XLNet 等經典預訓練方法的不同之處在於，它並不是在少量的預訓練任務上完成的，而是透過不斷引入大量預訓練任務，從而幫助模型高效地學習詞彙、句法和語義表徵。作為一種全新的語言理解持續預訓練框架，ERNIE 2.0 不僅實現了 SOTA 效果，而且為開發人員構建自己的 NLP 模型提供了可行的方案。

ERNIE 2.0 測試效果

百度將 ERNIE 2.0 模型的效能與英文資料集 GLUE 和 9 個流行的中文資料集的現有 SOTA 預訓練模型進行了比較。結果表明，ERNIE 2.0 在 7 種 GLUE 語言理解任務上優於 BERT 和 XLNet，並在所有 9 種中文 NLP 任務上擊敗 BERT，例如：基於 DuReader 資料集的閱讀理解，情感分析和問答。

模型在 9 項常規中文 NLP 任務中的結果；模型結果均為五次實驗結果的中位數，粗體字表示 SOTA 結果

實際上根據 GLUE 資料集的測試結果，無論是基本模型還是大型模型，我們能夠觀察到 ERNIE 2.0 在英語任務上優於 BERT 和 XLNET。此外，ERNIE 2.0 大型模型還實現了最佳效能，併為中文 NLP 任務創造了新的最優效能的結果。  

模型在 GLUE 上的結果，其中開發集上的結果是五次實驗結果的中位數，測試集結果根據 GLUE 評估服務完成

原文地址：

 

模型論文地址：

 

Github 專案地址：