谷歌本週開源了一種 NLP 預訓練新技術Bidirectional Encoder Representations from Transformers（BERT）。 此次釋出的版本中，世界上任何人都可以在一個雲 TPU 上花費大約 30 分鐘，或使用單個 GPU 在幾個小時內訓練他們自己最先進的問答系統（或各種其他模型）。該版本包括在 TensorFlow 之上構建的原始碼和許多預先訓練的語言表示模型。在我們的相關論文中，展示了包括史丹佛問答資料集（SQUAD v1.1）在內 11 個 NLP 任務的最新結果 …….
為了評估效能，將 BERT 與其他最先進的 NLP 系統進行了比較。實驗中，幾乎沒有針對特定任務而對神經網路架構進行更改。在 SQuAD v1.1 上，BERT 獲得了 93.2％ 的 F1 分數（一種準確度的衡量指標），超過了之前最高水準的分數 91.6％ 和人類分數 91.2％。