超過Google，微信AI在NLP領域又獲一項世界第一

乾明 發自 G151

量子位 報導 | 公眾號 QbitAI

微信AI，NLP領域又獲一項世界第一，這次是在機器閱讀理解方面。

在專門考驗計算機數學推理能力的DROP資料集上，微信AI最新方案超過了Google Research，排名第一，成為SOTA。

今年3月，在第七屆對話系統技術挑戰賽（DSTC7）上，首次亮相的微信智言團隊一路過關斬將，最終拿下冠軍。

不過這一次，微信AI團隊說，這不僅是他們在機器閱讀理解方面的進展，也是他們在數學推理方面的第一篇工作。

這一方案，並沒有以當前業界主流的BERT為核心，而是以數字感知的圖神經網路（NumGNN）方案為基礎。

微信AI團隊介紹，在NumGNNd為核心的情況下，結合NAQANet的基礎模組以及改進的前處理方法，在不使用BERT、RoBERTa等預訓練模型的條件下，就能獲得了高達67.97%的F1值。

在實際提交到榜單上的NumNet+上，他們又進一步融入RoBERTa的能力，並增加了對多span型問題的支援，從而使單模型 F1值能夠高達82.99%。

從而，他們也得出了一個結論：

即使不使用BERT等預訓練模型，模型的效果就已經比使用BERT的好了。

微信AI團隊說，這一方案可以幫助人工智慧提升閱讀理解能力和邏輯推理能力，將來也會將其中的技術應用到騰訊小微智慧對話助手中。

不過區別於谷歌和百度等智慧語音助手的To C產品形式，目前騰訊小微智慧對話助手，主要還是以雲服務形式對外輸出。

微信成績意味著什麼？AI考數學

先從資料集DROP說起。

DROP資料集，由AI2（Allen Institute for Artificial Intelligence）實驗室提出，主要考察的是模型做類似數學運算相關的操作能力。

（小巧合，微信之父張小龍英文名也叫Allen，但allen.ai的域名屬於AI2）

與SQuAD資料集中大多都是“劉德華老婆是誰？”的問題不同，其中的問題會涉及到數學運算的情況。

比如說，給我們5個人每個人買2個蛋撻，一共要買幾個蛋撻？

這個問題對於人來說很簡單，但對於機器來說卻很困難。

微信AI團隊解釋了這背後的原因：機器不僅要能夠比較數字相對的大小，還要能夠知道和哪些數字做比較並進行推理，這就需要把數字相對的大小等等知識注入模型。

但在之前大多數機器閱讀理解模型中，基本上都將數字與非數字單詞同等對待，無法獲知數字的大小關係，也不能完成諸如計數、加減法等數學運算。

正是基於這一原因，微信AI團隊提出了一種數字感知的圖神經網路（numerically-aware graph neural network，NumGNN），並基於此提出了NumNet。

一方面利用圖的拓撲結構編碼數字間的大小關係，將文章和問題中的數字作為圖結點，在具有“>”和“<=”關係的數字間建立有向邊，從而將數字的大小關係作為先驗知識注入模型。

具體來講，給定一個問題和一段文字，先把問題裡面的數字和文字里面的數字都抽出來。

每個數字就是圖上一個節點，同時對於任意兩個數字，假如A數字和B數字，如果A大於B的話，那麼A和B中間加一條有向邊，表示數字A和B之間是A大於B的關係。

如果A小於等於B，則會加另外一種有向邊，把它們兩個連線起來。通過這種操作，用圖的拓譜結構把數字相對大小知識注入模型。

另一方面，是結合文字資訊去做更復雜的數學推理，具體的實現方式是使用圖卷積神經網路在前述圖結構上執行推理，從而支援更復雜的數學推理功能。

超過Google方案，斬獲全球第一

在DROP資料集的LEADERBOARD上，微信AI團隊的方案為NumNet+。

微信AI團隊介紹稱，這一方案的基礎與NumNet一樣，都是NumGNN。

在新的方案中，用預訓練模型替換了NumNet中的未經過預訓練的Transformer作為encoder，進一步融入了RoBERTa的能力以及對多span型問題的支援。

從而實現了單模型 F1值 82.99%的效果，一舉超過Google Research的BERT-Calculator Ensemble方案，成為榜單第一。

儘管取得的效果還不錯，但在微信AI團隊來看，但還有很多缺陷。

比如說，目前能夠支援的數學表示式種類還是受到一定限制。尤其是DROP資料集的侷限，其對文字理解的要求更高，但需要的數學推理難度比解數學應用題那類問題來得相對簡單一點。

微信AI團隊說，如何把兩者更好的結合起來，使得整個模型的能力進一步的提升，是他們下一步考慮的問題。

而且，他們也說，並不會把注意力集中在用GNN來解決數字推理的問題上，後面也會重點去考慮其他的方式。

更具體來說，是能夠將arithmetic word problems (AWPs)相關工作中處理複雜數學表示式相關的方法能夠進行吸收融合，進一步提升模型的推理能力。

更多詳情，可以前往DROP資料集LEADERBOARD：

https://leaderboard.allenai.org/drop/submissions/public

而微信AI這次的研究成果，已經被EMNLP2019收錄，論文也已公開發表：

NumNet: Machine Reading Comprehension with Numerical Reasoning

https://arxiv.org/abs/1910.06701

專案地址：

https://github.com/llamazing/numnet_plus

—完—

https://www.toutiao.com/i6748629104859283971/

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69946223/viewspace-2660456/，如需轉載，請註明出處，否則將追究法律責任。