在搜尋引擎中輸入一個問題,通常會獲得多個候選答案,此時人們會通過對比判斷,選擇或歸納出最優答案。如果是機器來做這件事,會是怎樣的呢?
近日,百度的研究者從兩種不同角度出發,探索了多文件校驗方案對多文件閱讀理解的作用,分別提出了多文件校驗模型V-NET以及一種強化學習訓練機制,進而讓機器能夠預測出更好的答案,提高準確率。目前,這兩項研究工作的論文均已被ACL 2018大會錄用:
《Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification》
《Joint Training of Candidate Extraction and Answer Selection in Reading Comprehension》
國際計算語言學學會(Annual Meeting of the Association for Computational Linguistics,簡稱ACL)是自然語言處理與計算語言學領域最高階別的學術會議。ACL會議涵蓋語言分析、資訊抽取、自動問答、對話系統、機器翻譯等各個領域,每年發表的論文都反映了自然語言處理領域的最新研究進展和學術動向,受到學術界和工業界的廣泛重視。據報導,本屆會議共計有1551篇論文進入審查階段(1021 長篇,530 篇短篇),錄用率約為20%。一個研究機構在ACL上發表的論文數量和質量也在一定程度上代表了該團隊在本領域的研究實力和領先程度。
機器閱讀理解(Machine Reading Comprehension)是指讓機器閱讀文字,然後回答和閱讀內容相關的問題。其技術可以使計算機具備從文字資料中獲取知識並回答問題的能力,是構建通用人工智慧的關鍵技術之一。簡單來說,就是根據給定材料和問題,讓機器給出正確答案。閱讀理解是自然語言處理和人工智慧領域的重要前沿課題,對於提升機器智慧水平、使機器具有持續知識獲取能力具有重要價值,近年來受到學術界和工業界的廣泛關注。
隨著機器閱讀理解技術的發展,閱讀理解任務也在不斷升級,從早期的“完形填空形式”,發展到基於維基百科的“單文件閱讀理解”,如以史丹佛SQuAD為資料集的任務。並進一步升級至基於web(網頁)資料的“多文件閱讀理解”,這一形式的典型代表是以微軟MS-MARCO、百度DuReader為資料集的任務。
目前,針對不同的閱讀理解任務,研究人員已經設計出多種模型,並取得初步成效。然而在多文件閱讀理解任務中,由於與問題相關的文件很多,帶來的歧義也更多,由此可能最終導致閱讀理解模型定位錯誤的答案。面對這些問題,人類的思考模式通常為:先找到多個候選答案,通過對比多個候選答案的內容,選出最終答案,由此來找到準確率最高的答案。沿著這種思路,百度從不同角度探索了多文件校驗方案對多文件閱讀理解的作用,進而讓機器能夠更好的理解內容,給出正確答案。
在論文《Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification》中,百度提出了一種新的多文件校驗的深度神經網路建模方法V-NET,通過注意力機制使不同文件產生的答案之間能夠產生交換資訊互相印證,從而預測出更好的答案。V-NET是一個端到端的神經網路模型,如下圖所示,該模型同時使用三個不同的模組分別從三個方面來預測答案:答案的邊界預測模組、答案內容預測模組和多文件的答案驗證模組。在MARCO和DuReader資料集上,V-NET模型效果顯著優於其他系統。
V-NET模型的整體架構
在論文《Joint Training of Candidate Extraction and Answer Selection in Reading Comprehension》中,百度利用強化學習的方法對序列的多文件閱讀理解模組進行聯合訓練。在傳統的問答系統中,“抽取候選答案->綜合選出答案”序列的模式非常常見,但通常將這兩個步驟看成獨立的模組分開處理。其實,這兩個模組之間的聯絡非常密切,同時也由於資料集沒有提供各文件的可能的候選答案,因此百度將各文件中的候選答案視為隱變數,用神經網路分別建模對應的兩種行為(action),並在多文件校驗模組中引入相關性矩陣建模候選答案之間的關聯關係。在此基礎上採用強化學習的方法聯合訓練,以提升最終答案與真實答案的匹配程度,也就是直接根據評價指標同步訓練兩階段的模型。
此外,針對多文件閱讀理解任務,百度自然語言處理團隊此前已經發布了面向真實搜尋應用的最大中文開放領域閱讀理解資料集DuReader,包含30萬問題、150萬文件和72萬答案。並基於此資料集舉辦了2018中文閱讀理解技術評測(http://mrc2018.cipsc.org.cn/),評測共有1062個隊伍報名,累計提交結果1489次。該評測推動了機器閱讀理解技術,尤其是中文閱讀理解技術的發展。DuReader資料集以及評測方法的論文也均被ACL2018閱讀理解研討會(Workshop on Machine Reading for Question Answering)所錄用:
《DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications》
《Adaptations of ROUGE and BLEU to Better Evaluate Machine Reading Comprehension Task》
百度在自然語言處理(NLP)領域已經過十餘年積累與沉澱,具備了最前沿、最全面、最領先的技術佈局,不僅專注於前瞻技術探索,更致力通過技術應用解決實際問題。據悉,上述兩項技術均已直接應用於百度搜尋引擎產品中,提升機器閱讀理解的效果,它直接在搜尋結果中精準定位使用者輸入的問題,並在顯著位置呈現,為使用者節約大量的寶貴時間。同時,作為百度AI技術的重要組成部分,這些技術還將賦能百度技術體系及智慧產品中,提升使用者問答需求的相應能力,最終或將通過百度技術開放渠道開放,賦能廣大開發者與合作伙伴。