百度出席AI頂會IJCAI2020,學術創新成果全球領先

新聞助手發表於2021-01-19

百度出席AI頂會IJCAI2020,學術創新成果全球領先

近日,人工智慧國際聯合會議IJCAI2020受疫情影響延期後,順利線上上舉行。IJCAI(International Joint Conference on Artificial Intelligence)始於1969年,現為每年一次,學術水平和影響力極高,受到全球學術界和產業界高度關注。據知,IJCAI2020是史上最難的一屆,論文接受率12.6%創歷史最低;其中,百度不僅貢獻多篇優質論文,涵蓋眾多前沿領域,更有線上展臺技術講座,分享交流最新的學術突破。值得一提的是,百度研究院量子計算研究所所長段潤堯還在會上發表了以量子計算為主題的精彩演講。百度所取得的AI技術突破和創新將助力人機互動、對話智慧、智慧醫療、智慧零售、搜尋廣告等場景的落地應用,推動全球人工智慧不斷進步和發展,同時譜寫屬於中國的“AI樂章”。

以下為百度IJCAI2020之行的亮點總結。

1、基於事件圖譜的通順開放域多輪對話內容規劃

Enhancing Dialog Coherence with Event Graph Grounded Content Planning

論文連結:https://www.ijcai.org/Proceedings/2020/545

如何生成資訊豐富、連貫且可持續的開放域對話是一項非常困難的任務。以往基於知識的對話生成的研究工作側重於提高對話的資訊豐富度,而對多輪對話的連貫性關注較少。為了增強多輪對話的連貫性,百度提出利用敘事事件鏈來幫助確定多輪對話的框架/主幹。具體而言,首先從敘事文字中提取事件鏈,並將它們連線成一個圖,稱之為事件圖。然後,提出一種基於事件圖的強化學習框架用於連貫的多輪對話生成。它透過學習遍歷事件圖來進行宏觀回覆內容(簡單地說是事件)規劃,然後根據規劃的內容生成回覆句。特別地,百度設計了一種新穎的多策略決策機制,以促進多輪連貫的對話生成。實驗結果表明,該框架可以有效提升多輪對話連貫性和資訊豐富度。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

2、ERNIE-GEN:一種增強的多流自然語言生成預訓練和精調框架

ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation

論文連結:https://www.ijcai.org/Proceedings/2020/553 

2020年1月,百度釋出基於多流機制生成完整語言片段的 ERNIE-GEN 語言生成預訓練技術。與傳統 “encoder-decoder”生成框架採用逐字元生成不同,ERNIE-GEN 率先引入了 Span-by-Span 生成方式,可以在預測中一次生成完整的實體等語義片段,並透過創新的 Multi-flow Attention 機制進行多流聯合學習。同時,針對傳統序列生成中面臨的曝光偏差問題,ERNIE-GEN 提出了 in-filling 填充式生成和噪音感知機制,以減少訓練過程和解碼生成的差異,提高了下游應用任務的生成效果。ERNIE-GEN 在較小訓練資料規模下,在摘要生成(Gigaword、CNN/Daily Mail)、問題生成(SQuAD 1.1)、對話生成(Persona-Chat)、生成式問答(CoQA)等英文權威任務集合超越 Google、Facebook、微軟等取得 SOTA。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

3、基於圖卷積網路和雙向注意力機制的電子病歷自動診斷演算法

The Graph-based Mutual Attentive Network for Automatic Diagnosis

論文連結:https://www.ijcai.org/Proceedings/2020/469 

基於電子病歷(EMR)的自動診斷技術是近幾年非常熱門的自然語言處理研究方向之一。然而,傳統的自動診斷演算法大多采用時序模型,忽略掉了病歷當中的實體之間所包含的非常重要的圖結構資訊。為此,百度利用大規模高質量真實病歷挖掘出了一個由醫學實體節點和疾病節點所構成的醫療圖譜,並在這個圖譜基礎之上利用圖卷積神經網路(GCN)來建模病歷當中的圖結構資訊。除此之外,還透過一個雙向的注意力機制模擬醫生看病的流程,按序分別強化了病歷實體和文字當中的重要資訊,提升了模型的準確率和可解釋性。該模型已被應用至中國超過百家基層醫療機構的資訊系統中,以提升醫生看病的效率和降低漏診和誤診的機率。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

4、從知其然到知其所以然:使用者決策畫像助力到店行為的可解釋推斷

Why We Go Where We Go: Profiling User Decisions on Choosing POIs

論文連結:https://www.ijcai.org/Proceedings/2020/478 

興趣點(Point-of-Interest, POI)推薦一直是學術界和工業界的研究熱點,但在理解使用者到店決策的背後原因方面,取得的進展十分有限。針對該問題,百度提出一種使用者決策畫像方法ProUD,用於識別使用者在選擇要到訪的POI時背後的關鍵驅動因素。在此基礎上,將使用者決策用集合表徵的方式進行建模,透過最大化所有關聯決策因素在關鍵因素表徵向量上的標量投影和,從而在有效保留了完整決策結構資訊的同時,達到識別關鍵決策因素的目的。實驗結果證實ProUD在推斷使用者到店任務上顯著優於傳統方法。同時,案例分析也表明了識別到的關鍵因素能夠幫助提升推斷結果的可解釋性。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

5、利用內部記憶力機制來輔助無監督場景遷移

Unsupervised Scene Adaptation with Memory Regularization in vivo

論文連結:https://www.ijcai.org/Proceedings/2020/0150 

實際場景中有很多source domain的資料(比如遊戲生成的模擬資料)有著標籤,但是拿去實際場景預測,往往模型由於domain gap表現得不好。Domain Gap是多方面的,有因為不同天氣、不同城市、不同光照等等影響。所以大多數domain adaptation 方法研究的是如何儘可能挖掘常識,採用了很多特徵對齊的方法,但是忽略了本身域內部的資訊。本文中,百度提出一個即插即用的memory regularization 正則項來讓模型學intra-domain knowledge,在三個benchmark上都有了明顯提升。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

6、樣例指導的神經對話生成

Exemplar Guided Neural Dialogue Generation

論文連結:https://www.ijcai.org/Proceedings/2020/498 

人類往往可以從過往的經驗中受益,類似地,在對話生成任務中,訓練集中的樣例資訊也能夠幫助模型生成更有意義的對話回覆。然而,如何有效地挖掘並利用此類樣例資訊仍是一個亟待解決的問題。有效的對話樣例不僅要求其在字面上與當前給定的輸入上文相似,而且應該在內容主題上也與給定的對話保持一致。訓練集中存在的噪聲樣例不僅妨礙模型正確地理解上下文,也會誤導對話回覆的生成。百度提出一種樣例指導的對話模型以更為有效地挖掘和利用訓練集中隱含的樣例資訊。其中,對話樣例經由兩階段的檢索過程得到,以保證其在文字語義和對話主題這兩方面均具有較高的相關性。為了使得對話生成模型更加有效地利用檢索到的樣例資訊,百度進一步提出了一種多源取樣的回覆解碼策略以充分融合所給定的樣例資訊。實驗結果表明,該文方法在對話回覆質量上相較以往模型有顯著提升。圖示

描述已自動生成

7、一種求解線性高維contextual bandits問題的高效魯棒演算法

Efficient and Robust High-Dimensional Linear Contextual Bandits

論文連結:https://www.ijcai.org/Proceedings/2020/588

Linear contextual bandits是一個經典的強化學習序列決策問題,其中agent不斷在K個action中選擇一個,和環境互動,並得到環境給與的獎勵,這裡假設獎勵和狀態向量之間是個線性的關係。該問題的目標是最佳化一段固定的時間週期之內的累積收益,這種建模方法在個性化推薦和計算廣告中都有非常廣泛的應用。由於大型的資料集越來越普遍,百度主要研究高維情形下的linear contextual bandits問題。當前已有的研究工作主要是使用matrix sketching的方式來加速問題求解,但是這樣會在regret bound估計中帶來額外的新的誤差項。百度提出一種新穎的基於高頻譜補償的matrix sketching方法,並基於此方法來近似bandits問題中的協方差矩陣來加速最終問題的求解。該方法在每一輪計算中只需要O(md)的空間和更新時間,其中d是資料的維數,而m是sketching的大小。理論分析發現,在高維的情形下,我們的方法比之前的方法有更好的regret bound估計,我們的數值實驗也印證了這一結論。

8、一種保持外貌特徵的人像姿態編輯與生成模型

Generating Person Images with Appearance-aware Pose Stylizer

論文地址:https://www.ijcai.org/Proceedings/2020/87

在大規模圖文內容生成任務中,市場需要機器學習演算法和模型扮演一種媒體智慧(Media Intelligence) 角色。在許多生成問題上,由於各種原因限制使用者需求,需要將給定的人像變換一種形體姿態作為展示,並且保持人物形象、外貌特徵、和穿著不變。百度研究了在給定人物肖像圖片、原始姿態標籤、以及目標姿態標籤的情況下,根據目標姿態標籤,生成人像的深度學習模型。該模型擁有兩個部分 (a)Appearance Encoder: 能夠將人物肖像根據其姿態標籤進行面向體貌、穿著的特徵編碼,以及 (b)Appearance-aware Pose Stylizer (APS): 能夠將體貌、穿著特徵重新根據目標姿態標籤解碼成為人像圖片。該演算法模型的核心難點是如何在訓練中將體貌、穿著特徵與人像的姿態分離 (disentangle)。本文提出的演算法與模型在多個資料集上取得了優秀的成果。其姿態編輯出來的圖片幾乎人眼不可辨別真偽,並能夠保有原始中人像的大量風格要素。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

9、展臺技術講座:同義變換在搜尋廣告匹配中的角色

主題:The Role of Synonymous Transformation in Sponsored Search

關鍵詞匹配是整個搜尋廣告系統中至關重要的一環,它和廣告匹配產品直接相關,位於整個廣告系統的最上游,負責將使用者的query和廣告主購買的拍賣詞按照指定的匹配模式連線起來。一般的搜尋引擎提供了精確,短語和智慧三種匹配模式。同義變換的第一個重要角色就是要完成精確匹配下的同義變體拍賣詞的檢索。由於query和拍賣詞之間的同義關係極其稀少,傳統的觸發方法在這種情形下非常低效。另外,極高的準確率要求和海量的拍賣詞規模也是在現實工業環境中迫切需要克服的難題。這次講座中,百度討論瞭如何將概念符號推理技術和深度學習模型相結合來做同義變換,如何將符號推理、對抗訓練以及抗噪學習等技術引入到ERNIE模型的領域微調中來增強同義判別模型的效果。最後,百度展示了一些同義變換在搜尋匹配廣告中的典型應用,比如query的歸一化、拍賣詞的壓縮、商索引等等。這些方法在百度的搜尋匹配廣告中已經成功落地,在收入增長的同時,廣告匹配質量也有了大幅的提升,希望這些方法能夠對工業界搜尋廣告系統的設計帶來新的思考。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

10、 工業演講:百度量子平臺:邁向量子人工智慧

主題:Baidu Quantum Platform: Towards Quantum Artificial Intelligence

人工智慧已是新一輪科技革命和產業變革的重要驅動力,量子計算成為備受矚目的前沿技術領域,二者的融合孕育出新的研究方向:量子人工智慧。百度研究院量子計算研究所所長段潤堯博士發表了題為“Baidu Quantum Platform: Towards Quantum Artificial Intelligence”的演講。在演講中,段潤堯博士重點闡述了百度量子的QAAA戰略規劃,包含三個核心研究方向:量子人工智慧 (Quantum AI),量子演算法 (Quantum Algorithm) 和量子架構 (Quantum Architecture)。

百度出席AI頂會IJCAI2020,學術創新成果全球領先

基於QAAA規劃,百度量子研發了以量脈、量槳、量易伏三個產品為主體的百度量子平臺。其中,量槳是基於百度飛槳研發的量子機器學習工具集,建立起人工智慧與量子計算之間的橋樑。量槳旨在探索量子人工智慧的更多可能性,此次重點升級了自研高效能模擬器,支援常規電腦上模擬20+量子位元的運算,助力研發人員高效開發量子人工智慧應用。此外,新上線的量槳官網qml.baidu.com提供了豐富的教程與案例助力開發者的入門與學習。圍繞百度量子平臺,百度旨在構建開放、可持續的百度量子生態,為量子計算領域的發展和繁榮貢獻力量,最終實現“人人皆可量子”的美好願景。


相關文章