探究對話系統研究中的Goal Oriented和Task Oriented 概念的異同

哈工大SCIR發表於2017-04-10

作者:宋皓宇,張偉男。哈爾濱工業大學電腦科學與技術學院,社會計算與資訊檢索研究中心。

前言:目前學術界和工業界對於人機對話系統的具體分類尚無明確統一的標準。在對話系統的相關研究工作中,一直存在著兩個相似的術語:“Goal Oriented”和“Task Oriented”。透過對出現這兩個術語的相關論文進行梳理和分析,以及與人機對話領域的前沿研究學者的共同探討,我們最終得出結論:在沒有特別說明的情況下,人機對話系統研究工作中的“Goal Oriented”和“Task Oriented”有著相同的含義,它們只是對同一工作的不同描述。

探究對話系統研究中的Goal Oriented和Task Oriented 概念的異同

圖1 人機對話系統的分類

人機對話系統是將機器視為一個認知主體的人機雙向資訊交換系統,是實現人機互動(Human Computer Interaction,HCI)的一種方式[1]。根據人機對話系統的功能不同,可以分為兩個大類:開放域的對話系統(Open Domain Dialog System)和領域任務型的對話系統(Task Oriented Dialog System)。開放域對話系統不針對某一特定領域,目的不是完成某項特定的任務,而是滿足使用者的聊天或者開放百科問答等需求,其代表性產品就是閒聊機器人,比如微軟小冰;領域任務型對話系統則是針對具體的應用領域,比如餐廳預訂、公交線路查詢、裝置控制等,以完成一項具體的領域任務為目標,代表性產品有蘋果的Siri和微軟的Cortana。

在領域任務型對話系統的相關研究中,存在著兩個很相似的術語:Goal Oriented和Task Oriented。從事對話系統相關的研究工作,有必要弄清楚這兩個術語到底有無區別;如果有區別,到底在哪些地方存在差異,比如基本概念、構建方法、針對的場景等。同時,理解這兩個術語的異同,對於理解相關研究工作的區別和聯絡也是有幫助的。因此,我們從相關論文出發,進行梳理和分析,同時與人機對話領域的前沿研究學者共同探討,最終得出了“人機對話系統研究工作中的Goal Oriented和Task Oriented是對同一工作的不同描述”的結論。下文提到的“Goal Oriented對話系統”和“Task Oriented對話系統”均是指論文中的說法,而不是刻意的區分。

從時間上來看,二者都不是新出現的概念,這兩個術語在對話系統的研究工作中的出現時間都不少於10年。Goal Oriented這一術語在2007年出現在了對話系統的相關研究工作中[2];而術語Task Oriented早在1999年就出現在了對話系統綜述的論文裡[3]。單從詞語上來講,“任務型”最直接對應的術語應該是“Task Oriented”,而這一術語出現的時間又更早,所以很可能產生一種直觀的感覺:“Task Oriented Dialog System”就是“領域任務型對話系統”的全部;而術語Goal Oriented則是一個區別於Task Oriented的概念,二者的應用場景是不同的。這種想法很自然,但是當我們詳細閱讀論文中有關Goal Oriented或者Goal的敘述時,就會發現這些敘述和Task Oriented並無區別,有的敘述甚至直接使用了詞語Task或者Task Oriented去解釋Goal或者Goal Oriented。以前面提到的論文(C.Lee et al. ,2007)為例[2],在這篇文章的Introduction部分有這麼一些敘述:“…,where users have well-defined and task-oriented goals”;“…there is another genre of dialog domain such as chats and smalltalks where users do not have any specific goal but want to have social interactions…”。從前一句可以看出,作者認為Goal是在構建系統前已經定義好的並且基於特定任務;後一句說明作者認為所謂的Goal Oriented Dialogs是直接與“閒聊”(Chats and Small Talks)這樣的開放域對話相對應的。我們能夠看到,這裡的Goal Oriented與Task Oriented並無明顯的界限。

從基本定義來看,二者也是幾乎相同的。Task Oriented Dialog長期以來被認為是與開放域的對話相對應,用以完成某個領域特定任務的這樣一個概念;在2016年的一篇關於Goal Oriented對話系統的論文中(A.Bordes et al. ,2016)[4],給出了關於Goal Oriented對話系統的一個比較正式的描述:“the system needs to understand a user request and complete a relatedtask with a clear goal within a limited number of dialog turns.”[4]。可以看出,Goal Oriented對話系統實際上也是要完成一個目標明確的任務。我們可以發現,二者的基本定義之間也沒有本質區別。

從構建系統的方法來看,如果Goal Oriented對話系統和Task Oriented對話系統的構建方式不同,比如Task Oriented對話系統都使用基於填槽(Slot-Filling)的方式構建,而Goal Oriented對話系統都使用端到端(End-to-End)的方式構建,那麼我們就不能說二者有著相同的含義。但是經過梳理相關的論文,我們發現二者構建方式的發展變化是一致的。

只考慮近10年的統計對話系統(Statistical Dialog Systems ,SDS),在2007年,S. Young等人提出了部分可觀測馬爾可夫決策過程(Partially Observable Markov Decision Processes,POMDP)[5],用以建模對話過程的不確定性以及跟蹤對話目標的完成情況,為Task Oriented對話系統的建模建立了基礎。基於POMDP的Task Oriented對話系統曾在CMU舉辦的“Let’s Go”競賽任務中被應用,其為Pittsburgh區域的居民播報非忙時段的公交車資訊。結果顯示,基於POMDP的系統明顯優於傳統系統[6]。基於POMDP的Task Oriented對話系統在本質上仍然是使用的填槽的方式來完成一個特定任務資訊的獲取的。在這段時間內(2007-2013),可以認為Task Oriented對話系統的主流構建方式是事先定義好一個任務,並拆分為一系列的槽(slot),在對話互動過程中進行填充。近兩年端到端的方式逐漸興起,開始有學者嘗試使用端到端的方式來構建Task Oriented對話系統[7]。端到端的方式不同與傳統的填槽的方式,沒有複雜的中間結構,試圖直接由輸入得到輸出,但是就目前取得的效果而言,這種方式還不足以在Task Oriented對話系統中取代填槽的方式。簡而言之,Task Oriented對話系統的構建方式主要是基於填槽的方法,最近端到端的方式開始興起,但還無法取代傳統的填槽方式。

對於Goal Oriented對話系統而言,傳統的方式也是基於填槽[8][9],並且基本思想與所謂的Task Oriented對話系統填槽的基本思想相同:事先定義好一個對話的結構,以及一系列的需要填充的槽(slot),然後在對話過程中填滿這些槽。近兩年,Goal Oriented對話系統也開始嘗試使用端到端的方式(A.Bordes et al. ,2016)[4]。因此,Goal Oriented對話系統的構建方式和Task Oriented對話系統的構建方式相同,也是以填槽方式為主流(目前效果最好),並且開始嘗試使用端到端模型。

從針對的場景來看,Task Oriented對話系統的相關論文針對的場景有:公交線路查詢[6]、餐廳推薦與預訂[7][10]等;Goal Oriented對話系統的相關論文針對的場景有:餐廳推薦與預訂[4]、旅遊資訊規劃[11]等。除了明顯的交集外,旅遊資訊規劃這樣一個場景與餐廳推薦、公交線路查詢等場景在本質上並無區別。我們可以看到,二者針對的基本場景也是幾乎一致的。

探究對話系統研究中的Goal Oriented和Task Oriented 概念的異同

圖2 任務型對話系統模組圖

再從系統的核心任務來進行分析。對話管理模組(Dialogue Manager)是領域任務型對話系統的一個核心元件,如圖2所示,其中一個重要的組成部分就是對話狀態估計模組(State Estimator)。在基於POMDP模型的Task Oriented對話系統中,這一模組的任務是透過置信狀態(Belief State)的跟蹤來完成的;而Goal Oriented對話系統曾出現在Dialog State Tracking Challenge這個競賽中(Z Wanget al. , 2013)[9],可以從一個側面說明對話狀態的跟蹤也是其核心任務。因此,Goal Oriented對話系統在核心任務上也與Task Oriented對話系統沒有區別。

根據以上的分析,我們已經可以認為“Goal Oriented”和“Task Oriented”有著相同的含義。此外,我們還與人機對話領域的前沿研究學者的進行了深入探討,他們分別是Facebook AI的Antoine Bordes博士和Jason Weston博士,以及劍橋大學統計對話系統(SDS)團隊的博士生Pei-Hao Su。眾所周知,Facebook從去年開始大力投入聊天機器人的研究與開發工作,Antoine Bordes博士和Jason Weston博士也是引文[4]的主要作者;劍橋大學的SDS團隊在學術界具有很高的聲望,該團隊的博士生Pei-Hao Su獲得了2016年ACL的Best Student Paper榮譽[10]。無一例外,他們都認為“Goal Oriented”和“Task Oriented”的含義沒有區別。在此感謝他們對這個問題作出的回答。

綜上所述,我們認為在人機對話系統的研究工作中,術語“Goal Oriented”和術語“Task Oriented”有著相同的含義,它們僅僅是針對同一工作的不同描述。最後,我們希望透過本文的梳理工作,能夠對剛進入或者希望進入人機對話研究領域的初學者們有所幫助;透過理清“Goal Oriented”和“Task Oriented”兩個說法之間的關係,更好的理解已有的相關研究工作,進而更好的開展未來的研究工作。

參考文獻:

[1].俞凱,陳露,陳博,孫鍇,朱蘇. "任務型人機對話系統中的認知技術——概念、進展及其未來". 計算機學報. 2015.

[2].C.Lee,S.Jung,M.Jeong, GG.Lee." Chat and goal-oriented dialog together: A unified example-based architecture for multi-domain dialog management".Spoken Language Technology Workshop.2007.

[3].A.Flycht-Eriksson."A survey of knowledge sources in dialogue systems". Proceedings of IJCAI99 Workshop on Knowledge & Reasoning in Practical Dialogue Systems. 1999.

[4].A.Bordes,J.Weston." Learning End-to-End Goal-Oriented Dialog". arXiv. 2016.

[5].J.Williams and S.Young."Partially observable Markov decision processes for spoken dialog systems".Comput. Speech Lang., vol. 21, no. 2, pp. 393–422. 2007.

[6].S.Young,M.Gasic,B.Thomson,JD.Williams." POMDP-Based Statistical Spoken Dialog Systems: A Review".Proceedings of the IEEE. 2013.

[7].Tsung-Hsien Wen, DavidVandyke,Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes, Steve Young. "A Network-based End-to-End Trainable Task-oriented Dialogue System". arXiv.2016.

[8].Lemon, O., Georgila,K., Henderson, J., and Stuttle, M. "An isu dialogue system exhibiting reinforcement learning of dialogue policies: generic slot-filling in the talkin-car system". In Proceedings of the 11th Conference of the European Chapter of the ACL: Posters & Demonstrations, pages 119–122. 2006.

[9].Wang, Z. and Lemon,O.. "A simple and generic belief tracking mechanism for the dialog statetracking challenge: On the believability of observed information". InProceedings of the SIGDIAL 2013 Conference. 2013.

[10].Pei-Hao Su, Milica Gasic, Nikola Mrksic, LinaRojas-Barahona, Stefan Ultes,David Vandyke, Tsung-Hsien Wen, Steve Young." On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems". Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016.

[11].Layla El Asri,Hannes Schulz,ShikharSharma, Jeremie Zumer, Justin Harris. "Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems". arXiv.2017.


本文來源於哈工大SCIR

原文連結點選即可跳轉

探究對話系統研究中的Goal Oriented和Task Oriented 概念的異同

相關文章