CVPR 2019審稿滿分論文：中國博士提出融合CV與NLP的視覺語言導航新方法

640?wx_fmt=jpeg

整理 | 劉暢、Jane

責編 | Jane

出品 | AI科技大本營（公眾號id：rgznai100）

如何挑戰百萬年薪的人工智慧！

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

CVPR 2019 接收論文編號公佈以來，AI科技大本營開始陸續為大家介紹一些優秀論文。今天推薦的論文，將與大家一起探討一種在視覺語言導航任務中提出的新方法，來探索未知環境。

640?wx_fmt=png

作者

這篇論文是 UC Santa Barbara 大學（加州大學聖巴巴拉分校）與微軟研究院、Duke 大學合作完成，第一作者系 UC Santa Barbara 大學的王鑫。

據 UC Santa Barbara 電腦科學系助理教授王威廉在其個人微博上發表的喜訊，這篇論文的一作是其組內的成員，獲得了 3 個 Strong Accept，在 5165 篇投稿文章中審稿得分排名第一，並且這篇論文已經確定將在 6 月的 CVPR 會議上進行報告。

640?wx_fmt=png

這篇論文解決的任務 vision-language navigation（VLN）我們之前介紹的並不多，所以，這次營長會先給大家簡單介紹 VLN，然後從這項任務存在的難點到解決方法、實驗效果等方面為大家介紹，感興趣的小夥伴們可以從文末的地址下載論文，詳細閱讀。

什麼是 VLN？

視覺語言導航（vision-language navigation, VLN）任務指的是引導智慧體或機器人在真實三維場景中能理解自然語言命令並準確執行。結合下面這張圖再形象、通俗一點解釋：假如智慧體接收到“向右轉，徑直走向廚房，然後左轉，經過一張桌子後進入走廊...”等一系列語言命令，它需要分析指令中的物體和動作指令，在只能看到一部分場景內容的情況下，腦補整個全域性圖，並正確執行命令。所以這是一個結合 NLP 和 CV 兩大領域，一項非常有挑戰性的任務。

640?wx_fmt=png

難點

雖然我們理解這項任務好像不是很難，但是放到 AI 智慧體上並不像我們理解起來那麼容易。對 AI 智慧體來說，這項任務通常存在三大難點：

難點一：跨模態的基標對準（cross-modal grounding）；簡單解釋就是將NLP 的指令與 CV 場景相對應。

難點二：不適定反饋（ill-posed feedback）；就是通常一句話裡面包含多個指令，但並不是每個指令都會進行反饋，只有最終完成任務才有反饋，所以難以判斷智慧體是否完全按照指令完成任務。

難點三：泛化能力問題；由於環境差異大，VLN 的模型難以泛化。

那這篇論文中，作者又做了哪些工作，獲得了評委們的一致青睞，獲得了 3 個 Strong Accept 呢？方法來了~

方法

1、RCM（Reinforced Cross-Modal Matching）模型

針對第一和第二難點，論文提出了一種全新的強化型跨模態匹配（RCM）方法，用強化學習方法將區域性和全域性的場景聯絡起來。

RCM 模型主要由兩個模組構成：推理導航器和匹配度評估器。如圖所示，通過訓練其中綠色的導航器，讓它學會理解區域性的跨模態場景，推斷潛在的指令，並生成一系列動作序列。另外，論文還設定了匹配度評估器（Matching Critic）和迴圈重建獎勵機制，用於評價原始指令與導航器生成的軌跡之間的對齊情況，幫助智慧體理解語言輸入，並且懲罰不符合語言指令的軌跡。

640?wx_fmt=png

以上的方法僅僅是解決了第一個難點，所以論文還提出了一個由環境驅動的外部獎勵函式，用於度量每個動作成功的信合和導航器之間的誤差。

640?wx_fmt=png

2、SIL（Self-supervised Imitation Learning）方法

為了解決第三個難點，論文提出了一種自監督模仿學習（Self-supervised Imitation Learning, SIL），其目的是讓智慧體能夠自主的探索未知的環境。其具體做法是，對於一個從未見過的語言指令和目標位置，導航器會得到一組可能的軌跡並將其中最優的軌跡（採用匹配度評估器）儲存到緩衝區中，然後匹配度評估器會使用之前介紹的迴圈重建獎勵機制來評估軌跡，SIL方法可以與多種學習方法想結合，通過模仿自己之前的最佳表現來得到更優的策略。

640?wx_fmt=png