Yann LeCun等最新研究：如何對未來例項分割進行預測？

AI科技大本營發表於2018-04-10

Yann LeCun

翻譯 | 王柯凝
編輯 | 阿司匹林
出品 | 人工智慧頭條（公眾號ID：AI_Thinker）

【人工智慧頭條導讀】近日，Yann LeCun 等人發表了一篇針對未來例項分割預測的論文。該論文提出了一種預測模型，可通過預測卷積特徵來對未來例項分割進行預測。該演算法有以下幾大優勢：

可以處理模型輸出大小不固定的情況，如物件檢測和例項分割；
不需要使用帶有標記的視訊序列進行訓練，可以直接從未標記的資料中計算出中間的 CNN 特徵對映圖；
支援可生成多個場景解釋的模型，如曲面法線、物件邊界框和人體部分標籤，而不需要針對這些任務設計合適的編碼器和損失函式。

以下內容是論文節選，人工智慧頭條編譯：

▌簡介

預測未來事件是實現智慧行為的一個重要的先決條件，而視訊預測就是其中一項任務。最近的研究表明，在對未來幀進行語義分割時，在語義層面上的預測，比先預測 RGB 幀，然後將其分段更加有效。本文考慮了未來例項分割中更具挑戰性的一個問題——將單個物件進行細分。為了處理各影像中不同數量的輸出標籤，我們在 Mask R-CNN 例項分割模型的固定尺寸卷積特徵空間中開發了一個預測模型。

我們將 Mask R-CNN 框架的“探測頭（detection head）”應用於預測特徵，以產生未來幀的例項分割。實驗表明，與基於光流（optical flow）的基線相比，該演算法在效能上有顯著提升。

圖 1：預測未來 0.5 秒。光流基線（a）和本文演算法（b）的例項分割比較。來自文獻 [8] 的演算法（c）和本文的例項語義分割演算法（d）的語義分割比較。例項建模顯著提高了單個行人的分割精度。

我們的貢獻如下：

引入未來例項預測這一新任務，在語義上比之前研究的預期識別任務更為豐富。
基於預測未來幀的高維卷積神經網路特徵的自監督演算法，支援多種預期識別任務。
實驗結果表明我們的特徵學習演算法相對於強光流基線有所改進。

▌預測未來例項分割的特徵

本節簡要回顧了 Mask R-CNN 框架例項分割框架，然後介紹瞭如何通過預測未來幀的內部 CNN 特徵，將該框架用於預期識別（anticipated recognition）。

使用 Mask R-CNN 進行例項分割

Mask R-CNN 模型主要由三個主要階段組成。首先，使用一個 CNN 主幹框架結構提取高層特徵對映圖。其次，候選區域生成網路（RPN）利用這些特徵以包含例項邊界框座標的形式產生興趣區域（ROI）。候選邊界框用作興趣區域層的輸入，通過在每個邊界框中插入高階特徵，為每個邊界框獲取固定大小的表示（不管大小）。將每個興趣區域的特徵輸入到檢測分支，併產生精確的邊界框座標、類別預測以及用於預測類別的固定二進位制掩碼。最後，在預測的邊界框內將掩碼插入到影像解析度中，並報告為預測類的一個例項分割。

圖2 ：左，自上而下的特徵取樣結合相同解析度吧的自下而上的特徵，從而獲得的 FPN（feature pyramid network ）演算法主幹框架中的特徵。右，為了得到未來例項分割，我們從 t-τ 到 t 幀提取 FPN 特徵，並預測 t + 1 幀的 FPN 特徵。

預測卷積特徵

對處於不同 FPN 層級的特徵進行訓練，並將其作為共享“探測頭（detection head）”的輸入。然而，由於解析度在不同層級上會發生改變，每層上的“空間-時間”動態特性也會不同。因此，我們提出了一種多尺度演算法，對每一級採用單獨的網路進行預測。每級網路都經過訓練，彼此完全獨立地工作。對於每一級，我們關注的是特徵維度輸入序列的特徵。