Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

量子位 發表於 2022-01-25
人工智慧
豐色 發自 凹非寺
量子位 | 公眾號 QbitAI

最近,Meta AI推出了這樣一個“雜食者” (Omnivore)模型,可以對不同視覺模態的資料進行分類,包括影像、視訊和3D資料

Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

比如面對最左邊的影像,它可以從深度圖、單視覺3D圖和視訊資料集中搜集出與之最匹配的結果。

Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

這在之前,都要分用不同的模型來實現;現在一個模型就搞定了

而且Omnivore易於訓練,使用現成的標準資料集,就能讓其效能達到與對應單模型相當甚至更高的水平。

實驗結果顯示,Omnivore在影像分類資料集ImageNet上能達到86.0%的精度,在用於動作識別的Kinetics資料集上能達84.1%,在用於單檢視3D場景分類的SUN RGB-D也獲得了67.1%

另外,Omnivore在實現一切跨模態識別時,都無需訪問模態之間的對應關係。

不同視覺模態都能通吃的“雜食者”

Omnivore基於Transformer體系結構,具備該架構特有的靈活性,並針對不同模態的分類任務進行聯合訓練。

模型架構如下:

Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

Omnivore會將輸入的影像、視訊和單檢視3D影像轉換為embedding,並饋送到Transformer中。

雖然它可以使用任何vision transformer架構來處理patch embedding,但鑑於Swin transformer在影像和視訊任務上的強大效能,這裡就使用該架構作為基礎模型。

具體來說,Omnivore將影像轉為patch,視訊轉為時空tube(spatio-temporal tube),單檢視3D影像轉為RGB patch和深度patch。

然後使用線性層將patches對映到到embedding中。其中對RGB patch使用同一線性層,對深度patch使用單獨的。

總的來說,就是通過embedding將所有視覺模式轉換為通用格式,然後使用一系列時空注意力(attention)操作來構建不同視覺模式的統一表示。

研究人員在ImageNet-1K資料集、Kinetics-400資料集和SUN RGB-D資料集上聯合訓練出各種Omnivore模型。

這種方法類似於多工學習和跨模態對齊,但有2點重要區別:

1、不假設輸入觀測值對齊(即不假設影像、視訊和3D資料之間的對應關係)

2、也不假設這些資料集共享相同的標籤空間(label space)

效能超SOTA

實驗方面,首先將Omnivore與各視覺模態對應的特定模型(下表中指Specific)進行比較。

一共有三種不同的模型尺寸:T、S和B。

預訓練模型在七個下游任務上都進行了微調。

影像特定模型在IN1K上預訓練。視訊特定模型和單檢視3D特定模型均使用預訓練影像特定模型的inflation進行初始化,並分別在K400和SUN RGB-D上進行微調。

結果發現,Omnivore在幾乎所有的下游任務上的效能都相當於或優於各特定模型。

其中尺寸最大的Swin-B實現了全部任務上的SOTA。

Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

將Omnivore與具有相同模型架構和引數數量的特定模型比較也是相同的結果。

Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

其中Omnivore在IN1K、K400和SUN資料集上從頭開始聯合訓練,而特定模態的模型針對每個資料集專門訓練:

ImageSwin模型從零開始訓練,VideoSwin和DepthSwin模型則從ImageSwin模型上進行微調。

接下來將Omnivore與影像、視訊和3D資料分類任務上的SOTA模型進行比較。

結果仍然不錯,Omnivore在所有預訓練任務中都表現出了優於SOTA模型的效能(下圖從上至下分別為影像、視訊和3D資料)

Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

此外,在ImageNet-1K資料集上檢索給定RGB影像的深度圖也發現,儘管Omnivore沒有接受過關於1K深度圖的訓練,但它也能夠給出語義相似的正確答案。

Meta AI推出“雜食者”:一個模型搞定影像、視訊和3D資料三大分類任務,效能還不輸獨立模型

最後,作者表示,儘管這個“雜食者”比傳統的特定模式模型有了很多進步,但它有一些侷限性。

比如目前它僅適用於單檢視3D影像,不適用於其他3D表示,如體素圖(voxels)、點雲圖等。

論文地址:

程式碼已開源:

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69971123/viewspace-2853875/,如需轉載,請註明出處,否則將追究法律責任。

相關文章