Flownet 介紹 及光流的簡單介紹

Optical Flow(光流) 介紹

segmentation  : 畫素級的分類
光流估計     : 畫素級的迴歸

光流估計   預測連續圖片序列中每個畫素的速度(大小與方向)

 

例如給定第t幀與t+1幀,求每個畫素的運動速度與方向
It(x1,y1) = It+1(x2,y2) = It(x1 + vx,y1 + vy)
(vx,vy)即為我們要預測的

光流場 (Optical Flow Field) : 整張圖片的光流

光流場是個雙通道影像,尺寸與原圖相等

FlowNet

FlowNetCorr

如圖,網路整體還是很容易理解的
灰色箭頭是給了一條支路用於concat操作,U-net,densenet等網路中已經屢見不鮮
conv_redir是1*1卷積用於壓縮至32維

corr定義如下
其實就是拿第二個feature map去卷積 (其實是相關運算) 第一個feature map

f1:第一個特徵圖  f2:第二個特徵圖
x1,x2是位置
卷積核尺寸 : 以x2為中心的 (2k+1)*(2k+1) 的區域 , 通道與原feature map一致
卷積核個數 : 即x2可選位置的個數
      x2可取x1為中心周圍 (2k+1)*(2k+1) 的所有位置
      論文中k取10,即(2*10+1)*(2*10+1)=441個通道

refinement

主要為堆疊deconv和concat操作
其實這部分加上Corr運算之後的部分合起來和Unet沒啥區別

其中 flow5/4/3 等是把concat起來的feature map進行預測光流場(conv成雙通道再deconv)
再和下一個feature map 進行 concat

final

總而言之就是 Corr + U-net + flow
模型以實驗得出為主
也是較早的一個模型,好像flow net 2.0也出來了,主要用於我粗略瞭解這方面的知識