如今，計算機視覺領域常見物體的影象識別和影象分類對大家來說已不再陌生，但提及精細化物體分類，或許不少人還不太瞭解。我們先放點圖來一起感受一下精細化物體分類的“威力”~
大家先看看這兩張圖是同一種鳥嗎？
先別急說答案，看了下面兩張區域性高清圖再做決定。
類似的例子還有很多，它們看起來整體外觀十分相似，但細節特徵反映了它們的差別。
就在前幾日，最後一屆ImageNet 榜單剛剛公佈，最新的模型在影象分類任務上已經達到了top-5 結果預測錯誤率2.3%的水平。然而儘管分類精度如此之高，但由於類別不夠精細化（注：ImageNet競賽包含常見的1000個物體類別），使得這些模型在實際應用中往往無法滿足使用者的實際需求。
在日常生活中，我們可以很容易地識別出常見物體的類別（比如：計算機、手機、水杯等），但如果進一步去判斷更為精細化的物體分類名稱，比如去公園遊覽所見的各種花卉、樹木，在湖中划船時遇到的各種鳥類，恐怕是專家也很難做到無所不曉。不過，也可見精細化物體分類所存在的巨大需求和潛在市場。
雖然精細化物體分類擁有廣闊的應用前景，但同時也面臨著艱鉅的挑戰。如下圖所示，每一行的三種動物都屬於不同種類，但其視覺差異卻非常微小。要分辨他們，對於普通人來說絕非易事。
通過觀察我們不難發現，對於精細化物體分類問題，其實形態、輪廓特徵顯得不那麼重要，而細節紋理特徵則起到了主導作用。目前，精細化分類的方法主要有以下兩類：
基於影象重要區域定位的方法。該方法集中探討如何利用弱監督的資訊自動找到影象中有判別力的區域，從而達到精細化分類的目的。
基於影象精細化特徵表達的方法。該方法提出使用高維度的影象特徵（如：bilinear vector）對影象資訊進行高階編碼，以達到準確分類的目的。
然而，這兩種方法都有其各自的侷限性。最近，微軟亞洲研究院多媒體搜尋與挖掘組的研究員們通過大量的實驗觀察以及與相關領域專家的討論，創造性地提出了“將判別力區域的定位和精細化特徵的學習聯合進行優化”的構想，從而讓兩者在學習的過程中相互強化，也由此誕生了“Recurrent Attention Convolutional Neural Network”（RA-CNN，基於遞迴注意力模型的卷積神經網路）網路結構。這種網路可以更精準地找到影象中有判別力的子區域，然後採用高解析度、精細化特徵描述這些區域，進而大大提高精細化物體分類的精度。該項工作已經被CVPR 2017(計算機視覺與模式識別)大會接收，並應邀做了報告分享，點此檢視論文。
微軟亞洲研究院副研究員傅建龍在CVPR 2017進行報告分享
從開篇的幾張區域性高清圖中，我們已經可以感受到有判別力的區域對精細化物體分類的巨大幫助。
其實，這樣的情況在精細化物體分類問題中非常普遍。看似相似的兩張圖片，當我們把有判別力的區域放大後卻發現大相徑庭。而“RA-CNN”網路則有效地利用了這一特點，通過將不同尺度影象的重要區域特徵融合，以確保重要資訊充分發揮作用：有用的資訊不丟失，同時噪聲得到抑制。
只需輸入一張圖片，“RA-CNN”便可自動找到不同尺度下的有判別力區域：上圖中藍色部分是分類子網路，它們將多個尺度的圖片用相應的卷積層提取出特徵後送入softmax 分類器，再以類別標籤作為監督對卷積層和分類器引數進行優化，當最終分類時，將各個尺度的特徵拼接起來，用全連線層將資訊充分融合後進行分類。
上圖中的紅色部分則是定位子網路，其輸入是一張圖片的卷積層特徵，而輸出的是這張圖片有判別力區域的中心座標值和邊長。定位子網路以層間的排序損失函式作為監督，優化下一尺度的圖片子區域在正確類別上的預測概率大於本尺度的預測概率，這樣可以促使網路自動找到最有判別力的區域。有了重要區域的座標，再對原圖進行裁剪和放大操作便可得到下一尺度的輸入圖片，而為了使網路可以進行端到端的訓練，研究員們設計了一種對裁剪操作進行近似的可導函式來實現。以下是“RA-CNN”在三個公開資料集上找到的有判別力區域的例子及對應的分類精度：
掃描二維碼下載“微軟識花”一鍵體驗