達摩院探訪，機器視覺之髮絲級摳圖技能解析？

視覺技術作為人工智慧之眼還在不斷地認識世界，認識的事物從少到多，從模糊到清晰，從認識到理解。每一階段都是一座里程碑，從人工智慧流行之初，達摩院就對這個人工智慧之眼有著深厚的興趣。本次向大家介紹，達摩院之計算機視網膜修復工程。

摳圖（matting）-作為計算機視覺理解認識事物的第一步，指的是從圖片中精確分割出其中的目標區域，計算機視覺需要從平面，3D等影像中扣出它需要認識的區域並且加以識別，而摳圖的精度則是其識別準確度的基礎，就像手不是人，車輪不是汽車，雲不是天空一樣，很好理解。摳圖的精度通常要求達到髮絲級處理精度，而傳統的摳圖，需要輸入額外的語義資訊作約束，通常為trimap（前景、背景和不確定區域），且互動成本都極大。

達摩院又是如何走出從最佳化到應用的這一質變的過程？

蛻變

傳統摳圖是互動式摳圖，要求輸入trimap作為約束，即已包含有較準備的語義資訊，如下圖2（b）所示，所需估計的是trimap中的灰色區域。對於無互動的人像摳圖，則是直接從輸入影像中不帶任何約束地估計正確的語義資訊及精準的alpha細節。提升模型效果的一個重大因素即大量精準標註的訓練資料，如果訓練資料不充分或分佈不均，極容易導致估計的語義資訊不準從而影響最後摳圖結果的精度，如下圖2（d）所示。據此，達摩院提出了一種在不降低訓練效果前提下最大限度降低資料標註成本的方法，該方法使用了獲取成本較低的粗標註資料，以及部分精度較高的標註資料，實驗結果表明該模型的可以更好的估計語義資訊，同時對髮絲細節的處理精度也很好，如下圖2（e）所示。

圖2: (a)輸入圖; (b)trimap(前景、背景、不確定區域); (c)Deep Image Matting結果; (d)不使用粗標註資料結果; (e)同時使用粗標註資料和精確標註資料結果; (f)真實值。

破繭

為了在精確摳圖中使用非精確標註的資料，達摩院提出瞭如下的網路框架。提出的模型框架分為三部分：粗mask估計網路（MPN）、質量統一化網路（QUN），以及精確alpha matte估計網路（MRN）。該部分的設計理念為：複雜問題拆解，先粗分割（MPN）再精細化分割（MRN）。學術界有大量易獲取的粗分割資料，可以利用起來。但在實操過程中發現，粗分割資料和精分割資料不一致導致預期GAP很大，故而又設計了質量統一化網路（QUN）。MPN的用途是估計粗語義資訊（粗mask），使用粗標註資料和精標註資料一起訓練。QUN是質量統一化網路，用以規範粗mask質量，QUN可以統一MPN輸出的粗mask質量。MRN網路輸入原圖和經過QUN規範化後的粗mask，估計精確的alpha matte，使用精確標註資料訓練。

圖3:演算法框架圖

演算法框架包括三個部分：

• MPN，粗mask估計網路；
• QUN，mask質量規範化網路；
• MRN，精確alpha matte估計網路

實驗結果

Baseline的對比：對比方法包括傳統的matting方法以及最新基於神經網路的方法。訓練資料中包括一半精標註資料，一半粗標註資料。對比方法（除deeplab）由於演算法限制只能使用精標註資料，因而只使用了精標註資料訓練。而達摩院的方法分別用只使用精標註資料以及同時使用精標註資料和粗標註資料進行了實驗。如下圖4結果表明，達摩院的方法在使用了粗標註資料之後，對複雜case的語義資訊估計的要更準確，同時細節資訊也估計的更好。

圖4: 實驗結果對比圖

在真實圖片結果的測試結果如下：

圖5:真實應用場景下人像摳圖的效果

達摩院的方法還可以應用到資料的精細化中，如果給定了粗 mask，輸入達摩院的 QUN+MRN 網路，可以直接得到精細化之後的資料，如下圖 6 所示，達摩院分別對公開資料集 coco 和 pascal 中的人像資料做了精細化。另外，達摩院也將達摩院的方法應用到其他類目的分割當中去，如商品分割、頭像分割等，也取得了不錯的效果，如圖7所示。

圖 6: 粗標註資料用達摩院網路進行 refine 後的結果

圖 7: 其他場景的分割效果

化蝶

當一個技術在精度上有了質的提升，並且解決了成本問題，那麼它就達到了應用的門檻，達摩院將上述方法擴充到了商品、動物、汽車等行業做主體分割，並將技術落地成應用遍佈市場，單阿里巴巴集團內已覆蓋 9 大 BU（優酷、淘寶、天貓、CBU/ICBU、阿里健康、Lazada、影片雲、釘釘、支付寶）9 大 BU，魯班場景的商品摳圖轉化率高達 80%+。

阿里雲視覺 AI 開發者創意應用賽向社會各界免費開放所有視覺 AI 技術介面，如人像分割、商品分割、頭像摳圖等。開發者可以任意使用達摩院的技術打磨自己的產品，或者將自己的產品在大賽中展出，作為主辦方，阿里雲將會為優秀的作品對接創業資源和孵化環境，更有總計近百萬的獎金和獎品等你來拿。

體驗地址：

大賽平臺： https://developer.aliyun.com/ai/activity/viapi?spm=a211p3.14921014.J_2252694630.5.514a46a07ZMiqM

文章來源： https://developer.aliyun.com/article/765478?groupCode=aliyunmit