前言
在計算機視覺中，影像語義分割（Semantic Segmentation）的任務是預測每個畫素點的語義類別；例項分割（Instance Segmentation）的任務是預測每個例項物體包含的畫素區域。全景分割（Panoptic Segmentation）[1] 最先由 FAIR 與德國海德堡大學聯合提出，其任務是為影像中每個畫素點賦予類別 Label 和例項 ID ，生成全域性的、統一的分割影像。
ECCV 2018 最受矚目的 COCO + Mapillary 聯合挑戰賽也首次加入全景分割任務，是全景分割領域中最權威與具有挑戰性的國際比賽，代表著當前計算機視覺識別技術最前沿。
在全景分割比賽專案中，曠視研究院 Detection 組參與了COCO 比賽專案與 Mapillary 比賽專案，並以大幅領先第二名的成績實力奪魁，在全景分割指標 PQ 上取得了0.532的成績，超越了 human consistency ，另外，我們的工作 An End-to-End Network for Panoptic Segmentation 也發表於 CVPR 2019 上。
接下來我們將全面解讀全景分割任務，下面這張思維導圖有助於大家整體把握全景分割任務特性：
▲ 全景分割解讀思維導圖
首先，我們將分析全景分割任務的評價指標及基本特點，並介紹目前最新的研究進展；然後介紹我們發表於 CVPR 2019 的工作 Occlusion Aware Network (OANet)，以及曠視研究院 Detection 組參與的 2018 COCO Panoptic Segmentation 比賽工作介紹；最後對全景分割當前研究進行總結與分析。