火爆 GitHub！這個神器開源了！

最近全球各大新勢力造車公司簡直不能再火！小編看著蹭蹭飆升的股價實在是眼紅的不要不要的。而懂行的人都知道，以特斯拉為首，各大公司都採用計算機視覺作為自動駕駛的技術底座，而其中正是透過影像分割技術，汽車才能分清楚哪裡是路，哪裡是人。

那影像分割重不重要還需要我強調麼？而今天我要給大家介紹的這個開源套件，就涵蓋業界最前沿的影像分割演算法，並效果超群，這就是 PaddleSeg！！OMG，還在等什麼？！盤他！盤他！盤他！

在如期舉行的全球計算機視覺頂會 CVPR2021 上，PaddleSeg 再次綻放高光。其中 AutoNUE 挑戰賽是近年來自動駕駛場景理解領域極具影響力的一場賽事，非常考驗參賽者在非結構化環境中的語義分割演算法能力。百度 PaddleSeg 團隊最終擊敗其餘參賽隊伍，在 Level 1， Level 2， Level 3 三項測試指標上均以第一名的成績摘獲冠軍。

著急的小夥伴可以直接去看比賽詳情：

那麼 PaddleSeg 到底是個啥呢？小編去GitHub 上去扒了一下官方的解釋：

PaddleSeg 是基於飛槳開發的端到端影像分割開發套件，涵蓋了高精度和輕量級等不同方向的大量高質量分割模型。透過模組化的設計，幫助開發者完成從訓練到部署的全流程影像分割應用。下面就給大家講講 PaddleSeg 的特點和近期更新的內容：

全新升級了人像分割功能，提供了 web 端超輕量模型部署方案；

推出了精細化的分割解決方案 PaddleSeg-Matting；

開源了全景分割演算法 Panoptic-DeepLab，豐富了模型種類；

釋出了互動式分割的智慧標註工具 EISeg。極大的提升了標註效率。

Web 視訊會議

Matting

全景分割

互動式分割

提供了產業級的部署方式。如今又增加了這麼多的新功能。可以說 PaddleSeg 已經可以全方位、立體式地滿足開發者各個維度的需求。不得不大說一聲：、

這麼好的產品，還不快上車？

上車地址：

產業級人像分割方案PPSeg

人像分割是影像分割領域非常常見的應用，在實際應用過程中人像的資料集來源多種多樣，資料可能來源於手機、相機、監控等，圖片尺寸可能是橫屏、豎屏或者方屏。部署場景多種多樣，有的應用在伺服器端，有的應用在移動端，還有的應用在網頁端。為此 PaddleSeg 團隊推出了在大規模人像資料上訓練的人像分割 PPSeg 模型，滿足在服務端、移動端、Web 端（Paddle.js）多種使用場景的需求。

PPSeg 模型在產業中得到了廣泛的應用。近期“百度視訊會議”也上線了虛擬背景功能，支援使用者在視訊會議時進行背景切換。其中人像換背景模型採用 PaddleSeg 團隊開發的 PPSeg 系列模型中的超輕量級模型。透過 Padddle.js 實現了在 web 端部署，直接利用瀏覽器的算力進行影像分割，分割效果受到一致好評。

產業級解決方案詳解：

/tree/release/2.2/contrib/HumanSeg

小夥伴們也可前去百度首頁體驗百度視訊會議，直觀體驗一下 PaddleSeg 和 Paddle.js 為大家提供的人像分割功能。

精細化的分割解決方案 PaddleSeg-Matting

隨著分割技術的發展，人們對分割的精細化的要求也越來越高。比如在一些影視行業，綠幕作為拍攝的換背景常用的工作，但目標不在綠幕前拍攝，是否還能達到很好的背景分割功能呢？

答案是：能！

最近 PaddleSeg 團隊開源的精細化分割解決方案 PaddleSeg-Matting 就很好的解決了這個問題。將目標的髮絲實現了精準的分割。

PaddleSeg 透過內建 trimap 生成機制實現 alpha 預測，無需任何輔助資訊的輸入即可完成預測，極大減少了人工成本。透過共享 encoder 權重減少網路的引數量，並在 decoder 階段利用 attention module 實現 trimap 資訊流對 alpha 預測的指導。然後利用 error map 提取錯估區域的 patch，透過 refinement 子網路進行 refine 得到最終的 alpha。

互動式分割智慧標註工具

業界對於人工智慧有這麼一句話：“深度學習有多智慧、背後就有多少人工”。這句話直接說出了深度學習從業者心中的痛處，畢竟模型的好壞資料佔據著很大的因素，但是資料的標註成本卻讓很多從業的小夥伴們感到頭疼。

為此 PaddleSeg 團隊重磅推出的互動式分割智慧標註軟體EISeg 那具體什麼是互動式分割呢？透過下面的動態圖來了解一下。

不難發現，互動式分割透過一系列的綠色點（正點）和紅色點（負點）實現了對目標物件的邊緣分割，互動式分割主要的應用方向是影像編輯和半自動標註，可以應用於精細化標註，摳圖，輔助影像後期處理（例如 PS）等場景。

PaddleSeg 團隊聯合 PaddleCV-SIG 成員基於 RITM 演算法，推出了業界首個高效能的互動式分割工具 EISeg，我們支援對 RITM 模型的訓練、預測及互動的全流程。PaddleSeg 互動式分割模型不僅僅支援從頭訓練強大的通用場景模型，還支援對特定場景資料進行 Finetune。我們利用百度自建人像資料集對模型 Finetune，得到預測速度快，精度高，互動點少的人像互動式分割模型。

軟體提供多種安裝方式，支援使用者使用 pip 和 conda 安裝，另外 windows 下提供了可執行的 exe 檔案，雙擊.exe 即可執行程式。

全景分割 Panoptic-DeepLab

全景分割是影像分割領域在近年來興起的一個新領域，由 FAIR 與海德堡大學在2018年首次提出。

什麼是全景分割呢？

影像的資訊可以分為 thing 和 stuff，其中 thing 表示可數物件，例如車、動物等等，stuff 表示不可數物件，例如沙灘、天空等等。語義分割任務不關注影像中的是 stuff 還是 thing，只關注每個畫素所屬的語義類別，因此無法實現例項物件的區分。而例項分割關注的是 thing 的分割，將影像中的 thing 識別出來，區分出不同的例項個體以及相應的語義資訊，對於 stuff 區域，則統一表示為背景。全景分割是融合了語義分割和例項分割的技術，對於 thing，識別出不同的例項個體以及對應的語義資訊，對於 stuff，識別出對應的語義資訊。

Panoptic DeepLab 首次以 bottem-up 和 single-shot 演算法形式達到 state-of-the-art 效能，相比於 top-down 演算法 Panoptic DeepLab 以簡單的網路結構實現了精度、速度雙超越，開創了全景分割演算法新方向，目前 Cityscape 全景分割榜首即基於該演算法。

PaddleSeg 全貌

• 全明星演算法陣容

20+全面領先同類框架的高精度語義分割演算法，50+預訓練模型新增全景分割演算法，豐富了應用場景。提供了高精度的人像分割演算法 HumanSeg，滿足多端部署。

• 全產業鏈部署

不僅全面支援動態圖開發，可以順暢的完成動靜轉化；還從資料預處理、演算法訓練調優、壓縮、多端部署等全流程、各環節順暢打通，極大程度地提升了使用者開發的易用性，加速了演算法產業應用落地的速度。尤其是透過 Paddle.js 支援在 web 端部署，賦予了網頁端部署的更多可能性。

你還在等什麼？！如此用心研發的高水準產品，還不趕緊 Star 收藏上車！

傳送門：