美顏SDK實用演算法——直播背景扭曲矯正

經常關注顏值主播的人應該比較清楚，主播們在直播中都在使用美顏功能，例如“瘦臉”、“長腿”、“小頭”等，這些美型美體的功能幾乎成了主播們的必備，而這些功能的背後都離不開美顏SDK的強大演算法。

隨著美顏演算法的不斷升級與迭代，現在美顏 SDK可以實現的功能越來越多，受眾面也越來越廣，同時暴露出一些問題。例如在直播的功能中，主播開啟美顏美型等功能後，人體發生變化的同時背景也發生了形變、扭曲，“牆變歪了”、“門框歪了”等情況屢見不鮮。因此，美顏SDK在對人像美顏、美型時，有必要改進一下人像背景的扭曲問題，一來可以提升使用者觀感，二來主播也不會尷尬。

那麼，為什麼這個問題出現這麼久，現在依然有這種現象發生呢？是不是處理起來難度較大？答案是肯定的。

美顏 SDK在執行美型、美體等功能時，想要保證人像背景不被扭曲還是比較困難的，如果在手機端的話難度會更上一層，下文小編將為大家盤點一下難點以及實現流程。

一、難點

1、背景內容複雜
大部分使用者直播時背景極其複雜，沒有固定場景，美顏 SDK矯正演算法想要適配大多數場景並不現實，在演算法適用性上有著極大的挑戰。

2、演算法難統一

使用者在使用美顏 SDK時很少會單一使用某一個功能，大多都是多種功能搭配使用，例如瘦臉、大眼、長腿、調整下巴等多項美型操作，疊加後的美型演算法很難統一規則來矯正。

3、效能不足

大多數主播多為手機直播使用者，當使用者直播時需要實時預覽美型以及矯正後的美顏效果，這就對手機效能有著較為苛刻的要求，因為會涉及大量的美顏演算法，手機效能無法達到電腦水平。

二、矯正流程

如果美型前後背景中的直線斜率保持不變，那麼使用者將不再會明顯地感知到背景扭曲。為此，根據預設規則在原圖背景中選擇一些特徵點，並利用這些特徵點對背景區域進行三角網格劃分。操作後，這些特徵點的位置會發生改變，透過檢測原圖背景中的直線，並以變化前後的直線斜率保持不變以及三角形形狀保持不變兩個約束建立最佳化目標函式，最終求得矯正後特徵點的位置。

整體而言，現在想要在手機上實現直播實時矯正背景扭曲並非一件易事，首先手機效能必須足夠強大，其次美顏演算法也得需要不斷升級，這樣才能適配各種使用者不同的複雜直播場景。