抖音為何要不斷提升畫質體驗？

　　導讀

　　本文從抖音集團內部畫質最佳化方案的孵化歷程著筆，主要分享了畫質最佳化對於業務的價值、主要應用場景和內部產品的一些典型實踐案例。透過分享業務視角遇到的一些問題和我們的解決思路，希望能拋磚引玉，為遇到類似困擾的夥伴們提供有價值的參考。

　　為何我們要不斷最佳化畫質體驗？

　　在內容豐富、質量不斷提升的數字娛樂時代，使用者擁有更多的選擇權，而優質的畫質體驗是平臺贏得使用者青睞的關鍵之一。高質量畫質是區分產品優劣、提高市場競爭力的利器，提供優質的畫質體驗是內容和服務提供商不可或缺的使命。

　　我們透過線上業務大量實驗發現，圖片畫質優劣對點選率、停留時長等消費類指標有正相關影響，間接影響使用者收益指標。例如，低質影像會極大影響創作者的創作熱情和終端使用者的瀏覽體驗，進而降低使用者活躍度及粘性。因此，針對不同圖片畫質水平進行定向最佳化，保障使用者的畫質體驗是非常有必要性的。　

　　以圖文業務場景為例，我們透過分析畫質與使用者平均觀看時長的關係，得到如下所示關係圖。可以看出，中高畫質可以為業務帶來持續的看播收益。　　

　　畫質增強方案孵化歷程

　　我們曾面臨哪些挑戰？

　　在初期建設和迭代最佳化畫質增強能力過程中，我們主要面臨以下兩方面的挑戰：

　　1. 內容來源多樣，低質成因複雜

　　我們在對接業務訴求後發現，待最佳化的圖片內容覆蓋的生產主體多樣，且內容種類豐富，而不同型別的內容為獲得更好的增強效果均需要對模型進行一定程度的定向調優。

　　例如，從內容生產主體劃分，包括PGC、UGC、OGC等多種型別內容；從內容種類來看，主要包括時政新聞、遊戲、動漫、美食、生活、娛樂、動物、植物等。

　　同時，不同內容生產主體生產的內容，畫質差異較大，且低質成因複雜，給後續最佳化策略的選擇帶來了不小的挑戰。

　　例如，UGC內容通常由於拍攝裝置不佳、環境光線限制、製作技術不足、多次轉碼壓縮等原因，導致上傳內容存在模糊、噪聲、解析度低、欠曝/過曝、色彩暗淡等畫質問題；而老舊照片由於拍攝年代較久，可能存在解析度不足、模糊失真、顏色褪色、劃痕損傷和色溫等問題，從而導致影像不清晰，影響影像的可視性和美觀性。　

　　2. 面對多樣的業務場景與需求，如何選擇合適的處理方案和策略

　　不同演算法的適用場景不同，需要根據業務需求，綜合考慮模型的實時性需求和可部署性、靈活性，選擇更合適的演算法方案。例如，傳統訊號處理方法、機器學習方法或深度學習方法等。

　　資料是演算法模型訓練的基礎。針對低質增強，不同業務場景的低質內容其低質成因複雜且不同，需要分析、設計合理的退化鏈路來擬合業務資料的降質過程。

　　低質內容可能存在由於壓縮、失焦、上下采樣、環境光線不足等原因導致的噪聲、塊效應、邊緣毛刺、鋸齒等畫質問題。如不能綜合考慮這些降質影響，演算法模型在業務資料上將很難獲得較好的泛化能力。

　　在實踐中，根據具體任務和模型的情況，選擇適當的資料退化策略是提高模型效能和泛化能力的關鍵一步。如果資料的退化策略需要與模型的學習能力不匹配，可能導致模型在訓練過程中難以學到有效的特徵或泛化能力受限，從而影響模型在實際應用中的效能。

　　選擇合理的深度學習演算法模型和訓練策略是深度學習方案獲得高效能的關鍵。

　　在選擇深度學習模型時需要考慮任務的特點、資料的質量和數量，以及計算資源的限制，仔細權衡成本、覆蓋率以及畫質收益。對於簡單任務，簡化的模型可能更合適，而對於複雜任務，可以考慮更深、更復雜的模型。

　　訓練深度學習模型尤其是生成式模型，需要把握好訓練策略，例如學習率策略、正則化技術、損失函式及權重配比，才能避免出現過擬合或欠擬合、增強效果不足、生成偽影或虛假紋理等影像問題。並且需要選擇合適的評估指標對模型進行評估，確保滿足業務需求。

　　我們如何提升畫質體驗？

　　在建立畫質增強能力的初期，為了針對性解決畫質問題，我們主要孵化了影像超解析度、影像降噪、低質增強等單點能力：　　

　　在上述能力穩定執行後，我們發現，隨著業務體量增大，內容體裁愈加多元化，遇到的畫質問題往往比較綜合，使用單點增強能力，很難一步到位實現最佳化目標；且並不是每張圖片都有必要經過複雜處理，如果只是機械化地配置多個單點能力，反而會增加處理成本與載入耗時。

　　基於上述遇到的問題，火山引擎veImageX產品聯合多媒體實驗室演算法團隊，結合多個業務線上驗證的優秀實踐，自研推出 【綜合增強解決方案】。 該方案融合影像超分、色彩增強、低質增強、影像降噪、去模糊、人像增強、文字增強、自適應銳化等多個原子能力，整合到統一的畫質增強處理鏈路中，同時引入自適應增強處理體系，即針對不同的圖片特徵，動態自適應最佳化，有的放矢地解決業務的畫質問題。

　　同時，為了解決部分難以被綜合增強模型解決的畫質問題，我們同時推出了 【影像自適應增強解決方案】。該方案開放了人像增強、低質增強、去模糊、影像超分、下采樣等多個原子能力供使用者選擇，支援使用者自定義調整處理順序和設定處理策略，充分滿足部分業務個性化的調優需求。

　　兩套方案的具體說明如下：　　

　　抖音畫質增強方案有哪些優勢？

　　1. 適用範圍廣泛

　　高質量且規模龐大的訓練資料集，覆蓋PGC、UGC、OGC等多種內容場景，同時可根據不同場景的畫質問題進行自適應畫質增強，適用範圍廣泛（特別針對UGC場景）。

　　演算法模型歷經億級DAU產品持續打磨最佳化，泛化能力強。

　　2. 處理效能穩定可靠

　　畫質增強能力已接入抖音集團內部多個業務場景，提供常態化服務。日均支撐上億次呼叫處理，在保證效果的基礎上，處理效能穩定可靠、有保障。

　　3. 多業務線上驗證收益顯著

　　歷經抖音、頭條、番茄小說等數十個大體量業務線上驗證，增強效果穩定可靠，並可在提升圖片主觀質量的同時最大限度降低圖片位元速率（即縮小檔案體積）。

　　經過多項A/B實驗和反轉實驗驗證，畫質增強能有效支援業務最佳化線上畫質體驗，並帶來使用者消費指標提升，收益顯著。

　　4. 演算法能力業內領先

　　畫質增強解決方案和涉及的演算法模型已申請多項專利。例如，一種區域性內容自適應銳化方案、一種保持動漫風格的超分方案、一種消除偽像的自適應超分方案、一種影像感知下采樣方案等。

　　在第2023屆CVPR Workshop下屬的NTIRE大賽中，火山引擎-多媒體實驗室在【雙目超分雙三次插值保真賽道】和【360°全景影像超分賽道】斬獲雙料冠軍（詳細介紹：https://mp.weixin.qq.com/s/YHRVlrmVRpFzXc7za57UCw）；在 2022 AIM 大賽中，榮獲【壓縮影像超分賽道】亞軍（詳細介紹：）。

　　畫質增強主要應用在哪些場景？

　　生產端：保障優質內容供給，助力使用者增長

　　業務團隊可利用veImageX提供的畫質增強能力，幫助創作者“一鍵最佳化”原始素材的畫質質量，以更低門檻創作出更多優質內容。

　　此舉既可以極大提升創作者的創作熱情和使用者黏性，又幫助平臺保障了優質內容的源源不斷供給。而大量豐富的優質內容可助力平臺持續吸引更多使用者進行消費，有效支撐了使用者增長。

　　消費端：整體提升畫質水平，促進消費轉化

　　在封面圖（Feed流、推薦、搜尋等）、圖文詳情頁等社群社交場景，業務團隊可在圖片內容被消費時自適應進行畫質增強處理，既可以有效緩解因影像壓縮、二次編輯、使用者載入使用的不同機型等因素產生的畫質折損問題，保障平臺整體使用者體驗；又可以提升推薦、搜尋點選轉化效果，進而帶來點選率、人均閱讀/消費時長、使用者留存等業務指標正向提升。

　　在電商等強依賴圖片內容消費轉化的場景，透過提升商品圖、評論曬單圖畫質，可有效促進使用者點選和購買轉化，為商家和平臺帶來收入提升。

　　典型案例實踐分享

　　目前，由火山引擎veImageX提供的畫質增強能力已服務於抖音短影片、今日頭條、西瓜影片、番茄小說、懂車帝等數十條業務線，在提升使用者的畫質體驗方面發揮著重要作用。接下來，我們選取了幾個典型案例為大家簡要分享我們的實踐經驗。

　　抖音短影片

　　1. 需求背景

　　抖音圖集功能上線初期，因圖文內容質量良莠不齊導致部分畫質體驗不佳，業務團隊不定期收到使用者線上反饋。為了保障使用者在抖音短影片內的整體瀏覽體驗，進而快速達到行業領先水平，業務團隊設立專項進行問題解決。

　　2. 實踐方案

　　業務團隊首先使用畫質評估工具和多種評測手段對線上圖片畫質進行了離線摸底分析，並和業內主流應用進行了對比，發現圖片畫質相較行業領先水平存在一定差距，故使用veImageX提供的【自適應增強模型】，針對性進行畫質提升的同時儘可能節省位元速率。

　　3. 整體收益

　　最佳化後，圖片平均檔案大小和載入耗時雖略有增加，但人均圖文vv、人均圖文完播vv、人均圖文播放時長等消費指標均顯著正向。

　　今日頭條

　　1. 需求背景

　　頭條內多個頻道主要以雙列展示為主，而雙列流頻道展現形式又以封面圖為主。綜合線上實驗結果和實踐經驗發現，封面圖的畫質質量不僅會影響使用者瀏覽體驗，也會影響點選轉化率和使用者留存等業務指標。

　　業務團隊透過線上評測發現，在封面問題中，圖片模糊影響面最大，如何降低模糊封面佔比成為一項亟待解決的問題。

　　2. 實踐方案

　　業務團隊首先使用畫質評估工具對線上封面圖畫質抽樣摸底，對“優質”、“弱模糊”、“模糊”標準進行了明確定義，藉助veImageX提供的畫質增強能力，針對性調整最佳化策略並結合人工抽樣評估離線測評增強效果。選擇效果符合預期的畫質增強策略開啟線上A/B實驗，根據實驗結果，線上推全最優組合策略。

　　3. 整體收益

　　業務團隊透過對多頻道模糊封面圖進行最佳化，人工評估封面優質率提升約2倍，封面圖低質率降低了約42.2%，模糊封面圖佔比降低了約60.6%，人均閱讀數、停留時長、點選轉化率等業務指標均正向提升。（資料來自業務A/B實驗）

　　番茄小說

　　1. 需求背景

　　相比於網文，漫畫的書封更加精美，資訊量也更多，因此在產品形態上，番茄小說頻道採用了大屏的展現形式。然而，在漫畫功能上線後，業務團隊發現，有部分漫畫的原始書封比較模糊，嚴重影響使用者瀏覽體驗。如下圖所示：　　

　　為了提升這部分圖片的畫質，業務團隊想到了透過畫質評估篩查低質圖片，使用畫質增強能力搭建自動化處理流程，針對性處理低質圖片，得到高畫質圖，以提升整體觀感。

　　2. 實踐方案

　　業務團隊使用veImageX畫質評估工具，針對出版物（如小說封面、插圖、電子書書封、有聲播放器封面等） 和漫畫（漫畫封面、橫圖等） 等場景進行離線畫質測評，對不同解析度圖片進行畫質摸底。根據對低質原因的分析和增強演算法對主觀畫質提升的收益大小綜合評估，明確差異化的處理方案。最終業務團隊選擇搭建自動化處理流程，根據評估結果對不同畫質等級的圖片進行如自適應增強、超分等最佳化處理，針對性提升使用者的畫質瀏覽體驗。

　　低質圖片最佳化前後對比如下：　　

　　3. 整體收益

　　番茄小說團隊藉助veImageX畫質評估和畫質增強能力，有的放矢的提升畫質，有效提升了使用者畫質體驗和點選率、人均閱讀/消費時長、留存等使用者消費指標。　　

　　幸福裡VR

　　1. 需求背景

　　幸福裡房產VR能力在建設初期，因素材供給來源多樣且渠道紛雜，質量良莠不齊，頻繁收到線上使用者反饋。為了保障使用者線上看房體驗，並縮小和行業領先水平的差距，業務團隊成立專項定位畫質問題並針對性地進行畫質最佳化。

　　2. 實踐方案

　　透過對線上樣本資料進行離線畫質摸底並綜合演算法專家建議，業務團隊最終選定清晰度（VQScore）、噪聲（Noise）、亮度（Brightness）、過曝光（Overexporsure） 等四項指標作為全景圖量化評估指標。評估發現精裝 、 簡裝 、毛坯等三種裝修型別存在顯著畫質差異，關鍵差異與環境光線、燈光照明等因素有較高關聯，業務團隊藉助veImageX 提供的VR畫質增強能力並針對性進行迭代最佳化，顯著提升了VR看房效果。

　　3. 整體收益

　　業務團隊透過畫質評估工具，定位具體的畫質問題，針對性進行迭代最佳化以縮小和行業領先水平的差距；同時藉助veImageX 提供的VR畫質增強能力，顯著提升全景圖畫質，階段性實現使用者0客訴，彌補了前端採集裝置質量參差等問題。

　　寫在最後

　　本文簡要介紹了抖音集團內部對畫質最佳化的業務思考、孵化歷程、應用場景和部分實踐經驗。由於篇幅所限，本文對探索歷程、具體實現等細節內容有所省略，但仍希望能給業內同仁們一點啟發或者參考借鑑。