產業安全專家談｜色情/性感如何區分，企業應該如何做好內容風控？

3、色情圖片可能是流傳最廣泛，傳播最速度的色情資訊內容了，我們知道對於機器來說，識別色情圖片門檻很高，企業應該如何處理？

Lucas：圖片是網路上僅次於文字的第二大資訊形式，幾乎任何網際網路平臺都要面臨圖片中存在的色情、低俗等問題。

我們把色情低俗等圖片大致分為兩類過濾情況：

存在具象的有害元素：例如露點、性行為等，經典的影像分類/目標檢測演算法就適用於這類情況，此時演算法的挑戰在於元素型別眾多、而且有害元素在畫面中的比例未必是顯著的。針對這種情況透過Attention技術，可以讓模型更關注到特定元素而“忽視”無關痛癢的其他畫面元素，例圖中的輸出圖片是熱力圖，從中可以看出模型對漏溝資訊的反應最為明顯，說明模型判斷這是一張低俗圖的主要原因在於它發現了‘漏溝’這一概念。

透過Attention技術讓模型更關注特定元素

抽象的概念：人類判斷一張圖是否是有害是基於畫面的具體元素結合生活經驗的結果，與針對特定元素的識別的影像感知相比，大量隱晦圖片（如性挑逗、性誘惑）把問題上升到了影像認知的層次；影像多標籤識別技術可以實現輸入一張圖片輸出一組標籤，為影像認知提供基礎語義支撐，建立在多標籤基礎上再構建上層模型才有可能使機器做到類似人類“影像認知”的效果。

這裡的演算法挑戰在於需要積累大量的訓練資料覆蓋形形色色各類標籤，而且真實世界分佈中的標籤的比例往往嚴重不平衡，如何既支援大量的標籤類別又應對標籤不平衡問題而且還要保持最終的識別指標是一項技術挑戰；針對這種情況，騰訊安全天御內容風控採用標籤級動態取樣方式，設定ignore label抑制高頻標籤，降Loss反向傳播權值，可以有效提升低頻標籤召回率提升，進而提升整體的識別效果。

4、除了文字和圖片兩大類載體之外，直播、短影片也在高速的發展，針對影片要求內容風控做出怎樣的應對？如果一支影片畫面正常，但播放中出現了“嬌喘聲”“呻吟聲”，騰訊安全可以識別到麼？

Lucas：2016年直播迅速崛起，到近年短影片飛速發展，都是以影片的方式吸引大量網民的眼球，相對文字圖片靜態內容，針對直播和短影片的內容風控除了可以從影片中抽幀做圖片有害內容識別之外，還有更多的挑戰：

實時性：直播作為實時流，主播在直播的同時就有數百萬甚至千萬的粉絲在觀看節目，所以對風控的演算法模型響應速度要求特別高，一般需要在500ms以內完成色情、低俗、是否本人等多項檢測，並將異常的情況通知平臺進行處理。

效能要求：以1分鐘的短影片為例，如果按照100ms間隔抽幀，完成一個短影片需要識別600張圖片，序列處理大概需要5分鐘，而這往往無法滿足使用者及時上傳及時分享的需求；因此需要加速影片檢測的速度，除了透過增加機器提升並行處理速度外，可以在截圖的時候使用後幀關聯識別來做跳變抽幀的方式來減少抽幀總量但又不漏過影片中的關鍵幀資訊來減少圖片識別的總量。目前騰訊安全在影片檢測中利用騰訊雲的資源彈性伸縮，並使用跳幀識別的方式1分鐘的影片，最快10s即可鍾完成檢測。

音訊檢測：影片中除了畫面存在有害資訊之外，還有可能出現音圖無關現象，比如直播畫面正常但是音訊卻涉黃了，因此除了截圖識別外還需要提取音訊內容做呻吟聲等識別。完整的音訊檢測流程包括a）VAD 做靜音檢測，去掉靜音內容，同時將音訊分段；b)提取音訊特徵 MFCC/Fbank等；c) 在通用模型上（基於GMM 或者TDNN）提取能夠表徵該段音訊內容的特徵（embedding）；d)透過特定的後端分類器得到每段音訊的識別結果；e)根據每個片段的得分和時長，根據業務需要，彙總得到整條語音內容的識別結果和置信度。

 

5、這些技術，在平臺眼中都適用嗎，對於中小型企業和大型企業來說，選擇的內容風控方案是否一致？

Lucas：如前文所介紹的針對文字、圖片、影片（音訊）都有不同的演算法（比如TextCNN、BERT、多標籤識別、Attention技術以及音訊中的TDNN和i-vector），不同規模的企業中選擇的技術可能大同小異，但是在風控系統的設計和實踐中會出現較大的差異，最終產生的效果出現比較大的偏差。內容的對抗是一個持續的過程，線上一成不變的演算法模型可以解決一時的問題不能解決各種黑產的攻擊與繞過，因此針對線上識別系統之外我們還需要一套主動收集漏過資料補充線上模型流程：

1. 獲取被線上模型識別為有害的內容以及使用者舉報的有害內容所關聯的號碼；

2. 提取號碼的文字內容做文字聚類（TF-IDF、DBSCAN、分層聚類）；

3. 提取聚類特徵訊息平均長度（號碼資訊熵、IP資訊熵、地址資訊熵）；

4. 透過XGBoost輸出異常分類並給到人工標註來挖掘漏過樣本。

 

同理針對圖片、影片、音訊的檢測系統也少不了主動收集漏過資料的流程；除此之外的內容風控系統還必須具備彈性的處理能力來滿足業務的需求，以及針對不同的場景做精細化的檢測的能力。所以針對中小企業來說我們更建議選擇成熟的雲上內容風控方案，來降低企業自身的人力、物力的持續投入而專注於內容本身的運營；而針對大型的企業來說由於面臨的風險也更大，除了可能自建設內容風控系統之外也可以接入雲上內容風控能力來補充提升自身的不足。

6、從實際效果來看，應用了內容風控解決方案能否實現“降本增效”，為企業降低成本？

Lucas：目前騰訊安全天御內容風控系統已經透過騰訊雲和小程式開放平臺服務數萬客戶，透過我們的內容風控的系統可以從兩個方面來實現“降本增效”:

目前騰訊安全天御的內容風控系統已經跟騰訊雲的產品有機的結合起來，如果企業已經使用了雲通訊、點播、物件儲存（COS）、直播等產品，那麼無需開發就可以接入到我們的內容風控，我們識別到有害內容之後將主動通知企業進行處理。

 

隨著內容風控系統不斷的提升檢測的效果，企業在對“鑑黃師”的人力投入也在持續降低，不同規模的企業能夠降低原有20%~80%的成本。大量此前曾經需要很多人力投入才能解決的工作，現在可以交給系統來完成，企業可以將人力集中於內容風控系統檢測之後的複核以提升風控效果，更大程度的避免有害內容帶來的風險，也可以將人力投入到其他業務的創新和生產當中，為企業創造更多的價值。

 

7、未來內容把控的發展方向為何？對於VR、AR、5G等新技術的落地，企業將面臨哪些新的內容風控問題？

Lucas：內容風控的核心是識別文字、圖片、影片、音訊中的有害內容，現階段的識別還離不開“鑑黃師”的輔助，我們需要持續將識別做到精細化來滿足不同場景的需求，同時不斷提升召回率和準確率來釋放“鑑黃師”的投入從而降低企業的成本。

目前內容風控對抗的主要是使用者產生的內容，不管是使用者自拍還是專業拍攝，其內容的創作都是有一定成本的，隨著透過生成對抗演算法產生的文字、圖片、影片、音訊開始傳播起來，其創作的成本更低廉可能更具有傳播性，那麼內容風控所需要面對不僅僅是人產生的內容，也包括機器自動生成的各式各樣的內容。

隨著5G等技術的落地，VR、AR可能重新火熱起來，也會帶來新的內容形式，但是內容風控的本質不會變，只要我們在內容的生產、儲存、傳播三個環節做好內容風控，必將可以更優的姿勢迎接內容井噴式發展的到來。