色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？

騰訊安全發表於2019-12-05
“道路千萬條，安全第一條，行車不規範，親人兩行淚”——這句話，出自科幻電影《流浪地球》，卻也恰巧概括出內容平臺的“辛酸經歷”。

從文字到圖片，從直播到短影片，多年來行駛在內容創作這條康莊大道上的“車輛”可謂形形色色。這其中，有一類“老司機”最讓人頭疼：

這些人，以打色情擦邊球為己任；在露與不露之間摩拳擦掌；為黃而不宣的內容“奮鬥”終生。

他們，可能是你平臺上的一個寫手，一個主播甚至一個配音師。這些老司機們在海量內容池中茁壯成長，你找不到、管不了也清不走。對平臺來講，這種感覺像極了一句話：

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？

直到在風和日麗的某一天，平臺被有關部門點名關懷乃至關停整改，才發現兩行淚也難掩此時的悲壯之感。

2018年，全國各地網信辦平均每月收到網民舉報的淫穢色情、詐騙資訊、垃圾（有害）資訊等高達304.6萬次，且不斷攀升，這都是內容風控所面臨的也是迫切需要解決的問題。

內容風控要做到準確、實時、批次的確不是件易事，隨著內容上雲，AI技術的廣泛應用，內容風控的新技術如何打破上述瓶頸？對於中小型企業和大型企業來說，怎樣的雲上內容管控方案才算適用？

帶著問題，雷鋒網邀請了騰訊安全內容風控專家 Lucas 進行一場關於內容安全的誠意問答。

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？

1、對平臺來說，內容風控為何如此重要？

Lucas：原因有三：

1.如果平臺沒有做好有害的內容識別，是需要負法律責任的：近期《關於辦理非法利用資訊網路、幫助資訊網路犯罪等刑事案件適用法律若干問題的解釋》出臺，進一步明確規定了平臺和產品在內容方面的義務與法律責任。


2.平臺中氾濫的有害內容會嚴重影響使用者的身心健康。

3.平臺如果放任有害內容的產生和傳播，必將導致劣質內容驅逐優質內容，降低平臺整體品質，從而導致使用者流失。

2、色情文字內容和網際網路一樣古老，風控平臺是如何準確識別出哪些文字內容在“開車”的？針對一些諧音、拼音之類的擦邊球文字如何準確識別？對於“嗯，嗯，嗯”“啊，啊，啊”這樣的擬聲字如何識別？

Lucas：文字是網路中最大的資訊載體，所有網際網路平臺都面臨文字安全風控的問題。色情文字中存在一些明顯特點，比如變異字干擾、形近字拆字干擾、同音字干擾。

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？ 
▲垃圾文字透過變異干擾躲避傳統的有害文字風控模型

針對這類文字的特點，單靠抗干擾能力弱、策略更新滯後的文字策略無法滿足對抗的需求，需要透過文字策略+演算法模型相結合的方式來提升整體識別的召回率和準確率。


文字分類演算法選擇與模型訓練

對比典型的TextCNN、RNN、FastText等文字分類演算法，其中TextCNN的模型複雜度低、推理速度快、抗干擾性強且對詞順序不敏感等特點，適合於短文字高對抗的場景；在模型訓練中透過以下手段來進一步提升模型的識別效果：

1. 基於字元、拼音的Word2Vec來豐富詞的語義資訊，可以有效解決同音字問題；

2. 資料增強，對訓練樣本中的高頻詞做拆字，比如針對“加微”這個詞分別補充“+V”“+威”等用於訓練來提升模型的抗干擾能力。3. 基於靜態詞向量與動態詞向量相結合的方法，比如在不同場景的大規模語料上分別預訓練靜態詞向量，捕捉詞的多場景語義資訊，從而降低因訓練資料過少導致的過擬合風險。

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？ 
▲短文字型別模型與訓練流程
色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？ 
▲騰訊安全天御內容風控文字安全的打擊效果

3、色情圖片可能是流傳最廣泛，傳播最速度的色情資訊內容了，我們知道對於機器來說，識別色情圖片門檻很高，企業應該如何處理？

Lucas：圖片是網路上僅次於文字的第二大資訊形式，幾乎任何網際網路平臺都要面臨圖片中存在的色情、低俗等問題。

我們把色情低俗等圖片大致分為兩類過濾情況：

存在具象的有害元素：例如露點、性行為等，經典的影像分類/目標檢測演算法就適用於這類情況，此時演算法的挑戰在於元素型別眾多、而且有害元素在畫面中的比例未必是顯著的。針對這種情況透過Attention技術，可以讓模型更關注到特定元素而“忽視”無關痛癢的其他畫面元素，例圖中的輸出圖片是熱力圖，從中可以看出模型對漏溝資訊的反應最為明顯，說明模型判斷這是一張低俗圖的主要原因在於它發現了‘漏溝’這一概念。

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？

▲透過Attention技術讓模型更關注特定元素


抽象的概念：人類判斷一張圖是否是有害是基於畫面的具體元素結合生活經驗的結果，與針對特定元素的識別的影像感知相比，大量隱晦圖片（如性挑逗、性誘惑）把問題上升到了影像認知的層次；影像多標籤識別技術可以實現輸入一張圖片輸出一組標籤，為影像認知提供基礎語義支撐，建立在多標籤基礎上再構建上層模型才有可能使機器做到類似人類“影像認知”的效果。這裡的演算法挑戰在於需要積累大量的訓練資料覆蓋形形色色各類標籤，而且真實世界分佈中的標籤的比例往往嚴重不平衡，如何既支援大量的標籤類別又應對標籤不平衡問題而且還要保持最終的識別指標是一項技術挑戰；針對這種情況，騰訊安全天御內容風控採用標籤級動態取樣方式，設定ignore label抑制高頻標籤，降Loss反向傳播權值，可以有效提升低頻標籤召回率提升，進而提升整體的識別效果。

4、除了文字和圖片兩大類載體之外，直播、短影片也在高速的發展，針對影片要求內容風控做出怎樣的應對？如果一支影片畫面正常，但播放中出現了“嬌喘聲”“呻吟聲”，騰訊安全可以識別到麼？

Lucas：2016年直播迅速崛起，到近年短影片飛速發展，都是以影片的方式吸引大量網民的眼球，相對文字圖片靜態內容，針對直播和短影片的內容風控除了可以從影片中抽幀做圖片有害內容識別之外，還有更多的挑戰：

實時性：直播作為實時流，主播在直播的同時就有數百萬甚至千萬的粉絲在觀看節目，所以對風控的演算法模型響應速度要求特別高，一般需要在500ms以內完成色情、低俗、是否本人等多項檢測，並將異常的情況通知平臺進行處理。

效能要求：以1分鐘的短影片為例，如果按照100ms間隔抽幀，完成一個短影片需要識別600張圖片，序列處理大概需要5分鐘，而這往往無法滿足使用者及時上傳及時分享的需求；因此需要加速影片檢測的速度，除了透過增加機器提升並行處理速度外，可以在截圖的時候使用後幀關聯識別來做跳變抽幀的方式來減少抽幀總量但又不漏過影片中的關鍵幀資訊來減少圖片識別的總量。目前騰訊安全在影片檢測中利用騰訊雲的資源彈性伸縮，並使用跳幀識別的方式1分鐘的影片，最快10s即可鍾完成檢測。

音訊檢測：影片中除了畫面存在有害資訊之外，還有可能出現音圖無關現象，比如直播畫面正常但是音訊卻涉黃了，因此除了截圖識別外還需要提取音訊內容做呻吟聲等識別。完整的音訊檢測流程包括a）VAD 做靜音檢測，去掉靜音內容，同時將音訊分段；b)提取音訊特徵 MFCC/Fbank等；c) 在通用模型上（基於GMM 或者TDNN）提取能夠表徵該段音訊內容的特徵（embedding）；d)透過特定的後端分類器得到每段音訊的識別結果；e)根據每個片段的得分和時長，根據業務需要，彙總得到整條語音內容的識別結果和置信度。

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？ 
▲騰訊安全-色情音訊識別效果

5、這些技術，在平臺眼中都適用嗎，對於中小型企業和大型企業來說，選擇的內容風控方案是否一致？

Lucas：如前文所介紹的針對文字、圖片、影片（音訊）都有不同的演算法（比如TextCNN、BERT、多標籤識別、Attention技術以及音訊中的TDNN和i-vector），不同規模的企業中選擇的技術可能大同小異，但是在風控系統的設計和實踐中會出現較大的差異，最終產生的效果出現比較大的偏差。內容的對抗是一個持續的過程，線上一成不變的演算法模型可以解決一時的問題不能解決各種黑產的攻擊與繞過，因此針對線上識別系統之外我們還需要一套主動收集漏過資料補充線上模型流程：

1. 獲取被線上模型識別為有害的內容以及使用者舉報的有害內容所關聯的號碼

2. 提取號碼的文字內容做文字聚類（TF-IDF、DBSCAN、分層聚類）
3. 提取聚類特徵訊息平均長度（號碼資訊熵、IP資訊熵、地址資訊熵）
4. 透過XGBoost輸出異常分類並給到人工標註來挖掘漏過樣本

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？ 
▲完整的垃圾文字過濾系統

同理針對圖片、影片、音訊的檢測系統也少不了主動收集漏過資料的流程；除此之外的內容風控系統還必須具備彈性的處理能力來滿足業務的需求，以及針對不同的場景做精細化的檢測的能力。所以針對中小企業來說我們更建議選擇成熟的雲上內容風控方案，來降低企業自身的人力、物力的持續投入而專注於內容本身的運營；而針對大型的企業來說由於面臨的風險也更大，除了可能自建設內容風控系統之外也可以接入雲上內容風控能力來補充提升自身的不足。

6、從實際效果來看，應用了內容風控解決方案能否實現“降本增效”，為企業降低成本？

Lucas：目前騰訊安全天御內容風控系統已經透過騰訊雲和小程式開放平臺服務數萬客戶，透過我們的內容風控的系統可以從兩個方面來實現“降本增效”:


降低開發成本，一鍵接入

目前騰訊安全天御的內容風控系統已經跟騰訊雲的產品有機的結合起來，如果企業已經使用了雲通訊、點播、物件儲存（COS）、直播等產品，那麼無需開發就可以接入到我們的內容風控，我們識別到有害內容之後將主動通知企業進行處理。

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？ 
▲騰訊安全天御內容風控系統與騰訊雲有機結合


降低20%~80%的成本

隨著內容風控系統不斷的提升檢測的效果，企業在對“鑑黃師”的人力投入也在持續降低，不同規模的企業能夠降低原有20%~80%的成本。大量此前曾經需要很多人力投入才能解決的工作，現在可以交給系統來完成，企業可以將人力集中於內容風控系統檢測之後的複核以提升風控效果，更大程度的避免有害內容帶來的風險，也可以將人力投入到其他業務的創新和生產當中，為企業創造更多的價值。

色情/性感如何區分，怎樣的風控能力能防止“平臺兩行淚”？ 
▲騰訊安全天御內容風控的效果

7、未來內容把控的發展方向為何？對於VR、AR、5G等新技術的落地，企業將面臨哪些新的內容風控問題？

Lucas：內容風控的核心是識別文字、圖片、影片、音訊中的有害內容，現階段的識別還離不開“鑑黃師”的輔助，我們需要持續將識別做到精細化來滿足不同場景的需求，同時不斷提升召回率和準確率來釋放“鑑黃師”的投入從而降低企業的成本。

目前內容風控對抗的主要是使用者產生的內容，不管是使用者自拍還是專業拍攝，其內容的創作都是有一定成本的，隨著透過生成對抗演算法產生的文字、圖片、影片、音訊開始傳播起來，其創作的成本更低廉可能更具有傳播性，那麼內容風控所需要面對不僅僅是人產生的內容，也包括機器自動生成的各式各樣的內容。

隨著5G等技術的落地，VR、AR可能重新火熱起來，也會帶來新的內容形式，但是內容風控的本質不會變，只要我們在內容的生產、儲存、傳播三個環節做好內容風控，必將可以更優的姿勢迎接內容井噴式發展的到來。

相關文章