智慧時代的內容安全，易盾是如何落地的？

本文來自：雷鋒網

作者：靈火K

1999年，出於對網易內部產品安全保護的需求，網易成立了安全部，那時候饒曉豔還沒有加入網易，而網易易盾更是還沒“出生”。當時的她不會想到，17年後的自己將與網易易盾結緣。

“那會兒，人們對於網路安全還沒有概念，更沒人知道什麼是內容安全。很長一段時間裡，網易安全部僅僅是支撐和保障內部多款億級使用者產品安全的。”

2016年，中國網民規模達6.68億，卻有55.18%的網民曾遭遇網路詐騙；83.48%的網民網上支付行為存在安全隱患。顯然，網際網路時代的飛速發展越來越多的網路安全問題日益突顯出來。

大背景下，眾多內容安全問題也相繼浮出水面——包括入口網站、社群論壇、社交平臺、短視訊在內的479萬家網站輸出了海量UCG內容。以2017年8月來看，全國各地網信辦受理網民舉報386萬件；廣告資訊佔比最高71.8%。隨著國家對於內容安全監管力度的持續加大，行業急需可行方案來解決這“疑難雜症”。

2016年時，網易安全在網際網路界已是17歲“高齡”了。正值“老當益壯”的網易安全決定把其自身的技術沉澱和實踐雲化並對外提供服務，從而推出了——“網易易盾”這個品牌，內容安全是其主打的產品服務。

也正是在網易安全能力商業化的前夕，饒曉豔加入了網易易盾團隊。接下來的三年，饒曉豔見證了網易易盾品牌誕生和內容安全成為領域弄潮者的過程，也深刻認識到20多年技術積累的重要性。

網易易盾產品總監饒曉豔

追憶網易易盾的成長

看一個事物，人總是喜歡問這樣一個終極問題：“你是誰，你從哪裡來？又要到哪裡去？”如果談網易易盾，也繞不開這些。

易盾的內容安全服務，實際上是源於網易安全部支撐內部多個億級使用者的內容型產品的技術專案，在2016年網易安全部正式把對內的服務商業化，對外提供服務，品牌定為“易盾”。

經過短短三年的發展，網易易盾第三代內容安全服務提供鑑黃、涉政、暴恐、廣告等數十大類近千小類的有害內容智慧識別過濾服務，智慧識別精準率超過99.8%，每天檢測資訊上十億條，服務網際網路企業數千家。作為國內最早把內容安全作為一個品類單獨對外提供服務的雲服務（市場初期有“資訊過濾”、“敏感詞過濾”、 “反垃圾”等五花八門的稱呼，後都改為“內容安全”），網易易盾其知名度和市場佔有率，在行業內領先。

想必很多人都好奇一點，原本好好對內提供服務的安全業務，基於什麼契機把它商業化？時間點上，為什麼是2016年？

網易易盾產品總監饒曉豔說，主要是四個方面，簡單來講：一個是法律法規的完善和人們對內容安全的意識覺醒；另外個是海量的內容遇上資訊的實時傳輸和傳播，使得過去人工的稽核方式適應不了時代的要求；再一個是雲端計算的流行和人工智慧技術的逐步成熟，使得內容安全能夠作為一個商業化專案去運作；而更重要的一點則是，內容安全在網易內部已經很成熟了，由於服務了包括網易新聞、網易Lofter、網易雲音樂等多款使用者過億的產品，“反垃圾”經驗和資料也積累了將近20年，效果經歷了實踐驗證。

20年裡，從專案誕生到成為內容安全行業內的領先者，網易易盾的內容安全服務一共經歷了三次大的技術進化：

第一代內容安全技術是建立在關鍵詞、黑白名單、過濾器和分類器上；
第二代內容安全技術基於內容特徵識別（膚色、紋理）、貝葉斯過濾、相似度匹配和規則系統；
第三代則升級為大資料分析（使用者行為、使用者分類）、人機識別、人工智慧和機器學習（語義識別、影像識別）。

在這次長達兩個小時的採訪中，饒曉豔——這位易盾商業化產品的“操盤手”和雷鋒網分享了，從產品角度易盾內容安全服務所經歷的四個歷史階段：

純文字垃圾階段。饒曉豔稱：“在網際網路不是很發達的早期，網易易盾的內容安全服務只對內服務，當時主要以篩選文字垃圾的功能為主，使用了關鍵詞、黑白名單、過濾器和分類器等實現垃圾文字的過濾。”

圖文垃圾階段。在移動網際網路開始發展前後，內容傳播的形式更加豐富。“圖片垃圾是內容安全治理的‘重災區’。此外，文字垃圾也不僅僅侷限在關鍵詞監測的階段，大量的變種文字垃圾為其篩選、處理有害內容的能力提出更高要求。”

團伙作案階段。饒曉豔表示：“在這個階段，由於多媒體方面的內容在不斷增加，對於分發垃圾的人來說已經不再是原來的單一個體，而是逐漸形成了有組織的黑灰產產業鏈。這種團伙作案方式會讓圖文、視訊的傳播增速，並且具備較強的目的性。”

在這樣的背景之下，內容安全監測不光是對有害內容進行檢測，同時還要對使用者行為進行分析。與此同時，圖文有害資訊再次升級，很多有害內容通過P圖、旋轉、剪下、水印圖等方式企圖逃過網易易盾的篩選機制。

融媒體實時檢測階段。最近幾年，直播、短視訊是最流行的內容傳播方式之一，對於一些實時性較強的有害資訊的檢測顯得尤為重要。

饒曉豔稱：“而這對於內容安全處理技術要求更高。尤其是這兩年，包括《網路表演經營活動管理辦法》、《網際網路直播服務管理規定》、《網路短視訊內容稽核標準細則》和《網路短視訊平臺管理規範》等法律法規完善，內容安全領域對於違規的定義越來越細化。比如對於直播而言，加入了類似‘主播吃香蕉’這種相對抽象的低俗內容定義，這就要求網易易盾將色情內容檢測的模型拆分的更細，這個階段，網易易盾的內容安全服務開始向精細化方向發展。”

AI賦能

法律法規的完善、圖文/視訊變種的層出不窮以及直播行業的興起，推動著網易易盾不斷結合實際場景推出新的技術解決方案。

“沒有什麼是技術不能解決的。”值得慶幸的是，網易本身作為內容擁有者，以及20多年的資料和技術沉澱，為網易易盾提供了一個龐大的訓練用資料庫，這也是網易易盾所擁有的天然優勢。在饒曉豔看來，解決上述內容安全的難題在於如何結合人工智慧技術快速實現有害資訊的識別與篩選。

她從三個層面進行了解釋：

首先，如何在一段短視訊或一張圖片中識別出‘主播吃香蕉’這個行為？饒曉豔分析道：“在這之前，我們並不把此類行為定義為色情，現在我們需要教會網易易盾的技術判定‘主播+香蕉=低俗’，然後讓機器在資料庫中進行大量訓練來強化這一判斷標準。”

饒曉豔告訴雷鋒網，這樣的訓練一開始識別率是相對比較低的，好在網易易盾有專門的法律法規研究團隊（內部崗位名稱叫“政策法規研究員”）、輿情分析團隊，再配合關鍵特徵提取和識別訓練，之後這一細分部分的識別能力上才得到很大提升。

其次，音訊監測傳統手段是採用把音訊語音轉成文字，然後再結合文字來篩選出其中的有害資訊。但隨著形態的發展，開始出現一些帶有色情的音訊，比如短視訊的呻吟聲或者嬌喘聲，以及ASMR場景下的違規音訊。這是用傳統手段無法識別的，對此網易易盾又進行了技術迭代，使用了聲紋檢測技術，並在內容安全類目上新增了嬌喘呻吟類。與此同時，為了更好的服務內容平臺，易盾還提升了語種識別準確率，支援英語、泰語、印尼語等；此外，易盾也積極研究各個國家政策法規，以及響應客戶各種新的需求，不斷完善自身的內容安全標準。

最後，饒曉豔提及：“人工智慧技術並非萬靈藥，面對實時性直播和短視訊，機器檢測還需要人工輔助。而為了補充此空缺，網易易盾在2017年研發並推出了短視訊電視牆稽核方案，技術和人工共力的方式，去解決當時在直播和短視訊中出現的“秒露”問題。

網易易盾短視訊電視牆服務是針對點播視訊的高效稽核服務，可廣泛應用於各類短視訊、長視訊的稽核。雷鋒網得知，易盾的短視訊電視牆可靈活配置進審範圍、同時稽核的路數，可按照機器疑似度或進審時間排序等。進審視訊全視訊流展示，針對秒級或幀級出現的違規鏡頭，可做到風險“0”漏過。而當某個短視訊熱度突然上升，其彈幕數增加等多維資料發生異常時，該短視訊就會被納入到重點監控名單裡，進入到人工輔助稽核的步驟，稽核人員可準確定位疑似時間戳，快速發現問題視訊。

饒曉豔稱：“經過不斷髮展，現階段人工智慧已全面賦能網易易盾的內容安全產品處理渉政暴恐、色情低俗等數十大類近千小類的業務，實現了文字、圖片、音訊、視訊等品類的全覆蓋，針對直播、短視訊、政企、社交、金融、遊戲和媒體等行業，易盾還推出一站式安全解決方案。”在實際應用場景中，饒曉豔表示，有客戶反饋易盾雖然不一定是最便宜的，但效果、價格以及服務及時性、業務場景的覆蓋等維度綜合起來，網易易盾是綜合效益最好的。

值得一提的是，在產品和技術不斷進化的過程中，網易易盾實驗室2018年還研發出了一種對多視角多模態特徵資訊進行有效融合的自編碼器神經網路，在準確率、NMI、Purity、ARI等各項效能指標上，較當下多項國際先進的多視角多模態資訊融合技術有顯著性的領先。

這是什麼技術呢？可以這麼理解：傳統的自編碼器神經網路技術只能“摸”出美女的頭、腿、身子等部分，卻無法全面還原其出一個真實的美女。上述技術則能夠對資料的多視角、多模態特徵進行綜合提取和有效融合，能把這個美女完整、客觀的呈現出來。

“第三方”這條路，不好“走”

在內容安全服務整個商業化過程中，網易易盾遭遇很多挑戰。除了上面提及的困難外，饒曉豔后來又提及兩大塊：一個是市場培育問題，另外一個是內容安全越來越精細化，特徵提取難。

2016年，饒曉豔在安全部處在商業化階段的大背景下加入了正在孕育的網易易盾團隊，負責商業化產品的落地。她回憶，當時客戶的意識還沒覺醒，他們沒意識到還可以尋找專門的第三方服務來解決內容安全的問題，從而擺脫人力成本上的桎梏。

而彼時，國外已經誕生了Mollom、WebPurify、Sightengine等第三方反垃圾服務。儘管網易易盾在國內推出了內容安全服務，併成長為一個值得信賴的平臺，但客戶卻沒有這個意識——去接入第三方專業的服務。與此同時，也有些偏事業型政府企業，接受不了雲服務，有各種顧慮；再加上他們的決策流程也非常長，很難“啃”下來。

後來，隨著易盾不斷投入資源進行市場培育，雲端計算趨勢的流行、內容安全意識的強化、法律法規的完善，以及易盾不斷提供新的解決途徑和方案，這塊問題最終得到解決。

談到第二個挑戰時，饒曉豔表示，現在客戶要求不僅高，精細度也越來越細了，細化到一個圖片、一段視訊裡面的某一個動作、神態，甚至有的會要求綜合性地去分析某個直播，裡面的主人公是怎麼樣的一個人……

“技術同事經常對產品說，沒有什麼是技術不能解決的。”但饒曉豔指出，在產品落地上卻不是這樣，因為內容安全標準的提煉存在挑戰。就比如說露乳溝、露大腿，到底到什麼程度才算是低俗？主播舔東西到什麼界限，才觸達“違規”標準……這些的這些，都需要去界定和特徵提煉。

後來網易易盾成立了易盾實驗室，基於得天獨厚的自身內容型資料和服務數千家客戶的積累，從輿情、策略分析、運營規則、標註以及人工智慧等領域不斷深入、打磨，把標準層面的東西一點點確定出來。在這個過程中，易盾還把主播嚼冰塊、露大腿等不違規，但和色情擦邊的行為提取特徵，訓練模型實現“命中”，並在內容系統後臺中提交給客戶，由客戶決定到底要不要刪除……這些是易盾實驗室整合科研資源和資料積累的力量。

也正是易盾商業化產品落地的經歷和各種挑戰，讓饒曉豔對於中小企業是否自建內容稽核系統上，深有洞察，也頗具發言權。

她旗幟鮮明地說，非常不建議中小企業建設內容安全服務。對於自己的觀點，她給出了三個理由：

首先，內容安全系統並不好開展，主要是因為其海量的資料往往只有BAT這類的大公司才有——尤其是和內容型相關的資料，這就導致開發出來的系統往往效果不好，對內容安全問題“後知後覺”。

其次，內容安全團隊一旦組建運作，對於中小企業來說是一個無底洞。隨著業務和形態的發展，以及黑灰產攻防的升級，需要不斷投入大量人力、物力。而即使其兩者都能滿足，其是否有足夠量級的模型庫用於訓練，訓練後效果能否達到預期？在資料之外，又涉及到另外一個難題——中文博大精深，雙關、同音字、多音字等都比較複雜，中文的文字結構與語義複雜性使得垃圾資訊與衍生格式變化多端。饒曉豔指出，這並不是有些人口中所說的“不就是演算法的問題嘛”。

最後，國內對於色情內容的界限相對模糊，鑑黃的難度也隨之增加。正如上面提到“美女吃香蕉”的案例，如何在有效篩選黃色內容的同時，又不影響內容平臺的正常運營？顯然，業務的發展和內容稽核之間的這個度很難把控，如果不在這塊下足功夫，中小企業研發或安全部門往往會落下個出力不討好的壞名聲——做的好，沒你的事；一出事故，就背鍋。

“我不建議中小企業自建內容安全團隊，其遠沒多數公司想象的那麼容易。有些事看似簡單，但做起來卻十分不容易。”這位網易易盾產品總監最後點評到。

雷鋒網得知，網易安全部之所以成立內容安全團隊，起初其實也是迫於無奈。在那個連網路都稱不上流行的年代，沒有一家廠商可以幫助網易完成有害內容的稽核。憑藉20多年的技術沉澱，網易易盾依託其海量的雲端計算資源、特徵庫以及創新技術成果，才得以在數年間就在內容安全領域取得弄潮者地位。

尾聲

對於當下很多人提及的網際網路寒冬，雷鋒網問及是否會對易盾的業務擴充造成影響，饒曉豔表示，她不這麼看，覺得反而是一個機會：“在所謂的網際網路寒冬悲觀預期下，有些企業會更加關注成本核算，在很多業務上會關注投入產出比，這會促使一部分企業在採用第三方內容安全服務上採取積極態度，而易盾有信心也有實力去獲取這部分使用者。”

從整個行業來看，網易易盾開創了內容安全的品類、參與內容安全行業標準的起草，推動內容安全行業的發展，那網易易盾在2018年，又完成了哪些進化？

饒曉豔總結到，如果把2016、2017兩年定義為產品體系和服務建立和完善的階段，那麼2018年，她則認為是場景化解決方案落地和多業務融合聯動的一年。“易盾還有業務安全、移動安全和網路安全，我們融合在一起，提供了一站式解決方案。”她接著指出，2018年也是易盾開始出海，走向世界舞臺的一年，易盾向東南亞地區也提供了內容安全服務，為出海企業提供內容安全保障。

對於未來，饒曉豔說，網易易盾的內容安全服務將在戰略上向著場景化、精細化、智慧化三個大方向不斷深化，“希望我們的努力，能夠解除一些網際網路產品深受有害內容的困擾，維護他們的產品口碑，為營造風清氣正的網際網路環境貢獻一份力。”