網易易盾CTO朱浩齊：我們需要什麼樣的內容安全治理體系？

導讀：《網路資訊內容生態治理規定》正式實施前夕，《中國資訊保安》雜誌（以下將簡稱“雜誌”）向網易易盾CTO朱浩齊約稿，希望朱浩齊能從網易易盾治理和實踐出發，分享他在內容安全領域的認知。約稿的文章發表於雜誌2020第二期（見雜誌P73，標題為《構建全鏈路內容風控體系 解決內容安全難題》），後來文章也釋出在中國資訊保安官方微信公眾號上。出於希望能幫到更多的平臺更好的認知和做好內容安全，網易易盾公眾號重發此文，以下為詳細內容：

日前，國家網際網路資訊辦公室釋出了《網路資訊內容生態治理規定》（以下簡稱《規定》），以系統化思維和更為綜合的量化指標，豐富和完善了網際網路資訊內容標準，為網路資訊生態建設確立了基本的內容標準體系。隨著2020年3月1日《規定》實施日期的臨近，越來越多的內容平臺如臨大考，負責人不斷審視自身的內容生態治理體系，對平臺的內容安全能力是否合規進行考量。在此，筆者想透過這篇文章闡述：內容安全治理現狀、治理的難點以及什麼樣的內容安全體系才符合當下的治理要求。

一、內容安全治理現狀

近幾年，我國在內容安全治理方面呈現出以下幾個特點：

一是，監管部門覆蓋度廣、政策法規日趨完善。近幾年，各部門針對不同領域的規章制度頻發，例如《網路音影片資訊服務管理規定》、《未成年人節目管理規定》、《兒童個人資訊網路保護規定》、《中華人民共和國英雄烈士保護法》、《網際網路宗教資訊服務管理辦法》等，可以看出我國在網路內容治理方面的法律法規越來越完善。

筆者在此想特別強調一下法律法規下責任主體的問題。用一個場景舉例來說，某使用者在內容平臺發表了色情廣告資訊，使用者和內容平臺此時的行為都屬於違法行為，應該對這兩個主體都進行處罰，但從實際情況來看，對於使用者追責成本非常之高，所以在大多數內容違規事件上，一般只是對內容平臺進行了處罰。再舉另一個場景，某惡意使用者透過網路攻擊的方式篡改網站，併發布色情內容資訊，此時運營平臺不僅違反了內容管理的相關規定，同時依據《網路安全法》，運營方沒有落實好資訊系統保護的要求，對此也會給予一定的處罰。 

二是，針對性的專項治理行動非常密集。2019年內，相關監管部門發起的專項行動就有四次：

1、“護苗2019”專項行動：全國“掃黃打非”辦公室作出專門部署，於2019年3月至11月間大力組織開展“護苗2019”專項行動，旨在持續淨化社會文化環境。

2、“淨網2019”專項行動：全國“掃黃打非”辦公室於2019年3月至11月間大力組織開展“淨網2019”專項行動，旨在持續淨化社會文化環境。

3、“劍網2019”專項行動：是國家版權局等單位聯合開展的一項專題活動，旨在維護清朗的網路空間秩序，營造良好的網路版權環境。

4、網路音訊專項整治行動：國家網信辦會同有關部門於2019年年中開展網路音訊專項整治。目的是堅決有效遏制行業亂象，積極規範行業發展，促進網路生態持續向好。

以上兩個特點，表明了我國對於建設風清氣正的網路空間環境的決心。

二、內容安全治理的難點

即使在如此強的監管力度之下，違規內容還是層出不窮。主要原因是違規內容具有覆蓋場景多、資料變種多、對抗性強等。

1、覆蓋場景已經到了無孔不入的地步。新聞內容、使用者評論、使用者頭像、暱稱、看網劇彈幕，任何一個有內容釋出的場景都很難躲過違規內容的騷擾；

2、在各種場景裡，出現的違規資料種類和變種也非常之多。從最初的文字敏感詞，到現在的字型拆分、特殊符號混淆、以及圖片內嵌入違規內容等多種形式，最近一兩年在語音方面又多了一個ASMR（Autonomous sensory meridian response，自發性知覺經絡反應）的內容型別，夾雜著很多色情內容；

3、對抗性強，體現在違規內容的釋出上有一定的組織性和對抗性，以內容形式的變換和賬號的變化來對抗檢測或運營策略。

​

在此背景下，做好內容安全其實是一個比較困難的問題。

首先是成本投入，最主要的是人力成本和裝置成本。人力成本方面，當下網際網路用人成本很高，一個成熟的演算法專家年薪在50萬左右。而且整個體系需要的不僅是演算法人員，還有相關的運營專員、稽核專員、策略專員。如果配備完整，一年在人力方面的投入就會有上千萬。在裝置方面，現在影像處理所需要用到的GPU節點是比較大的開銷。 

其次，是資料積累和稽核經驗的壁壘。一個圖片檢測模型需要有幾萬甚至幾十萬的樣本資料，沒有一定的時間和渠道是無法完成這種樣本資料積累的。另外，稽核人員的經驗決定了主觀上的稽核效果和效率，完善的流程和制度是對效果客觀上的保障。稽核人員的經驗積累要靠不斷的學習和培訓，流程和制度則需要時間去制定和完善。

現在內容安全領域的黑灰產對抗非常激烈。拿國內某社交媒體平臺的現象舉例，以往的色情賬號會在各個熱點事件下直接釋出色情言論——直接給出色情網站，或者放出聯絡方式，這種形式比較容易被內容安全系統檢測和封號。現在對抗的形式，已經轉變為賬號頭像換成比較性感，但不屬於色情的圖片，發表的內容多是正常的評論，但個人頭像裡都是隱晦的色情引流資訊，以此來增強對抗性。

在這種強對抗的背景下，僅僅做內容的檢測是遠遠不夠的，不僅檢測效果差，還會留下許多死角，給業務帶來潛在的內容違規風險。我們認為，內容生態的治理不僅是對內容進行處理，還需要縱深的檢測防禦體系進行輔助。這是因為大多數的違規內容是非正常使用者釋出的，內容生態的治理是企業和黑灰產的直接較量，只做內容檢測手段過於單一，或落入疲於應對的局面。

因此，網易易盾面向自己的客戶推出了全鏈路內容風控體系。該體系在文字/圖片/音訊/影片內容檢測引擎的基礎上，融入了反作弊風控引擎和7*24H策略運營管家服務，在智慧內容檢測引擎精準確識別違規內容前提下，透過多維度使用者行為檢測，全面掌控每個可能影響內容風控的環節，從而降低內容安全風險。

網易易盾全鏈路內容安全風控體系

縱深防禦

全鏈路內容風控體系是易盾從源頭進行內容安全治理的具體體現，貫穿了使用者全生命週期的縱深防禦體系——從賬號註冊、登入、使用者行為、內容釋出以及登出。其背後，運用了多個技術對使用者進行畫像，包括人機識別、風險名單、IP畫像、裝置模型、行為模型、業務模型、關聯分析和規則系統等。

對於上面提到的技術，拎出驗證碼和反作弊單獨說明下。人機識別主要是透過驗證碼來提高黑灰產的攻擊成本，這塊不能用字元型驗證碼，因為早期的驗證碼非常容易被破解，利用OCR識別技術，即可批次化突破人機識別。網易易盾使用的是圖示點選、推理拼圖式的智慧型驗證碼，能獲取使用者的行為資訊和裝置資訊進行分析判斷。反作弊的分析，是包括了事前預防、事中檢測處置、事後分析回饋的三個環節，最後一個環節不容忽視，因為基於長週期的離線資料分析，能夠作用於事前風控和事中風控。

黑灰產的動機很純粹，即“獲利”，透過全鏈路內容安全風控體系，能提高黑灰產的攻擊成本，讓投入產出比不對等，從而放棄攻擊，轉戰其他平臺。

最後介紹下網易易盾，我們是國內領先的內容安全&業務安全服務商，依靠網易20多年豐富的安全經驗以及雲端計算、人工智慧方面的積累，面向數字化業務提供內容安全、業務安全、移動安全和網路安全服務，保障客戶業務合規、穩健和安全運營，免受黑灰產組織非法侵害，從而專注創新發展。

內容安全治理路上任重道遠，期望和各方攜手前行。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

若有需求，請長按識別上面二維碼，新增您專屬客戶經理的企業微信對接

點選免費試用網易易盾內容安全服務。