網易雲易盾CTO朱浩齊：我們是如何用AI賦能內容安全？

5月19日，LiveVideoStack攜手網易雲易盾，共同打造了“娛樂多媒體開發應用實踐”專題，幫助開發者和泛娛樂平臺運營人員，提升技術能力，突破難點，擴充思路與視野。

網易雲易盾CTO朱浩齊表示，人工智慧技術已經在易盾的產品中得到充分應用

在專題論壇中，網易雲易盾CTO朱浩齊分享了《AI賦能的內容安全技術實踐》主題內容，從策略、技術、產品三個方面，詳細介紹了網易在內容安全系統構建方面的實踐經驗，包括如何建立對有害資訊精細明確的稽核體系和應急響應機制，如何採用基於自然語言、深度學習技術的智慧識別技術，保證對文字、圖片、語音，特別是直播視訊內容的全面精準覆蓋等等。

內容安全行業現狀：有害資訊的持續性遞增

2017年全球網民34億，網際網路普及率46%；全球智慧手機保有量28億；2016年網際網路佔據了中國使用者55%的媒體時間；移動網際網路使用時長超過電視......這些數字都在表明，網路直播的變現能力已遠遠超過遊戲、電視等其他媒體。

朱浩齊表示，網際網路進一步滲透人們生活各個角落的同時，也還帶來有害資訊的持續性遞增——各種違法和不良資訊的舉報量居高不下，甚至引起了國家戰略層面的關注。

沒有網路安全，就沒有國家安全，更不能讓網際網路成為傳播有害資訊、造謠生事的平臺。因此，近年來，各種處罰案例也是不勝列舉。

這位網易雲易盾CTO列舉到：2017年4月18日，北京市網信辦、公安局文化場行政執法總隊聯合約談今日頭條、火山直播、花椒直播；2017年4月底，國家新聞出版廣電總局責令騰訊整改微信公眾號、移動客戶端播放視聽節目；2017年6月22日，廣電總局責令關停新浪微博、AcFun、鳳凰網等站的視訊服務；2017年7月，bilibili大量劇集被下架；2018 年4月6日；為了配合廣電總局的整改，快手擴容自己內稽核團隊；2018 年4月8日，廣電總局責令今日頭條永久關停“內涵段子”等低俗視聽產品......可以說，行業進入了強監管時代。

“對於企業來說，內容安全更是成為了刻不容緩的生死命題。”朱浩齊舉例稱，今年4月，文化部和旅遊部公開檔案顯示已排查4939 款直播應用，下架370款。“所以，多款直播應用平臺都選擇了加大稽核力度和人工投入。”例如，快手釋出招聘顯示將稽核人員規模擴充到5000人，月薪4000-9000元；今日頭條也表示近期將擴充到6000人稽核團隊，預期到達10000人......

朱浩齊認為，網際網路直播平臺的內容安全給企業帶來的挑戰遠不僅如此，在成本、效果、技術上，各種挑戰維度都在不斷升級，更是給企業帶來了極大的困難。

網易雲易盾如何在技術層面提供安全防護？

分享完嚴峻的形勢後，朱浩齊和大家談了下擁有20年技術沉澱的網易雲易盾是如何做內容安全的。

他說，易盾在內容安全上，一共經歷了三個階段：

• 階段一：關鍵詞、黑白名單、過濾器；
  
• 階段二：內容特徵識別（膚色，紋理）、貝葉斯過濾、相似度匹配、規則系統；
  
• 階段三：大資料分析（使用者行為，使用者分類）、人機識別、人工智慧（語義識別，影像識別、自然語言處理等）。
  

現階段文字、影像、語音、視訊四塊都有哪些核心技術？朱浩齊表示，主要有以下這些：

• 文字：智慧關鍵詞、模糊匹配、語義分析、小語種檢測；
  
• 圖片：影像識別、特徵識別、圖片檢索、OCR 識別；
  
• 語音：MD5庫檢測、語音特徵檢索、語音特徵識別、語音識別；
  
• 視訊：視訊轉碼壓縮、視訊流分析、截圖/截幀分析。

這位深耕於技術一線的CTO表示，得益於神經網路學科的快速發展，近年來的機器學習技術也在不斷進步，為內容安全提供了最堅實的技術保障，包括分層的生物神經網路、影像識別技術、深度神經網路、神經元啟用熱力圖等等，在安全技術效果上給予了更多的強化。

Hubel& Wiesel（圖片來源：Harvard Brain）

他說，這些技術也在網易易盾中得到了充分應用，包括圖片識別、音訊過濾以及視訊過濾技術。

• 圖片識別技術：支援人像識別，支援色情圖片檢測，支援動漫識別；支援相似匹配，支援圖片旋轉、裁剪，支援改變圖片亮度、色調；支援水印識別。
  
• 音訊過濾技術：基於強大的語音識別分析引擎，通過網易積累多年的垃圾庫實時過濾有害語音，同將轉成文字進一步過濾。技術要點在於，將語音轉換文字和文字檢測相結合。
  
• 視訊過濾技術（直播、點播）：視訊流檢測，視訊截圖/截幀檢測，直播間熱度監測，主播黑名單，機器+人工。技術要點在於，將視訊轉換圖片和圖片識別技緊密結合。
  

對於網易來說，內部資料的多樣性也給易盾提供了豐富的實踐場景。“在網易郵箱、網易新聞、雲音樂、LOFTER、雲相簿、薄荷直播等內部應用構建的數十萬變種的資料中，易盾能夠實現實時加密過濾垃圾資訊、安全防刷等功能，良好地維護了產品運營氛圍和使用者體驗。”

真實的技術環境更為複雜，網易易盾如何更進一步？

事實上，從技術、人力、成本等各維度來看，真實環境中的內容安全防護更為複雜。舉例來說，假設10k張影像中有1張是違禁圖片，易盾的系統準確率為99.9% ，即1k張影像會判錯一張，那麼其計算偽陽性率（False Positive Rate，即判斷為違禁影像集合中正常樣本的比例）為：

即11 張判定為違禁的結果裡面竟有10張是誤判的——資料的難解釋性、黑客的持續性攻擊都給內容安全防護提出了更高的要求。

• 難解釋性：如下圖所示，一張原本能被正確識別的大熊貓影像，在新增人眼幾乎不可辨認的微小變化之後，竟然以99 .3%的置信度被判別為長臂猿。
  

• 黑客攻擊：通過對輸入資料的維度特性進行改變，可以針對深度學習資料處理環節進行攻擊，對深度學習影像識別等應用造成逃逸攻擊以及資料汙染攻擊等效果。比如說，下圖某位明星，經過資料的維度特性處理後，它能被機器識別為“某本山”。
  

更遑論，內容安全的“攻擊者們”早已形成了成熟的產業鏈。他們這類徘徊在法律邊緣的群體，利益明確且分工協作，攻擊手段更是持續升級。所以，對於所有的內容安全廠商來說，這都是一場高成本、長拉鋸的攻堅戰。

朱浩齊說：“基於此，易盾對比行業傳統的內容識別單維度服務，還提供了賬號、IP、行為動作（關注，投票，評論）、內容識別、使用者畫像、群體畫像、環境資料、裝置指紋的多維度技術服務。此外，更是深入解析攻擊漏洞，從註冊保護、登入保護、環境監測、行為分析、使用者分析、離線計算的全服務流程進行深度的安全防護。”

目前，基於網易所構建的強大使用者關係網路，易盾提供了場景化的解決方案。從廣告過濾、智慧鑑黃、暴恐識別、謠言排查四大方面，實現了彈幕實時過濾、聊天區文字/圖片過濾、頭像/暱稱過濾、直播間電視牆監控、直播間音訊過濾、主播黑名單、使用者黑名單、房間熱度分析等全方位的安全防護功能。此外，“機器+人工”的操作模式，更是從細微之處著手，提供了升級化的技術功能，智慧機器監控、優先推送、智慧排序、嫌疑高亮、支援警告、斷流操作、自動補位、視訊大小自適應等等不一而足。

重重的技術防禦下，安全效果自然不言而喻。朱浩齊分享到，目前易盾每天為網易數億的使用者和內容資料提供安全保障，也給網易所有得產品提供了全面的資訊保安服務。“在今年三月份主要商業網站違法不良資訊的舉報統計中，易盾全面的資訊保安服務為網易的產品帶來了效果顯著的保護。”他說。

如何快速使用易盾？

網易易盾，是極速智慧的內容安全雲服務，專注內容安全解決方案。目前，網易易盾已在泛娛樂、多媒體、運營商、電商、金融證券等各行各業實現滲透應用，多領域客戶覆蓋下，是秉持初心、堅韌不破的安全技術保障。

現在，通過API 接入，訪問 dun.163.com，一天即可配置完成。

內容安全資料視覺化、智慧的直播電視牆、身經百戰的稽核團隊，豐富的功能應用，現在即可獲取。