網易易盾李雨珂分享深度學習影像演算法在內容安全領域的實踐

由LiveVideoStack、CSDN主辦的LiveVideoStackCon音影片技術大會於2019年8月23日-24日在北京麗亭華苑酒店隆重舉行，網易易盾資深演算法專家李雨珂受邀出席會議並做分享。

LiveVideoStackCon音影片技術大會是多媒體技術領域的盛會，大會聚焦音訊、影片、影像、AI等技術的最新探索與應用實踐，覆蓋教育、娛樂、醫療、安防、交通、製造、旅遊、電商、金融、社交、遊戲、智慧裝置、IC等行業領域，面向音影片工程師、多媒體工程師、影像演算法工程師、技術負責人及高階行業使用者、產品與專案負責人等分享技術創新與最佳實踐。

網易易盾資深演算法專家李雨珂 

在本次多媒體技術領域盛會上，網易易盾資深演算法專家李雨珂在“無處不在的AI”專題論壇裡，作議題為《深度學習影像演算法在內容安全領域的應用》的分享，展示AI商業落地典型的案例，以及分享了他在長期一線工作過程中總結的演算法最佳化經驗。

李雨珂首先談及內容安全的現狀，他說，有害資訊包括垃圾廣告、暴恐、色情低俗和渉政等，這些有害資訊嚴重影響未成年人身心健康和社群、產品自身調性的建設。因此，國家網信辦針對網路亂象啟動了多次專項活動，下架了一些問題突出的應用。

這些主體公司絕大部分都有在積極履行社會主體責任，只是內容安全識別領域的挑戰的確很大，他們的技術不能很好地處理內容安全問題。“在海量的資料中發現違規內容的確非常困難，而且有害資訊涉及的種類繁多，定義複雜，沒有深厚的技術積累和有經驗的人工稽核輔助，很難處理好內容安全問題。”李雨珂指出內容安全上面臨的痛點。

那麼作為內容安全的服務商——網易易盾是怎麼做的呢？李雨珂表示，網易易盾在內容安全技術的發展上經過了三個階段。

• 第一階段內容安全技術是建立在關鍵詞、黑白名單、過濾器和分類器上；
• 第二階段內容安全技術基於內容特徵識別（膚色、紋理）、貝葉斯過濾、相似度匹配和規則系統；
• 而第三階段則升級為大資料分析（使用者行為、使用者分類）、人機識別、人工智慧和機器學習（語義識別、影像識別）。

"我個人主要是經歷了第三階段，也就是深度學習階段的技術探索。"所以接下來的時間，李雨珂具體分享了運用深度學習在內容安全領域的探索和最佳化過程。

前期資料壁壘 

後期樣本攻防

他指出，使用深度學習技術解決內容安全問題，會面臨兩個階段的難題。

前期主要是面臨海量資料資源的問題，主要是垃圾型別資料收集難度大，覆蓋型別有限；而後一個階段則是投入和運營維護的問題，這塊投入是無底洞，因為隨著業務和形態的發展，以及黑灰產攻防的升級，需要不斷投入大量人力、物力。

採用的技術 

對於這些挑戰，李雨珂團隊進行了深度學習在這一領域落地的初步探索。

“在具體方法上，我們採用的基本技術手段是深度學習方法中最常見的影像分類網路和目標檢測網路。在實際解決問題的過程中，對於不同的違禁內容我們往往使用不同模型不同的服務進行處理。”

接著，李雨珂也舉了兩個探索中踩的坑。一個是初期的工作過程中，演算法同學容易陷入一個誤區，太多關注方法本身（沉浸於模型搭建和跟進前沿方法）和調參。實際上，這些動作效果並不好，開源方法往往以公開資料集進行測試，公開資料訓練的例子只是真實世界中的一個子集，並不一定適用於實際應用的資料集，因為演算法本身不像人腦那樣具備很強的推理能力，還是更多地依賴資料。另外一個則是容易忽略使用者真實訴求，導致大量不可解釋的誤判問題，以及漏判問題——特徵不明顯、模糊的樣例不能召回。

最佳化手段 

接下來，李雨珂團隊就開始對遇到的問題和坑進行最佳化，主要是以下五點：

• 定義業務標準：每一個細分類都需要有明確的描述，標註作出判斷時有明確依據，因為人無法分清，機器更加糊塗；
• 明確重要程度：全域性角度，放棄一些零碎的偶發樣例，集中解決某一型別的問題；
• 測試標準：挑選更有代表性的測試；
• 資料層面：閉環迭代，資料迴流，同時確定性和解釋性；
• 漏判最佳化：包括資料迴流擴充正樣本、定向收集資料、對目標檢測輔助（特寫區域）、FPN+ATTENTION（改善多尺度、小目標問題），以及採用了其他技術進行輔助，比如說OCR（易盾自研了匹配內容安全場景的OCR技術）、二維碼、圖片庫、影像聚類、使用者維度等。

這一套組合拳下來後，效果顯著。基本滿足了業務不斷髮展的需求，而且識別覆蓋面廣、需求響應也很快速。在部分核心業務上，演算法關注的實測指標得到提升：整體漏判控制在萬分之三以內，召回精度達到了97％以上。

後來，李雨珂團隊又在業務輸出精細化、模型層面精細化和模型效能最佳化上進行了佈局，在影像業務上進行橫向擴充——比如說增加了Logo識別、旗幟識別、不文明行為識別等。此外，他們也在平臺化支撐和獨立精耕細作上共同提速，能夠快速支撐新型別業務的同時，也能垂直最佳化已有業務。

全支撐

目前，演算法團隊實現了對文字、圖片、影片和音訊技術層面的全支撐，並獲得了多方認可。比如說今年8月份，網易易盾在首個全國範圍大型人工智慧領域競賽上獲得最高階證書（旗幟識別領域A級證書），此外網易在同源影像檢索、LOGO識別、人臉識別、印刷體OCR也取得了優異成績，成為本次多媒體資訊識別技術競賽A級認證的十一家企業之一。在榮譽上，先後獲得雷鋒網頒發的年度最佳影片內容審查獎，以及在上海舉行的影片文娛大會2019上獲得“年度最佳內容稽核服務商”獎。
李雨珂指出，這些成功不能只歸功於演算法團隊，“對商業服務而言，演算法只是微小的工作，實際上是需要運營團隊、業務團隊、工程團隊的共同配合和努力。”在分享最後，李雨珂總結了四點經驗，希望能給大家一些幫助：

• 目標：重視問題定義，保持全域性角度；
• 資料：關注資料有效收集，大批次標註一時爽，花費時間精力；
• 成本：重視成本與效率，包括資料收整合本、問題解決投入成本以及機器成本；
• 定製：場景決定精細化程度，通用方案對於效果要求較高的場景難度較大。