場景多、變種快、粒度細，網易易盾是如何有效解決這些內容安全難題的？

廣電一年一度的開年大展CCBN已經拉開帷幕，3月19日，2019IPTV&OTT產業高峰論壇在北京維景國際大酒店召開。

網易易盾人工智慧首席科學家方正 

作為產業一年的風向標，“2019IPTV&OTT產業高峰論壇”能幫助業界感知政策、技術、產品和市場走向。在這個背景下，網易易盾人工智慧首席科學家方正受邀參加了本次高峰論壇，分享了網際網路行業的發展、常見有害資訊、內容行業面臨的技術難題，以及網易易盾是如何進行解決。

以下是本次演講的實錄：

各位領導、各位來賓，我的分享主題是人工智慧與晴朗網路空間。由於我的出身就是工程師的背景，下面介紹的內容可能有些偏重技術方面一點。

最近幾年，隨著網際網路技術和通訊技術的發展，越來越多的人開始使用網際網路。據統計報導，2018年中國的上網人數首次超過8億，平均每週人均上網時間也超過28小時，人們開始把大量的時間花在網上，閱讀新聞、觀看電影電視劇、聊天交友中，上網娛樂已經成為了生活當中不可缺少的一部分。另一方面，手機、平板電腦和移動終端裝置的普及，也成為了網際網路飛速發展的重要推動因素。現在大家只要有一部手機都可以成為記者、成為主播，這實現了無數人登臺表演、受人關注的夢想，但這也為垃圾資料的製造和傳播創造了更多的條件。

常見有害資訊

平時我們的上網過程當中，大家經常會看到各種各樣的垃圾資料，比如常見的色情、謾罵、違禁和廣告，比如在視訊網站當中大家經常看到粉絲對某個明星進行謾罵攻擊，還有不明真相的網友對政府機關進行惡意點評。代開假髮票的資訊、六合彩賭博資訊，這些廣告也是無處不在。讓我們比較頭疼的是色情視訊和節目，也是對正在成長髮育的青少年造成了很大的身心危害。

認識到這一點，國家和政府在2015年就提出建設綠色健康網路空間，已經把網路資訊保安確定為重要的國家發展戰略，但是依靠傳統的人工稽核內容管理機制已經不能滿足現在網際網路那種海量資料的場景實際情況要求。我們經常在新聞當中看到各種各樣的網站、APP，因為存在一些違禁內容被下架、關停。

而且最近幾年這類新聞也是越來越多。對海量資料進行有效的內容安全稽核過濾，已經成為各個網際網路公司需要面對和需要解決的技術難題。當然，這也促使我們不斷思考怎麼在技術上突破改進，實現和保障網際網路海量資料的內容安全。

通過平時的實踐分析，針對網路內容安全，我們總結歸納幾個相對傳統文字分類、影像識別不同特點和難點，主要概括為以下三個方面：1.應用服務的場景更多，2.處理的資料變種更快，3.檢測粒度更細。

產品應用場景中的多意義 

不同於平時我們看到的新聞內容分類和電商情感分類，那些主要是針對單一的網際網路產品，網際網路內容安全往往要處理的應用場景多種多樣。比如我們經常看到的部落格、彈幕評論、小說、客服對話等等各種產品和場景，甚至有時還會有文言文的情況。也正是因為這些應用場景的多種多樣導致了多義詞現象的普遍，比如蘋果和土豆，我們以為就是平時的水果蔬菜名字，但是網際網路新聞報導當中正好對應著蘋果手機、蘋果電腦、優酷土豆這樣的視訊網站，機器理解就會造成很大的偏差，另外一些英文單詞的縮寫也會造成一詞多義的現象。AV這個詞在彈幕評論當中大家一下子就會想到是成人視訊的意思，但是在做內容安全當中會發現一些音樂發燒友用AV這個詞代表的就是音訊（audio）視訊（video）裝置的意思，所以對內容安全檢測造成很大的困難。 

資料變種快

而第二個特點，內容安全當中遇到的資料變種非常快，主要有兩方面內容：1.資料自身會不斷變化，2.人為因素造成的變化。資料變化主要是因為社會不斷髮展，一些詞語具有新的含義，產品也具有新的外觀，這就導致資料分佈產生巨大的變化，原有的內容安全系統的效果和效能就大打折扣。比如之前發生的紅黃藍事件、法國黃背心運動，這些原本只是表示顏色衣服的詞在現在的網際網路環境當中具有了新的含義。人為因素造成的變化較快，主要是因為廣告資訊的釋出者一直在不斷地尋找內容安全系統的漏洞，不斷新增干擾符。網際網路內容安全相對資料探勘人工智慧競賽具有更多的難度和挑戰，因為那些競賽當中處理的資料都是靜態的、死的資料，但業務當中遇到的大部分資料都是動態的、活的資料，也會不斷變化。 

第三，內容安全中檢測粒度更細的特點，也包含兩方面的內容：1.內容語法結構上的粒度細；2.檢測輸出結果標準程度上的粒度細。內容安全檢測任務中要求精確到具體的內容語法結構，需要區分具體主語賓語指的是什麼。比如謾罵攻擊的垃圾資料檢測中，需要區分是對當代人物的謾罵，還是對歷史小說虛構人物的謾罵，這就有別於傳統的新聞內容分類，只要一篇文章的全域性主題類別進行識別就行，而內容安全當中需要有非常細的檢測粒度。另外彈幕評論的場景也大大提高了垃圾資訊的檢測難度，有些使用者使用的語言習慣相當隨意，經常預設一些主語賓語，甚至會使用錯別字、同音詞來借代，這也進一步提高了檢測難度。而另一方面，檢測結果標準程度上的粒度細，主要原因是：接入和服務的客戶多種多樣，有的客戶在違禁定義的標準各不相同，比如小學生作業幫APP針對色情的標準是嚴格零容忍，絕對不能出現，但是在小說藝術作品和影視作品當中，針對裸露的描寫和鏡頭有一定的容忍性。因為不同的客戶要求不一樣，同一款的內容安全系統分類器就很難滿足大家不同的需求。

除了前面介紹的幾點內容安全上存在的特點和難點，作為一箇中小企業，進行內容安全系統建設面臨的困難和挑戰也更多。資料角度方面，中小企業往往沒有海量的資料，但是資料上的缺乏就會導致模型內容安全系統效果的侷限性和滯後性。前面提到資料不斷動態變化，模型是會隨著時間變化效能下降的，如果不投入人力、物力進行維護的話就難以維持原有的效果。中小企業進行自建內容安全，這部分負擔其實也非常難以承受。

正是看到這些行業背景和市場需求，網易基於二十一年的內容安全資料和技術積累，結合海量特徵庫，運用人工智慧、大資料技術，面向市場推出網易易盾內容安全服務。針對前面提到的各種特點和難點，易盾的工程師針對性地進行了技術開發並且予以解決。

針對前面提到的場景當中多義詞現象的問題，易盾自主研究了語義池挖掘演算法，通過挖掘關鍵目標主題下的語義池，訓練不同的詞向量模型，確定上下文語義關係圖，實際應用當中根據這些關係圖確定和定位具體多義詞表示的是什麼含義。

針對資料變種快的問題，易盾的工程師也從特徵和模型進行鍼對性的開發。從特徵角度的技術解決方案主要針對廣告變種問題，比如廣告發布者經常新增同音詞、形近詞進行干擾，易盾運用大資料演算法技術挖掘這些詞的使用規律，並對每個詞建立偏旁部首筆畫屬性特徵，通過聯合聚類構造出高階語義智慧詞庫，輔助實際的有害資訊過濾檢測器，提高內容識別的效果。

從模型角度的技術解決方案，主要針對敏感社會事件的檢測。易盾開發線上學習演算法，實時捕獲新環境下產生的新特徵新含義，使得模型特徵和引數能夠及時更新、進化和調整，這樣減緩模型檢測效能下降的問題。

按照檢測力度細的特點，這裡簡單舉一個例子：怎麼滿足不同的客戶在違禁標準上不同的問題，我們知道不同的客戶產品內容垃圾違禁標準各不相同，易盾開發跨領域的知識遷移學習演算法，挖掘不同產品之間的共性特徵和個性化特徵，針對每個產品和行業領域建立不同的分類器，通過聯合訓練機制最終提高模型適應度和準確率，為不同客戶產品提供個性化的內容安全服務。

前面提到的都是針對產品特點的技術解決方案，作為第三代內容安全技術核心的人工智慧技術，其實已經廣泛應用到現在易盾的各種有害資訊過濾場景。人工智慧技術相對傳統機器學習演算法有著明顯的優勢和特點，比如具有相同詞語的兩句話，詞語的順序不同，表達的意思也會不同，但是按照傳統的機器學習演算法進行資料處理時，經過獨熱編碼後，會得到相同的資料向量，這就不能識別兩句話的不同意思。而人工智慧技術當中RNN、LSTM神經網路模型可以針對句子語序結構進行理解，也對詞語序列進行編碼，從而能夠識別兩句話的不同意思，最後提高垃圾檢測的精準度。

除了內容識別領域，人工智慧技術在其它方面也有很多應用。最近新聞中大家一定看到很多人工智慧技術進行視訊換臉的報導。根據新聞報導，現在效果已經達到以假亂真的程度。很多熱心網友都表示很擔憂，擔心這個技術的濫用可能會對使用者驗證登入、新聞視訊的真實性造成危害。其實並不需要這些擔心，其實人工智慧技術在合成這些假視訊假臉的同時也能對它們進行有效的識別。儘管新聞報導當中這些圖片效果都是非常逼真，但還是存在不少漏洞和細節。比如頭髮、背景文字、常識邏輯特徵當中，從視訊裡逐幀來看都有不少細節破綻和漏洞。合成的人臉頭髮效果經常會有種不自然，很僵硬的感覺，沒有自然的那種柔順的感覺，就像潑上去的油漆一樣，而且合成的假臉的背景文字效果經常是玄幻或者模糊不清的，和真實的人臉圖片大不相同。另外，我們知道人臉是具有對稱性，合成的假臉還遠遠達不到那麼完美，可能會有一隻眼睛大一隻眼睛小的問題，有的女性臉上還會有男性的鬍子。

當然，人工智慧技術不僅能夠識別剛才我們看到的這些肉眼能夠看出的細節和漏洞，人工智慧技術在細節捕捉的能力方面遠遠超過人類，可以識別出更多人類肉眼看不見的細節漏洞出來，從而實現視訊內容的檢測。上圖展示的就是人工智慧當中的神經網路，CNN處理影像內容進行識別的過程。神經網路會先探測圖片內容當中邊緣資訊，根據邊緣資訊探測圖片中的紋理資訊，然後根據紋理資訊進一步探測更高階、更抽象的模式資訊，就這樣通過網路一層一層的資訊抽取和傳遞，識別圖片內容所需要的各種細節部分都被神經網路學習到了，神經網路的內容識別能力最後甚至會達到超越人類的水平。從上面幾組熱力圖中可以看到，神經網路覺得最敏感具有嫌疑的部位，其實和肉眼觀察的常識都相當吻合。

除了CNN卷積神經網路，其實人工智慧技術中的對抗生成網路GAN也是識別這些合成視訊、假臉視訊的一個有效技術。我們來看對抗生成神經網路技術，它包含了兩個部分的結構：一部分是生成網路，另一部分是鑑別網路。這樣說可能比較枯燥，舉個例子，《射鵰英雄傳》大家都看過，周通的絕技就是左右互搏，對抗生成網路就和這套武功差不多，生成網路是左手，鑑別網路是右手，左手不斷出招製造各種假臉假視訊，右手不斷拆招識別這是真臉還是假臉，就像練武功一樣不斷迭代，神經網路的效能效果就能被訓練成遠遠超過人類水平，前面提到的這種假視訊假臉基本上都能夠被識別出來。

易盾在技術的研發和創新也多次受到了國際同行的關注和認可

值得一提的是，易盾實驗室的工程師在2017年就對這項對抗生成網路技術做了研究，並且已經把這項技術應用在現在的視訊內容檢測、影像內容檢測的服務中。當年年會展示的黑科技當中，實驗室的工程師還把明星演員的臉合成到自己新年拜年的節目當中，那個視訊效果來看也已經達到以假亂真的逼真效果。另外，易盾在內容安全方面的科研、創新和努力也有多次受到了國際同行的關注和認可，2017年易盾的工程師就關於對抗生成網路的兩項研究成果進行了論文發表，在當年的國際人工智慧計算機視覺頂級大會中還做了分享和介紹，和國際學者同行關於技術問題進行了探討和交流。

除了科研方面，易盾工程師對市場的洞察和使用者的需求方面也非常重視，通過不斷研發來滿足各種平臺和企業客戶的需求。比如，傳統的音訊檢測方法需要將音訊資訊轉化為文字資訊，然後對文字資訊再進行稽核過濾，但是隨著市場動態變化，我們發現很多直播平臺中出現了很多嬌喘聲、呻吟聲的色情資料，按照傳統的方法無法檢測識別出來。看到這種需求，我們的工程師及時調整研發方向和內容，開發了聲紋檢測技術，不需要通過文字的轉換，就可以檢測嬌喘聲、呻吟聲的色情類別資料。目前易盾音訊檢測還可以支援多種國家的語言，現在支援的語言包括英語、泰語、印尼語等。

自從易盾面向市場以來，我們的工程師一直保持著積極進取、不斷開拓的心態，通過不斷的迭代研發，為更多的企業和客戶帶來更好的服務質量，受到了行業的廣泛好評和認可。2018年易盾為行業檢測的資料量就已經達到3000+億條之多。

目前易盾接入和服務的客戶已經達到數千家之多，包括知乎、OPPO、VIVO、一直播、魅族、攜程等。相信在不久的未來，易盾在網際網路內容安全方面的技術肯定會達到更高的水平，我們期待著能夠與更多的機構合作，也希望通過合作為更多的企業和客戶提供更多優質的服務和產品。

謝謝。