解密數字時代 AI 加持之道，網易智企聯合機器之心釋出 AI 應用實踐白皮書

網易易盾發表於2022-09-22

過去的十年，是以神經網路、深度學習為代表的新一代 AI 演算法在計算機視覺、自然語言及語音等領域取得了革命性進展的十年；過去的十年，同樣也是全球範圍內移動網際網路、多媒體網際網路與各行各業深度融合，數字科技不斷為社會發展帶來驚喜的黃金十年。

在這十年裡，音影片通訊從網路社交深入日常辦公、生產及生活場景；點播、直播產業在全球範圍內崛起；對話機器人成為大眾服務行業標配。數字產業的創新發展，為各行各業開拓了新的業務場景，也為現代企業帶來了新的發展機遇。

新機遇、新場景對多媒體通訊、數字營銷及網路安全等傳統數字技術提出了新的技術要求，帶來了新的挑戰，而 AI 技術的融合應用在其中扮演著尤為關鍵的角色。

新機遇下、新場景下，隨之而來的技術挑戰

網際網路內容井噴式增長，資料種類多樣化，如何構建具有快速識別能力的內容風控系統？如何高效降低內容風控系統的資源消耗？
場景多樣化，裝置效能參差不齊，實時音影片通訊技術如何在嘈雜的真實環境中穩定執行？如何提高泛場景計算能力以及保證端側落地的低開銷與穩定性？
智慧客服產業快速發展，如何更好地應用自然語言對話技術解決複雜場景下的訪客需求？如何實現快速冷啟動及提升效能降低成本？

首次公開，網易智企的 AI 技術駕馭之道

針對以上問題，網易智企攜手機器之心聯合釋出《數字經濟時代，AI 加持下的技術與業務創新》人工智慧技術應用實踐白皮書。

報告以網易智企為研究物件，在透視現代數字科技企業如何在對技術架構的持續創新的基礎上，透過高效、靈活的技術解決方案全面擁抱 AI 技術，實現內容風控、音影片及智慧客服等技術的高效迭代，解鎖新型實時通訊、點播直播與智慧營銷業態，嘗試為現代企業在 AI 時代進行業務創新，開展企業數字化轉型提供有效參考。

掃描二維碼獲取完整版報告，進一步探索 AI 在內容風控、音影片通訊及自然語言對話領域的應用實踐。

01 駕馭 AI 加持下的內容風控技術

近年來，隨著網際網路及各種新興業務的飛速發展，內容形式更加多元化，內容創作門檻的大幅降低，使影像、影片、語音、文字、直播、聊天等創作形式井噴式增長。

與此同時，內容風控問題日益凸顯，內容安全成為網際網路安全場景的重中之重。龐大且多維度的新場景對內容風控技術提出了新的挑戰。

網易易盾從快速識別、敏捷響應、低資源消耗、場景泛化四個層面所搭建的新一代數字內容風控系統。

快速識別：

模擬應試策略思路，透過智慧調整計算方案為“先易後難”的方式構建技術解決方案，系統性應對內容風控場景下，需在海量資料中篩選萬分之幾、十萬分之幾的有害資訊，進行快速識別的挑戰。

低資源消耗：

從資料生成、模型打標、人工打標三個角度出發，透過無監督學習、置信學習、噪聲訓練和主動學習等方法構建解決方案，實現全面的低資源消耗最佳化。

敏捷響應：

透過設計基於深度特徵檢索的目標樣例模糊匹配、基於動態特徵擴充的新類別增量迭代和領域遷移學習的場景適配等方法，應對內容風控領域中樣例漏識別、知識新增和不同領域演算法適配等需求。

場景泛化：

從資料增強、特徵表示、訓練策略三個方面提高演算法模型在未知資料分佈上的泛化能力；從類別檢索的角度，結合特徵檢索敏捷響應的特點，最佳化例項檢索沒有明確類別泛化的侷限，探索開放域識別場景下的識別範圍泛化。

02 駕馭 AI 加持下的音影片技術

疫情持續的大環境下，視訊通話、視訊會議、線上教育等功能成為了人們工作生活中的剛性需求。豐富、廣泛的市場需求，帶動了音影片技術的超高速發展。

與此同時，更加多元化和複雜化的應用場景也對音影片技術提出了更高的要求。

網易雲信對音影片的底層演算法技術及端側應用作出多維度最佳化，重點研究 RTC 產品相關的音訊處理技術，例如回聲消除、降噪、自動增益控制等通話中長期應用的演算法。同時關注空間音效、基於統計機器學習和深度學習的 AI 降噪、場景檢測、嘯叫檢測等最新技術方向。

AI 加持下的音訊技術：

透過將 AI 與 DSP 演算法結合、提高 AI 演算法在複雜場景的泛化能力、降低端側落地開銷、提高穩定性及研發實時音影片環境中的 AI 演算法，解決音訊AI演算法在真實場景中的落地困難問題。

AI 加持下的影片技術：

透過構建輕量級網路、深度最佳化影片處理模型與推理裝置，持續改進計算機視覺網路設計和訓練方法，實現影片處理演算法在兼顧計算實時性及低功耗的前提下，對影片進行畫素級處理。

圖：網易雲信所設計的 RFDECB 自適應神經網路。RFDECB 在訓練階段用面向邊緣的卷積塊（ECB）代替殘差特徵蒸餾模組（RFDB）中的 SRB 淺殘差塊。在推理階段將面向邊緣的卷積塊（ECB）轉換為普通的 3x3 卷積層，該方法可以更高效地提取影像的紋理資訊和邊緣資訊，在降低開銷的同時提升網路效能；同時對增強空間注意力（ESA）模組進行裁剪，減少引數量以及增加池化層步長，進一步減少了演算法開銷。

03 駕馭 AI 加持下的客服機器人/自然語言對話技術

在自然語言對話技術的支援下，智慧客服機器人提供從文字諮詢、智慧外呼、業務辦理等多維度的客戶服務，從客戶獲取到訂單管理實現了無人化、智慧化，並越來越多地在金融、零售、房地產、物流等行業應用。

在實際應用中，自然語言對話技術要求系統具備從零學習的能力，快速領悟行業知識，並且針對業務場景進行多輪、有效的對話。

網易雲商採用新一代 AI 演算法，從訪客需求、低成本與高可用、快速冷啟動等技術方面提出技術創新，推動智慧客服機器人的持續進化。

高效解決訪客需求：

透過開發基於大模型，多模型整合與知識蒸餾的語義匹配演算法、設計基於 FAISS 語義搜尋引擎的智慧推薦方案，同時結合知識圖譜，構建智慧客服機器人。

低成本及高可用：

構建白名單管理平臺，使用正規表示式和完全匹配的方式攔截不良案例；透過 CPU 離線計算、透過分散式計算分配線路等方法實現去 GPU 化，降低處理器成本。

快速冷啟動：

採用語義檢索、演算法聚類推薦等技術打造基於行業的知識包；使用 Paraphrase 生成模型、“回譯”等方法獲得相似問法候選項與問法集，構建冷啟動助手，使系統具備學習行業知識和極強的變通能力。

圖：雲商團隊採用了稱為“回譯”的方法增加相似問法。該方法藉助於翻譯模型，將標準問法翻譯成英、日、法、德等多國語言，再將翻譯結果譯回中文，以此獲得近似問法。給該方法在設計排序模型時，需要同時考慮語義相似度和句法結構多樣性兩個維度：對語義相似度，透過獲得相似問法和標準問法的語義表徵向量來計算相似度；對句法結構多樣性，透過編輯距離來獲得。方法隨後綜合兩者得分，獲得最終排序結果。

持續創新的 AI 系統架構

AI 系統是一個相對比較寬泛和完備的概念，涵蓋了一個 AI 任務落地應用的各個環節。將其概念拆解，則包括資料、模型、演算法、解決方案、部署與加速等五個部分。五個方面任一存在短板，都可能成為制約 AI 系統總體效能的瓶頸。把握系統性研發的難點在於，需要同時立足於這五個環節。而在此之上，還需進一步結合業務場景的某個具體問題和特點，進行具有針對性的設計、創新和落地實施。

報告的第三章對資料、模型、解決方案、演算法及部署這五個方面逐一展開，以網易智企 AI 技術團隊所採用的架構為線索，總結當前 AI 系統架構的創新發展與實踐方法論。

為企業插上 AI 技術的翅膀

網際網路普及率的上升正在推動音影片市場急速增長，滲透率持續上升；5G 技術的突破促使高質量的音影片對話、內容輸出、多媒體實時互動成為可能。在此趨勢下，藉助音影片技術所構建的新業態與暴增的多媒體內容進而引發了使用者、政府及行業對內容安全的關注。

不斷萌發的需求帶來了企業業務模式創新的空間。本章節透過研究網易易盾、網易雲信和網易雲商的落地案例，詳細解讀其技術團隊如何在充分深入理解業務場景的特點、難點和問題的基礎上，系統性地進行探索和最佳化，完成 AI 技術的落地。

報告的第四章透過研究網易易盾、網易雲信和網易雲商與汽車之家、網易雲音樂及松果出行的三個真實技術合作案例，聚焦企業如何透過採用高效、專業的 AI 解決方案抓住市場機遇，實現業務創新與發展突破，探索人工智慧如何幫助企業在內容風控、音影片通訊及營銷客服場景實現突破與創新。

圖：雲信為網易雲音樂獨創提供了實時合唱的融合方案，其一是序列合唱方案，優勢是受弱網和物理環境的干擾影響小，可保證觀眾端的體驗，但是無法真實還原主唱副唱之間的實時合唱體驗；其二是實時合唱方案，在網路和裝置情況良好的情況下可完美保障主唱副唱之間的實時合唱體驗，為了能全覆蓋使用者場景，不損失優質使用者的體驗，雲信合唱方案支援根據使用者不同環境下進行序列和實時合唱方案切換，以達到全環境覆蓋。

變革中的 AI 技術

伴隨 AI 演算法的發展與突破，越來越多的企業開始熟悉各類 AI 能力，並逐步解鎖了更多的難點場景。與此同時，人們對資訊保安，隱私保護的重視程度也在逐步加深，可信 AI 成為了學界、產業界乃至政府部門的重點關注領域。

此外，在人工智慧發展過程中，長期存在的資料問題也在近期愈發得到重視。吳恩達教授於 2021 年發表的論調中指出，太多人工智慧研究工作聚焦於模型，而忽略了資料，但稍作最佳化的資料往往能對模型或演算法的效能帶來更明顯的提升。另一方面，優質的資料同樣能夠為企業在 AI 模型訓練、應用開發等工作中帶來極大增益。由此，Data Centric AI 也成為了學界與產業界的關注重點。

報告的第五章將從可信 AI 與 Data Centric AI 兩方面探討當前人工智慧技術的變革趨勢，洞察業界在該方面的最新工作。