“哎喲，不錯哦！”想象一下，周杰倫透過影片和你對話，他叫出了你的名字，點評了你的表演……

2017年，深度偽造（deepfake）技術剛剛嶄露頭角，還未向大眾揭開神秘的面紗。這一年，網易易盾的演算法團隊把周杰倫“請”到了年會現場，在壓軸環節進行影片致辭，將年會推向高潮。

在晚會後的閒聊中，大家發現影片中的“周杰倫”既不是本尊，也不是長相相似的特技演員，而是一位每日坐在身邊辦公的同事。易盾演算法團隊藉助了“深度偽造”技術的力量，宛如施展魔法一般將周杰倫與同事的臉龐融合在了一起，並讓同事模仿周杰倫的言行。

這個約2分鐘的影片，惟妙惟肖地還原了周杰倫的微笑、說話語氣和動作手勢，由易盾演算法團隊利用2周業餘時間製作完成。

由於同樣涉及影像識別的深度學習技術，對“深度偽造”技術的探索也為開展“深度偽造”識別打好了基礎。近年來，“深度偽造”成為顯著的內容安全風險之一。易盾的演算法小組成功自研了一種基於神經網路的多視角“深度偽造”識別技術，憑藉對AI決策模型的創新，更高效地發現影片中不自然的篡改痕跡。

01 偽造明星

簡單的人臉偽造並不困難。易盾演算法團隊分享到，目前，網上會有一些基於學術研究成果的半自動化工具，偽造者只需要下載、套用文獻中演算法框架就能實現基礎偽造效果。

在製作前期，團隊收集了上千張周杰倫的公開照片，來自多個合規渠道，最終組成一個資料集。這些圖片幾乎從每個角度、不同光照下，捕獲了周杰倫的臉部特徵。“從深度學習的實踐來看，高質量的資料能夠生成更高質量的模型。”一位在偽造中負責模型生成人臉影像樣本資料收集的成員說。

下一步是基於這個資料集進行機器模型訓練，編寫人臉檢測、人臉抽取等綜合演算法，直至“神經網路”模型初步擬合周杰倫的臉。至此，整個“偽造影片”只能算是一個半成品。

接下來，團隊中的成員煞費苦心地調整、修補每一幀影片中的人臉，讓其與身體、語音完美融合，去除機器“深度偽造”後殘留的明顯異常或破綻。儘量避免眼鏡、配飾等遮擋物的出現，以減少視覺瑕疵。

“想要製作一個自然、逼真的優質深度偽造影片，僅有現成的深度學習工具是不夠的。”易盾演算法團隊指出，“除了後期的精細修復過程，最大的挑戰還來自前期的互換人臉匹配。”

值得注意的是，目前‘深度偽造’還有一些侷限性，必須要有合適的物件，並非任意兩個人物互換都能做出很好的效果。因此，人物選型至關重要。

為了創作出令人信服的年會影片致辭，演算法團隊還需要一位周杰倫模仿大師。這個候選人不僅要能夠模仿周杰倫的聲音與舉止，其臉型輪廓、膚色等屬性必須與周杰倫相似，否則貼上去的臉可能會不自然。幸運的是，經過了多輪演算法實驗之後，團隊找到了那個外形、臉型與周杰倫都有點像的同事。

假周杰倫的致辭影片，經過了影片資料選取、人臉區域檢測、深度網路訓練、偽造臉替換、後處理細節調整等操作步驟，自然生動地展現在大家的眼前。遵照類似的方式，世界上大部分的明星都能被偽造，有關明星的豐富影像資料為“深度偽造”實踐提供了資料訓練便利。

02 換臉像換衣服一樣容易

“深度偽造”引起大家的特別關注，並上升至內容安全層面的考慮，是在2019年。這一年，基於深度偽造技術的應用軟體相繼推出，在應用商店相繼登上榜首，獲得數以億計的使用者。

FaceApp的人臉“變老”，ZAO和Reface的人臉交換，“螞蟻呀嘿”的人臉表情驅動、“美圖秀秀”的人臉編輯、“無中生有”的人臉合成……這些軟體中的瞬間“變臉”特效，向人們展示了人臉偽造逐漸細分化的趨勢。

“深度偽造”基於深度學習技術快速製造“以假亂真”級別的數字內容，因而得名。深度學習，尤其是神經網路演算法模型，在資料處理方面天賦稟異，可以學習在不同角度、不同光源下的人類面部特徵，自動定位人臉範圍與五官，以便對面部進行修改和轉移。

學習效果檢驗也透過演算法模型來實現。生成對抗網路（GAN）通常被用於自監督訓練中，利用兩個神經網路系統，一個製造“假貨”，另一個辨別“假貨”。造假模型不斷在每次對抗中精進，從而生成足以欺騙另一個模型的偽造影像。

在短短4年間，深度偽造技術大步向前，人臉處理已不在話下，甚至支援合成人聲、操縱體態或者行為模式，在影像中模擬出一個全方位接近現實的人類。

03 誰來辨別真偽？

《未來簡史，從智人到智神明》一書中提到，處理資料的工作應該交給能力遠超人類大腦的演算法，並認為演算法有一天能夠超越人類知識和智慧。這一預測正在變為現實，無論是偽造，還是鑑偽，都需要AI演算法的參與。

AI演算法既是造假氾濫的罪魁禍首，也將成為辨別真偽的主力軍。藉助於計算機對龐大資料的超強運算能力，深度偽造識別技術比人類更敏銳，深入動作、光線、解析度上的破綻，在源頭發現造假內容，減少事實核查成本。

在易盾，演算法團隊成了專項研究小組，致力於識別“深度偽造”，團隊的目標是教育機器實時判斷圖片、影片中的人臉是否涉及深度偽造。

易盾研究小組發現，識別演算法模型鑑別的資料並不都是高畫質的，對於一些模糊的資料，尤其是人臉區域不清晰、有遮擋的資料，鑑偽難度極高。不過，即使在強烈壓縮的情況下，識別演算法模型也能透過其對特定領域知識的掌握，表現出明顯優於人類肉眼的鑑偽能力。

演算法的對抗也會帶來一種可怕的後果。易盾研究小組表示，致力於“深度偽造”的黑灰產可能不需要了解背後的技術原理，直接透過大量試驗進行試錯來獲得繞過檢測的方法。

目前，科技行業並不能完全倚仗於識別演算法，一次性根除深度偽造，只是儘可能降低風險發生的機率。易盾研究小組指出，“識別演算法依賴單一的技術手段，會逐漸無法滿足實際要求，而是需要更多的技術手段和檢測維度，構建立體化、有深度、快速敏捷的防守鏈條。”

此外，易盾研究小組認為，深度偽造識別技術必須融合具體業務場景，這樣識別才有意義。不同的應用場景差別很大，不同客戶的影片資料，在資料分佈、人臉屬性、場景屬性上都有自身的特點，這正是市場上大部分識別演算法商用準確率不高的原因所在。

最終，研究小組希望，深度偽造技術與內容安全的實際業務場景進行結合，在特定業務上讓識別演算法更加穩定和精準，“大浪淘沙”式快速過濾出惡意偽造影片。

04 AI如何識別偽造？

識別技術與偽造技術一樣紮根於深度學習演算法，還與人臉識別技術有許多共通之處，特別是人臉的識別與定位。深度偽造識別技術的實現總體可以分為資料收集、模型訓練與調優和偽造內容識別三個核心步驟 。

“深度偽造識別技術在最底層和一般人臉識別技術相似，神經網路、模型結構、訓練框架、訓練方式，甚至一些程式碼都是可以共用的。區別在於訓練資料不同，任務的目標不同。”專門從事人臉影像研究工作的易盾演算法工程師說，類似的模型，區分人臉性別的標籤是男與女，而區分人臉深度造假的標籤是真與假。

在研究小組中，他的任務是模型訓練素材的收集，一方面，清晰、篩選公開的人臉偽造影片。另一方面，生產偽造樣本作為補充素材，以迷惑識別模型。

“訓練模型就像讓學生在考試前刷題，如果把各種型別的題目都做過了，正式考試的時候，也是觸類旁通嘛。”這位工程師表示，對抗者的資料收集是研發過程中的難點之一，人臉偽造技術層出不窮，資料訓練必須伴隨偽造技術的發展而進行演變。他儘可能廣泛地收集變化多端的偽造內容，讓識別模型在強烈的對抗中有所進步。

另一個難點在於，如何讓“深度偽造”識別模型在決策時更加滴水不漏？

易盾研究小組表示，人臉偽造演算法千變萬化，只有抓住其共性才能獲得更好的泛化能力，比如多數的人臉偽造演算法都會存在換臉邊界，偽造人臉在一些特定的變換域中與真實人臉存在較強的差異，等等。

基於此，易盾訓練了全新的深度偽造識別模型，創新點在於模型從多個視角去分析人臉圖片，搭建一個相較於普通人臉識別更為複雜的模型。

驗證素材真偽，不是由一個“超強”模型做判斷，而是由多個模型推測，集思廣益。多個模型在竭盡全力判斷後，進行“是否涉及造假”的投票，結合多個模型的輸出結果，“是或否”以多數結論為準。

這種辦法有效提高了鑑偽的精確性，對不同偽造型別、不同清晰度、不同解析度的資料有較好的泛化能力。

這一更優秀的人臉偽造自動化識別技術已經應用在直播場景下的內容安全解決方案中，能發現社交平臺上的大部分的"深度偽造"影片，並記錄偽造者使用的演算法型別、偽造影片的來源等資訊，及時告知客戶及使用者。

05 數字內容的未來

任何觸網的人都可以生產“深度偽造”的虛假內容，這項技術被濫用之後，無疑會增加網際網路內容的核查與糾正成本，致使人們對網際網路內容失去信任，更可能帶來進一步傷害：

一是，淫穢色情影片的製作有了新的可能性。斯嘉麗.約翰遜、艾瑪.沃森等好萊塢女明星的臉被深度偽造技術盯上，與色情女演員的身體融為一體。此外，一款名叫DeepNude的應用，可以自動"脫掉"女性身上的衣服，顯示出裸體，被擔心成為“色情復仇”的幫兇。

二是，在AI深度偽造的幫助下，詐騙犯製作假文字、假音訊和假影片，可謂是如虎添翼。《華爾街日報》報導稱，2019年3月，犯罪分子使用深度偽造技術模擬了德國某能源公司CEO的聲音，成功從該公司發英國分公司詐騙了22萬歐元。無獨有偶，騙子運營的“假靳東”抖音賬號以明星人設騙取中老年婦女的信任及金錢。

三是，“深度偽造"的訪談或發言不在少數，奧巴馬、川普、英國女王伊麗莎白二世、湯姆克魯斯、祖克伯等具有影響力的公眾人物成了造假的靶心。有人擔心，對於想透過虛假新聞、錯誤資訊會影響選舉，左右民主的人而言，“深度偽造”技術是一個強大的新工具。

深度偽造技術快速進化，雖然各類人臉“虛假”特效為原本平凡的生活平添了一些樂趣，卻讓監管難題初見端倪，引發法律、倫理和安全的擔憂與討論。

“這項技術本身是無害的，”在易盾研究員們看來，關鍵是避免技術被濫用，政府制定相關規則與法律進行引導與風險規避。

當前，美國國會提出的《深度偽造責任法案》和《2019年深度偽造報告法案》，以及中國已出臺的《資料安全管理辦法》、《網路資訊內容生態治理規定》等法規都對深度偽造問題有所關注。微軟、臉書與知名大學與非營利性研究組織聯手推出"深度偽造影片探測挑戰賽"，共同研發深度偽造識別辦法。

在此基礎上，易盾建議，在網路內容的整個流通鏈路中，內容生產者、軟體提供商、內容釋出平臺都需要依法對偽造內容進行標記解釋、隱私協議認同和傳播控制，儘可能趨利避害。