AI攻擊技術和測試研究框架解鎖新視野~用技術對抗技術

隨著AI技術的發展，越來越多的AI技術應用進入了我們的生活，而人臉識別也成為了最常見的技術應用之一，住酒店、坐飛機高鐵、使用政務便民服務等場景中，都可以見到人臉識別的應用。 

然而，在新技術帶來方便的同時，安全風險也隨之而來，不法分子開始利用AI深度偽造技術偽造影片進行傳播，擾亂社會秩序；一些地方出現利用偽造影片、假體面具等攻擊人臉識別技術的案例。 

為把握當前世界網路傳播與新技術融合發展方向，積極營造網信產業發展的良好環境，推動人臉識別等新技術在網際網路資訊行業發展和治理方面的應用，騰訊聯合中國人工智慧發展聯盟、中國網際網路協會、中科院信工所、對外經貿大學數字經濟與法律創新中心、雲從科技等單位，共同舉辦了“人臉識別安全和深度偽造沙龍”。在沙龍上，騰訊首次對外公開了騰訊的AI攻擊技術和測試研究框架並對目前的AI過臉黑色產業鏈進行了分析。 

新技術應用便利與風險並存，“深度偽造”需警惕 

人臉識別作為人工智慧技術越來越被廣泛應用，在安防領域更是被廣泛應用於犯罪預防預警、治安交通管理、刑事案件偵查等，在追捕逃犯、發現嫌疑人身份、尋找走失人口等方面發揮了重要的作用。在社會管理中尤其是本次疫情防控中人臉識別也體現了獨特的價值，在日常工作生活中人臉識別被應用在移動支付、手機解鎖、考勤打卡等場景，為大家的生活提供了便利。

 但是，新技術的應用也帶來了全新的安全風險和挑戰，“深度偽造”技術的發展就是其中之一。

 深度偽造技術（DeepFake）最早源於2017年底在國外reddit平臺上一個匿名使用者釋出的色情影片，他使用機器學習將色情明星的面孔替換成了名人的面孔，而深度偽造這個詞也是由Deep和Fake合併而創造出來的，他實際上是指使用人工智慧技術實現對影像音影片的生成或修改，達到資訊內容的以假亂真，當前深度偽造中主要應用的深度學習技術，包括了生成對抗網路GAN、辯分解碼器VAE還有神經網路CNN等等。 

網信辦技術委員會常務副主席殷治田在沙龍上指出“藉助人臉識別深度學習等技術，操縱影像影片內容，深度偽造已經成為換臉的代名詞，目前網路上已經出現一些明星以及國外政治人物的深度偽造音影片材料，普通使用者很難辨別其真實性。如不及時規範深度偽造的應用，一旦用於別有用心的目的，輕者造成資訊受損，重者危害公共安全社會安全甚至政治安全隱患。” 

騰訊首次公開AI攻擊技術和測試研究框架 

在沙龍上，騰訊雲安全副總經理李濱分享了騰訊公司針對當前不法分子利用AI技術進行黑產和網路犯罪活動的對抗研究與經驗，以及針對AI應用進行系統化安全分析和防禦的成果。李濱認為，雖然AI安全的核心是演算法和資料，但在分析整個AI風險面的時候不能僅僅考慮這兩個方面，而應該結合應用流程和技術堆疊兩個維度，進行端到端的風險面分析和系統化的安全防護。 

AI系統的核心構建包括訓練和推理兩個關鍵環節，在構建AI應用系統的過程中，除了大家廣泛認知到的模型和演算法安全問題外，還可能面臨資料安全和隱私保護、軟體供應鏈的安全、軟硬體系統和應用安全、感測器和端側計算環境安全、以及資料流的完整性等方面的安全風險。 

（從技術棧角度進行端到端的分析） 

在AI模型訓練和推理的計算過程當中每個資料處理的流程環節有不同的攻擊手法。例如在訓練階段，可能獲取的訓練資料集本身是存在缺陷或偏差的，甚至會面臨攻擊者對訓練資料集進行投毒，這些都會對最終模型的穩定性造成影響。在訓練和推理計算過程中也面臨包括針對資料預處理、抽樣、整形等模型演算法實現的攻擊手段。在當前的AI應用環境中最常被忽視的是資料來源和資料流完整性方面的問題，在資料採集的部分包括端側裝置破解和劫持、感測器干擾、側通道攻擊、資料流的劫持等等問題，這些攻擊手段常常會從源頭上繞過或干擾AI系統的決策機制。最後在決策執行的過程當中還面臨透過平臺漏洞對系統的執行流和資料流進行攻擊，以竄改最終執行結果這樣的攻擊行為。

 （從應用流程的角度進行端到端分析） 

同時，李濱首次對外發布了騰訊的AI攻擊技術和測試研究的框架。該研究框架分成AI的模型和演算法安全、軟體生態和應用開發安全、智慧硬體以及嵌入式安全、以及應用和業務風控這四個大的領域。目前騰訊安全雲鼎實驗室已經總結了各個領域上百種的攻擊，其中針對AI軟體和框架的專項針對性攻擊超過20種。

 （騰訊的AI攻擊技術和測試研究的框架）

聚焦深度偽造黑產鏈條 ，針對源頭進行打擊 

深度偽造作為AI攻擊中最常用的一種技術手段，已經被不法分子利用。不法分子透過獲取公民的個人資訊、人臉資訊從而繞過政企服務和網際網路公司的安全策略，利用深度偽造的技術加上一些身份資訊和一些資訊的詐騙實現人臉實名認證從而達到謀利的目的，形成了AI過臉的黑色產業鏈。 

騰訊守護者計劃安全專家黃漢川在沙龍上介紹，身份資訊和清晰的照片是“AI過臉黑色產業鏈”的源頭，而公民個人資訊的洩露主要可能由企事業單位內鬼售賣洩密和駭客入侵兩種途徑造成。拿到個人資訊後，不法分子使用深度偽造技術並結合攝像頭劫持等攻擊手段繞過政府、企業、網際網路公司的安全策略，從而進行惡意賬號註冊，大量賬號就會用於詐騙、洗錢、薅羊毛等等各種具體的違法犯罪活動上。 

但是，黃漢川認為並不用因為人臉識別技術存在被利用的風險就產生不必要的恐慌，目前以騰訊為代表的科技企業，已經透過技術對抗技術，利用成熟的技術和安全策略去識別深度偽造的音影片等，並透過技術手段溯源協助警方進行黑產打擊。同時，使用者也要注意保護自己的個人隱私資訊，不要輕易的提供自己的個人隱私，不輕易的釋出自己的人臉照片等。