嗨，大家好。這裡是學術報告專欄，讀芯術小編不定期挑選並親自跑會，為大家奉獻科技領域最優秀的學術報告，為同學們記錄報告乾貨，並想方設法搞到一手的PPT和現場影片——足夠乾貨，足夠新鮮！話不多說，快快看過來，希望這些優秀的青年學者、專家傑青的學術報告 ，能讓您在業餘時間的知識閱讀更有價值。

---

人工智慧論壇如今浩如煙海，有硬貨、有乾貨的講座卻百裡挑一。“AI未來說·青年學術論壇”系列講座由中國科學院大學主辦，百度全力支援，讀芯術作為合作自媒體。承辦單位為中國科學院大學學生會，協辦單位為中國科學院計算所研究生會、網路中心研究生會、人工智慧學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會。“AI未來說·青年學術論壇”第六期“機器學習”專場已於2019年6月23日下午在中科院舉行。清華大學王奕森為大家帶來報告《Adversarial MachineLearning: Attack and Defence》。

Yisen Wang obtained his Ph.D.degree from the Department of Computer Science and Technology at TsinghuaUniversity. He is alsoa visiting scholar at Georgia Tech (USA) and The University of Melbourne (Australia).Dr. Wang's researches mainly focus on tree-based models (Decision Tree, RandomForests and GBDT), robust deep learning with noisy labels and adversarialmachine learning. He has published more than 20 top academic papers in thefield, including CCF A (Quasi A) conferences ICML, CVPR, IJCAI, AAAI, ICLR,UAI, etc and journals IEEE Transaction on Neural Network and Learning Systems(TNNLS), etc. He is also the winner of Baidu Scholarship, Microsoft FellowshipNomination, National Scholarship, Best PhD Thesis Award of Tsinghua University.

報告內容：Deep neural networks haveachieved great success in a number of fields including computer vision, speech,and natural language processing. However, recent studies show that these deep modelsare vulnerable to adversarial examples crafted by adding small, human imperceptibleadversarial perturbations to normal examples. Such vulnerability raisessecurity concerns about their practicability in security-sensitive applicationssuch as face recognition and autonomous driving. In this talk, I will give anintroduction of adversarial machining learning from two aspects: attack anddefense. The former focuses on how to generate adversarial examples to attackdeep models, and the latter focuses on how to improve the robustness of deepmodels to adversarial examples.

Adversarial MachineLearning: Attack and Defence

王奕森博士報告的主要內容包括：對抗機器學習的研究意義，對抗學習中的攻擊（Attack）和防禦（Defence）的介紹，對抗訓練中評價收斂效能的指標FOSC（First-OrderStationary Condition）和動態對抗訓練演算法，以及總結四個部分。

王奕森博士首先以近年來對抗學習相關的研究在機器學習頂會中被評為bestpaper的現象引入，相關的工作發表在ICML 2018、ICML2017和KDD 2018等會議上，展現了學術界對於該問題的關注。

然後介紹了對抗樣本，以影像為例，對抗樣本就是在原影像的基礎上加一些細小的對抗噪聲來實現的。對抗樣本對於現有的分類系統、視覺問答系統和自動駕駛系統的影響極大。若系統中存在對抗樣本，則很容易出現錯誤，並以自動監控的影片為例對對抗樣本進行了生動形象的解釋說明。機器學習系統已經部署到日常生活中的方方面面，若有對抗樣本存在，是非常危險的，因為有些領域是不允許出錯的，比如自動駕駛領域以及日常的刷臉支付等生物特徵識別領域。

接著王奕森博士講到了攻擊（Attack）和防禦（Defence），攻擊是如何生成對抗樣本，而防守是如何提高對對抗樣本的魯棒性。這就像一個遊戲，更好的攻擊需要更好的防守，反過來，更好的防守可以啟發更好的攻擊。常見的攻擊有兩種，一種是白盒攻擊（White-boxAttacks），另一種是黑盒攻擊（Black-box Attacks）。其中，白盒攻擊可以獲得模型的引數和結構，常見的白盒攻擊包括有目標的攻擊（TargetedAttack）和無目標的攻擊（Non-targeted Attack）。有目標的攻擊是指誤導分類器預測某一個特定的類別，而無目標的攻擊是指誤導分類器去預測任何不是真實類別的類別。常見的白盒攻擊演算法包括FGM、BIM和PGD等演算法。黑盒攻擊不能獲得模型的引數和結構，常見的黑盒攻擊有零查詢攻擊（Zero-queryattack）和基於查詢的攻擊（Query-based attack）。通常來說，黑盒攻擊的難度要高於白盒攻擊的難度。

對抗防禦的方法可以分為兩大類，即檢測（Detection）和預防（Prevention）。基於檢測的方法包含組合（Ensemble）、歸一化（Normalization）、分散式檢測（Distributionaldetection）、PCA檢測（PCA detection）和二次分類（Secondary classification）。基於預防的方法主要包含隨機（Stochastic）、生成（Generative）、訓練過程（TrainingProcess）、結構（Architecture）、再訓練（Retrain）和預處理輸入（Pre-process input）。雖然現有的防禦方法很容易被厲害的攻擊手段攻破，但有一種防禦演算法還沒有被完全攻破，那就是對抗訓練（adversarialtraining）。

對抗訓練本質上是一種資料增強的方法，即使用對抗樣本來訓練魯棒的深度神經網路。該方法的求解可以被歸納為min-max的過程，即InnerMaximization和Outer Minimization兩個步驟。Inner maximization用於透過最大化分類損失函式來生成對抗的樣本，該過程是一個受限的最佳化問題，一階方法PGD（ProjectedGradient Descent）通常會給出好的求解方法。Outer Minimization用於使用Inner Maximization階段生成的對抗樣本來訓練一個魯棒的模型，而且受InnerMaximization階段的影響非常大。

為了測量InnerMaximization的收斂效能，又引入了一階平穩條件FOSC，該條件有封閉的解，其值越小代表Inner Maximization有更好的解，等同於對對抗樣本有更好的收斂效能。FOSC提供了一種可比較的、一致性的對抗強度測量方法，一般來說，FOSC值越小，則模型的Accuracy值越低，Loss值也越高，相應的攻擊強度越大。此外，FOSC可以反映對抗訓練過程的一些性質。標準的對抗訓練在早期的階段容易過擬合於強PGD方法生成的對抗樣本，在早期階段使用弱攻擊FGSM的方法可以提高模型的魯棒性，而魯棒性的提升可以反映在FOSC的分佈上。

在介紹完FOSC之後，王奕森博士講到了自己團隊所提出的動態對抗訓練的方法。與標準的對抗訓練的方法相比，該方法有很多優勢：可以進行InnerMaximization的動態收斂性控制，逐步增加模型的收斂效能，即逐步減小FOSC值。然後講解了該方法收斂性的證明過程及其在MNIST和CIFAR10資料庫上的實驗結果。透過實驗結果可以看出，該動態對抗訓練的方法除了能取得更好的防禦效能外，還在以FOSC所反映的收斂效能上有更精確的控制能力，即在每一個訓練階段有更集中的FOSC分佈，在不同的訓練階段有更分散的FOSC分佈。

最後，王奕森博士對報告的內容進行了三個方面的總結：一是對抗機器學習作為一個新興的領域正在引起大家的廣泛關注，這一點可以從近幾年ArXiv和機器學習頂級會議上所接收的該領域的文章的數目看出；二是對抗機器學習領域存在大量的開放性的挑戰問題，在攻擊和防守方面都可以做很多工作，比如新的攻擊方法和新的具有魯棒性的防守方法；三是除了安全問題之外的魯棒性和泛化性的問題。更多精彩內容請關注影片分享。