自從對抗攻擊（Adversarial Attack）在影像識別網路上被發現之後，神經網路的應用安全成了一個熱議的話題。這裡介紹 SysML 2019大會兩篇有關神經網路安全性的論文。第一篇討論對抗攻擊在離散輸入的泛化定義，並將其應用於文件處理的網路上，第二篇討論對抗攻擊和常用的網路壓縮的關係。
SysML簡介：SysML，全名為 System and Machine Learning，其目標群體是計算機系統和機器學習的交叉研究。會議由史丹佛大學的研究人員牽頭，致力於發展這兩方面領域的新的交集，包括機器學習在計算機系統應用上的實踐方法和設計概念，以及與實踐相結合的新的機器學習方法和理論。
宣告：本文的所有圖片和公式都來自於原論文。
論文 1: 離散對抗攻擊和次模函式的最佳化以及在文字分類中的應用
論文：DISCRETE ADVERSARIAL ATTACKS AND SUBMODULAR OPTIMIZATION WITH APPLICATIONS TO TEXT CLASSIFICATION
作者：Qi Lei, Lingfei Wu. 等等
來源地址 https://www.sysml.cc/doc/2019/79.pdf
1. 背景知識
對抗攻擊：對用於影像識別的神經網路的攻擊。
神經網路可以成功地識別左圖為熊貓。但是透過在原圖上新增人眼難以分辨的噪音之後，神經網路以高置信率識別右圖為長臂猿。圖片來自於 https://openai.com/blog/adversarial-example-research/
對抗攻擊威脅了現存的神經網路的應用安全。如果透過影像識別的銀行，或者自動駕駛系統被惡意攻擊，後果將不堪設想。所以如何防禦對抗攻擊，以及是否還存在其他形式的對抗攻擊，都是很重要的研究問題。
本文解決的問題：常見的對抗攻擊一般是用於影像識別的神經網路，他們的輸入是一個矩陣。這篇文章將對抗攻擊泛化到離散集網路, 討論並實現了對抗攻擊在離散集輸入神經網路中的應用。此框架適用的應用型別如下表所示：
處理離散集資料的神經網路包括很多常用的文字識別，病毒程式鑑定和惡意網站鑑定。