神經網路可以被劫持？谷歌大腦研究員演示AI黑客行為

計算機視覺演算法並不完美。上個月，研究人員證明了一個流行的物件檢測API可能會被愚弄，在一些情況下，演算法可以將貓識別為“瘋狂的被子”，“迷彩”，“馬賽克”和“拼湊圖”。當然，這還不是最糟糕的情況：它們還有可能被劫持，執行本不該做的任務。

谷歌的人工智慧研究部門Google Brain的研究人員在一篇名為《神經網路的對抗重組》的論文中，描述了一種本質是重新程式設計機器學習系統的對抗方法。這種轉移學習的新形式甚至不要求攻擊者指令輸出。

對此，研究人員表示：“我們的研究結果首次證明了針對神經網路重新程式設計的敵對攻擊的可能性。這些結果表明，深層神經網路帶有令人驚訝的靈活性和脆弱性。”

其工作流程是這樣的：攻擊者獲得了一個參與對抗神經網路的引數後，這個神經網路正在執行一個任務，然後以轉換為輸入影像的形式引入干擾或對抗資料。當敵對的輸入被嵌入到網路中，他們就可以將其學習的特性重新設計為另一項新的任務。

科學家們在6個模型中測試了這個方法。通過嵌入來自MNIST計算機視覺資料集的操作輸入影像，他們成功獲得了所有六種演算法來計算影像中方塊的數量，而不僅僅是識別像”白鯊”或”鴕鳥”這樣的物體。在第二個實驗中，他們強迫其對數字進行分類。之後第三次測試，他們使用了識別來自cifar 10的影像的模型，這是一個物件識別資料庫，而不是他們最初接受的ImageNet語料庫。

攻擊者可以利用此類攻擊進行計算資源竊取，舉個例子，在雲託管的照片服務中重新程式設計計算機視覺分類器，以解決影像驗證碼或者挖掘加密貨幣。儘管論文作者並沒有在一個反覆出現的神經網路（一種通常用於語音識別的網路）上展開測試，但他們假設一個成功的攻擊可能會導致此類演算法會執行“大量的任務”。

研究人員表示：“對抗程式也可以被用作一種新的方式來實現更傳統的計算機黑客行為。”比如，隨著手機逐漸成為人們的AI助手，通過將手機暴露在敵對的影像或音訊中，或許可以重新編輯某人的手機也是很有可能的。由於這些數字助理可以訪問使用者的電子郵件、日曆、社交媒體賬戶和信用卡等，這類攻擊產生的後果也會非常嚴重。

但幸運的是，這也不全然是一個壞訊息。研究人員注意到，隨機神經網路似乎比其他神經網路更不容易受到攻擊，反而針對機器學習系統，這種敵對攻擊會更容易進行重新設計，並且更靈活、更高效。

即便如此，他們還是提醒到：“未來的研究應該解決敵對變成的特性與侷限性，甚至是潛在的防禦方法。”

原文釋出時間為：2018-07-03
本文作者：Sandy
本文來自雲棲社群合作伙伴“ 人工智慧觀察”，瞭解相關資訊可以關注“ 人工智慧觀察”。