近日，一年一度的國際神經網路驗證大賽VNN-COMP落下帷幕。由來自卡內基梅隆大學(CMU)、美國東北大學、哥倫比亞大學、加州大學洛杉磯分校(UCLA)的成員共同研發的工具α,β-CROWN獲得了第二屆國際神經網路驗證大賽總分第一，比分大幅度領先。該工具由華人學者張歡(CMU)、許凱第（東北大學）和王世褀（哥倫比亞大學）帶領的團隊開發。本文中，我們將介紹神經網路驗證的基本問題、國際神經網路驗證大賽的背景和本次競賽獲勝演算法 α,β-CROWN。
神經網路已經成為了現代人工智慧中非常重要的元素。然而由於其複雜性，神經網路常常被視為「黑盒」，因為我們很難精確的刻畫神經網路所表達的函式。例如，對抗樣本 (adversarial examples) 是神經網路中的一個常見的問題：當在神經網路的輸入中加入少量對抗擾動時，神經網路的輸出可能產生錯誤的改變，比如將物體識為和輸入毫不相關的類。這對於把神經網路應用到對安全性、魯棒性要求較高的應用中提出了很大的挑戰。神經網路驗證的主要任務是為神經網路的行為提供嚴格的理論保證，用嚴格的數學方法保證魯棒性、正確性、公平性、安全性等。比如，在魯棒性驗證問題中，我們需要證明對於一個給定的網路，在某張圖片上無論採用何種對抗攻擊方法，只要對抗擾動的大小不超過某個閥值，任何攻擊都一定不會成功。舉例來說，給定一個二分類網路 f，若假設輸入x_0為正樣本（即 f(x_0)>0），我們需要在 x_0 附近的某個區域中，證明 f(x) 均為正數。例如在下圖中，驗證演算法可以證明 x_0 附近的綠色區域中 f(x)>0。越強的神經網路驗證演算法，能證明安全的綠色區域就越大，最大可以達到神經網路的決策邊界（藍色虛線框）。
然而，神經網路驗證問題通常非常困難，因為它可以等效於一個在高維神經網路上的非凸最佳化問題，所以直接採用隨機取樣或者梯度下降法都無法有效解決這個問題。隨著神經網路驗證問題受到越來越多的重視，在這個新興的領域中的已經湧現出了一些十分有競爭力的演算法。為了能夠更好地評價不同演算法的優劣，研究人員需要一套標準化的測評環境和benchmark。由此，神經網路驗證大賽應運而生。國際神經網路驗證大賽 (International Verification of Neural Networks Competition，縮寫 VNN-COMP) 由 Taylor Johnson 教授（Vanderbilt）和 Changliu Liu 教授（CMU）於 2020 年創立，背靠計算機輔助驗證領域國際頂會 International Conference on Computer Aided Verification (CAV)，旨在為神經網路的驗證演算法提供標準化的評測環境，並增強研究者之間的互相交流，創造一個完善的生態環境。本次比賽徵集了 9 個 benchmark（包含一個不計分的 benchmark），其內容涉及不同領域的神經網路（影像分類、控制和資料庫），幷包含不同型別的網路結構（前饋神經網路、卷積神經網路和殘差網路）和啟用函式（ReLU, Sigmoid, Maxpool）以及不同規模的網路大小。這對參賽工具的通用性、相容性帶來了很大挑戰。每個 benchmark 中都有數十個或者數百個待驗證的神經網路屬性（例如，在魯棒性驗證任務中，每個輸入資料點上的魯棒性被視為一個屬性）。每個屬性都有一個指定的超時時間（例如 3 分鐘），每個工具需要在超時時間內之內返回驗證結果，否則算作超時不計分。工具的執行效率在比賽中至關重要：好的驗證演算法會在較短的時間內，驗證儘可能多的神經網路屬性。
每支隊伍提交的工具由比賽主辦方在 Amazon AWS 的機器上統一測評以保證比賽的公平性。每個驗證成功的屬性記 10 分，此外驗證某個屬性所需時間最少和第二少的工具將獲得額外 2 分和 1 分。同時，每個 benchmark 的成績會按照在此 benchmark 中得分最高的工具，歸一化到 100 分（總分最高為 800 分）。本次比賽共有來自全球多所大學的 12 支隊伍參加比賽。其中包含史丹佛大學、卡內基梅隆大學、哥倫比亞大學、牛津大學、帝國理工等多所國際知名學校的隊伍在 8 個 benchmark 上展開激烈角逐。最終，由來自卡內基梅隆大學 (CMU)、東北大學、哥倫比亞大學、加州大學洛杉磯分校(UCLA) 的成員共同開發的工具α,β-CROWN 以 779.2 分獲得總分第一名，並獲得 5 個 benchmark 的單項第一名；來自帝國理工團隊開發的 VeriNet 獲得 701.23 的總分排名第二；來自牛津大學的 OVAL、ETH 蘇黎世理工和 UIUC 的 ERAN 成績非常接近獲得並列第三名。
本次比賽獲勝的工具α,β-CROWN（開原始碼：http://PaperCode.cc/a-b-CROWN）由來自卡內基梅隆大學的博士後研究員 Huan Zhang (張歡) 帶領的團隊開發，學生作者均為華人。開發者包括 Huan Zhang (CMU)、Kaidi Xu (共同一作，東北大學)、Shiqi Wang (共同一作，哥倫比亞大學)、Zhouxing Shi (UCLA)、Yihan Wang (UCLA)以及來自卡內基梅隆大學的 Zico Kolter 教授、UCLA 的 Cho-Jui Hsieh 教授、哥倫比亞大學的 Suman Jana 教授和來自東北大學的 Xue Lin 教授。α,β-CROWN（也寫作 alpha-beta-CROWN）驗證器主要有兩大特色：1. 使用非常高效的限界傳播 (Bound Propagation) 演算法來計算神經網路在給定輸入擾動空間內的下界，然後使用分支定界法 (branch and bound) 實現完備神經網路驗證 (complete verification)。
2. 整個驗證演算法由 PyTorch 實現並可在 GPU 上高效執行，可以不依賴於線性規劃 (LP)、混合整數規劃(MIP) 等較慢且一般只能在 CPU 上執行的驗證演算法。α,β-CROWN 是當前少數幾個能完全在 GPU 上執行的神經網路驗證工具之一。
α,β-CROWN 中主要採用了以下幾種神經網路驗證演算法：1.CROWN [3] 是一個基於線性鬆弛 (linear relaxation) 和限界傳播 (Bound Propagation) 的非完備 (incomplete) 神經網路驗證演算法；
2.LiRPA [4] 將 CROWN 擴充套件到任意的神經網路結構上，例如 ResNet, LSTM 和 Transformer，並在 GPU 上高效實現；
3.α-CROWN [5] 採用梯度上升技術來最佳化 CROWN 中的線性鬆弛引數α，讓限界傳播過程中產生邊界更緊，顯著提升了驗證效果；
4.β-CROWN [6] 將α-CROWN 和分支定界法 (branch and bound) 相結合，透過在限界傳播過程中加入與分支約束條件對應的引數β，將非完備驗證演算法 CROWN 變成完備 (complete) 驗證演算法，進一步提升驗證效果。
回望最近五年，神經網路驗證取得了突飛猛進的發展。早期的完備驗證 (complete verification) 方法在一個 4 層 CNN 網路中需要大概一小時才能完成一張 CIFAR 圖片的驗證。而β-CROWN [6]透過基於 GPU 加速的限界傳播和分支定界法已經將這個驗證時間壓縮到了 10 秒左右。對神經網路驗證領域感興趣的讀者可以閱讀入門綜述文獻 [7,8]。從 CROWN [3] (2018 年) 到 LiRPA [4]（2020 年）到α-CROWN [5] （2020 年） 再到β-CROWN [6]（2021 年），該團隊一直走在神經網路驗證的前沿，並在此次重量級大賽中展現出了超一流的實力，拔得頭籌。該團隊的主要貢獻成員張歡、許凱第、王世褀均在神經網路安全性和魯棒性領域中均有突出建樹。
張歡博士於 2020 年畢業於 UCLA，現任卡內基梅隆大學 (CMU) 博士後研究員。張歡是機器學習魯棒性和安全性領域的早期研究者之一，對於神經網路、決策樹等機器學習模型提出了開創性的驗證演算法，並將這些演算法應用於構建更加安全和魯棒的影像分類、自然語言處理 (NLP)、強化學習(RL) 等任務中，在 NeurIPS、ICML、ICLR 等一流會議中發表論文數十篇。
許凱第博士畢業於美國東北大學，於 2021 年 9 月加入德雷塞爾大學計算機學院擔任助理教授。其博士期間在 NeurIPS、ICML、ICLR、ICCV 等各大頂會發表十餘篇一作 / 共同一作文章，對人工智慧中的安全問題有著廣泛的研究，其中由他領導的 Adversarial T-shirt (ECCV 2020 Spotlight paper)曾被多家媒體報導。
王世褀就讀於哥倫比亞大學，即將在 2022 年獲得博士學位，是神經網路魯棒性、可驗證性和模型在安全領域應用的早期研究者之一。博士期間在 ICLR、NeurIPS、Usenix Security、CCS 等機器學習和安全頂會發表文章十餘篇。神經網路驗證是一個年輕而重要的領域，其中仍然有很多有挑戰性的問題亟待解決，比如對包含更復雜的非線性函式的網路（如 Transformer）的完備驗證，以及將驗證技術擴充套件到更多的領域中（例如網路的公平性和正確性驗證）。此外，由於問題的難度（NP-Complete），目前還很難嚴格驗證 ImageNet 規模網路的屬性。我們希望未來能有更多的研究人員加入這個領域，建立出更高效、更強大的驗證演算法，為人工智慧在各行各業的應用場景中提供嚴謹的魯棒性、安全性和正確性保證。[1]VNN-COMP Presentation at CAV can be found at: https://sites.google.com/view/vnn2021[2] Stanley Bak, Changliu Liu, Taylor Johnson. The Second International Verification of Neural Networks Competition (VNN-COMP 2021): Summary and Results. https://arxiv.org/abs/2109.00498[3]Huan Zhang, Tsui-Wei Weng, Pin-Yu Chen, Cho-Jui Hsieh, and Luca Daniel. "Efficient neural network robustness certification with general activation functions." NeurIPS 2018. https://arxiv.org/pdf/1811.00866.pdf[4]Kaidi Xu, Zhouxing Shi, Huan Zhang, Yihan Wang, Kai-Wei Chang, Minlie Huang, Bhavya Kailkhura, Xue Lin, and Cho-Jui Hsieh. "Automatic perturbation analysis for scalable certified robustness and beyond." NeurIPS 2020. https://arxiv.org/pdf/2002.12920.pdf[5]Kaidi Xu, Huan Zhang, Shiqi Wang, Yihan Wang, Suman Jana, Xue Lin, and Cho-Jui Hsieh. "Fast and complete: Enabling complete neural network verification with rapid and massively parallel incomplete verifiers." ICLR 2020. https://arxiv.org/pdf/2011.13824.pdf[6]Shiqi Wang, Huan Zhang, Kaidi Xu, Xue Lin, Suman Jana, Cho-Jui Hsieh, and J. Zico Kolter. "Beta-CROWN: Efficient bound propagation with per-neuron split constraints for complete and incomplete neural network verification." https://arxiv.org/pdf/2103.06624.pdf[7]Changliu Liu, Tomer Arnon, Christopher Lazarus, Christopher Strong, Clark Barrett, and Mykel J. Kochenderfer. "Algorithms for verifying deep neural networks." https://arxiv.org/pdf/1903.06758.pdf[8]Hadi Salman, Greg Yang, Huan Zhang, Cho-Jui Hsieh, and Pengchuan Zhang. "A convex relaxation barrier to tight robustness verification of neural networks." NeurIPS 2019. https://arxiv.org/pdf/1902.08722.pdf